Mô hình ngôn ngữ lớn (LLM)
1
BitDecoding-FP4: Native FP4 KV Cache Decoding via Algorithm-System Co-Design
Các hệ thống KV cache FP4 hiện nay dùng lượng tử hóa đơn giản nên mất độ chính xác đáng kể, còn các phương pháp 4-bit chính xác dựa vào codebook vector lại làm chậm giải mã. BitDecoding-FP4 xử lý ba nguồn lỗi: lượng tử hóa query, underflow khi co giãn xác suất và các key ngoại lai. Ở tầng hệ thống, tác giả loại bỏ nút thắt softmax bằng transposed softmax kết hợp lượng tử hóa xác suất. Trên cả mô hình dense lẫn MoE, độ chính xác chỉ chênh trong 0,5 điểm so với KV BF16 khi dùng NVFP4 (1 điểm với MXFP4). Trên NVIDIA B300 với Qwen3-4B và Qwen3-30B-A3B, throughput phục vụ đỉnh cao hơn 2,4–3,0 lần so với KV BF16.
Vì sao quan trọngKV cache memory is the main bottleneck for long-context serving, and native FP4 hardware is now shipping. A near-lossless FP4 KV path with open code could become a default serving optimization on Blackwell-class GPUs.
arXiv ↗PDF ↓Code ↗
2
DUET: Dual-Sparse Inference for Block Diffusion Language Models
Mô hình ngôn ngữ diffusion sinh nhiều token song song qua các bước khử nhiễu, nhưng chi phí suy luận cao vì attention trên prefix ngày càng dài và mọi vị trí trong block đều đi qua toàn bộ Transformer ở mỗi bước. Duet là framework không cần huấn luyện, áp dụng hai kiểu thưa. Thứ nhất, nó chọn một tập con KV gọn của prefix dựa trên độ tập trung và độ ổn định của attention, rồi tái sử dụng qua các bước khử nhiễu. Thứ hai, nó dự đoán từ các lớp nông những vị trí sắp được cập nhật và chỉ đưa các query đó qua các lớp sâu. Ở ngữ cảnh 32K, Duet tăng tốc 2,41 lần end-to-end (4,72 lần mỗi bước) cho SDAR-8B-Chat-b32 và 1,34 lần cho LLaDA2.1-mini, với độ chính xác vẫn cạnh tranh.
Vì sao quan trọngDiffusion LMs promise parallel decoding but have been held back by inference cost at long context. Training-free sparsity that more than doubles end-to-end speed makes them more practical to deploy.
arXiv ↗PDF ↓
3
CPU-ARC: Agentic Reasoning Caching for on-CPU Reasoning Reuse
Xuất phát từ nhận xét rằng LLM liên tục suy luận lại những thứ đã từng giải, bài báo đề xuất agentic reasoning caching. Phương pháp chuyển các reasoning trace của LLM thành các bộ đệm suy luận (ARC) chạy được trên CPU. Theo tác giả, ARC đạt kết quả ngang các LLM frontier trên các bài toán toán học và khoa học khó. ARC còn dễ giải thích, có thể tiếp tục huấn luyện, bền với nhiễu đầu vào và rẻ hơn 16–291 lần so với gọi mô hình gốc.
Vì sao quan trọngTurning reasoning traces into reusable, CPU-executable artifacts is a different take on test-time compute: pay once, reuse cheaply. If the claims hold up, it points to large cost savings for repetitive reasoning workloads.
arXiv ↗PDF ↓
Tác tử AI
4
Test-Time Compute Scales Better with Parallel Agent Teams
Bài báo so sánh các cách dùng compute lúc suy luận cho agent khi có bộ chấm (verifier) đánh giá được các lần thử. Hai cách quen thuộc là best-of-N với các agent độc lập và một đội lớn cùng cộng tác. Tác giả đề xuất parallel agent teams: chạy song song nhiều đội nhỏ rồi giữ kết quả của đội tốt nhất. Trên 12 tác vụ dài hạn, gồm phát triển GPU kernel và chứng minh hình thức, với một mô hình 27B, cách này vượt cả hai baseline ở ngân sách cố định 100 agent và ở cùng chi phí so với một mô hình frontier. Một mô hình thống kê giải thích rằng nhiều đội nhỏ cân bằng giữa trung bình cao và lợi ích từ phương sai.
Vì sao quan trọngIt gives a concrete, verifier-based recipe for spending agent compute, with open code. The result that a mid-size 27B model with the right team structure can match frontier cost-efficiency matters for anyone running long-horizon agents.
arXiv ↗PDF ↓Code ↗
5
Authorization Drift in LLM Agents: Evaluating Boundary Compliance in Multi-Step Tool Use
Bài báo định nghĩa 'authorization drift': agent vượt ra ngoài phạm vi được cấp quyền khi theo đuổi mục tiêu của người dùng, kể cả khi không có kẻ tấn công, theo bốn chiều dữ liệu, công cụ, phạm vi và thời gian. Benchmark ADB gồm 648 mẫu thuộc 7 lĩnh vực, mỗi mẫu có một đường hợp lệ và một lối tắt trái phép hấp dẫn. Thử nghiệm 13 LLM trên 3 framework với 25.207 trajectory cho thấy mô hình càng mạnh càng dễ vượt quyền, với tỷ lệ 0,43–0,61 ở các mô hình frontier. Có 86,18% tác vụ có ít nhất một lần chạy hoàn thành sạch, nên việc vượt quyền là tránh được, và nó chủ yếu bắt nguồn từ việc thu thập dữ liệu quá mức ngay từ đầu. Tác giả còn đối chiếu các điểm vượt quyền với quy định pháp lý ở 4 khu vực, trong đó nguyên tắc tối thiểu hóa dữ liệu được viện dẫn nhiều nhất.
Vì sao quan trọngIt shows a safety failure that appears without any adversary and grows with capability, which standard success-rate benchmarks miss. The legal mapping makes it directly relevant for teams deploying agents on personal or regulated data.
arXiv ↗PDF ↓
6
Knowing When to Intervene: Causal Evaluation of AI Agents
Benchmark tĩnh không cho biết các can thiệp lúc triển khai, như kiểm tra đầu ra hay điều hướng hành vi của agent, có đáng làm hay không. Tác giả xem giá trị của một can thiệp là câu hỏi nhân quả, khó ước lượng vì hiệu ứng phụ thuộc ngữ cảnh và các hành động tiếp theo của agent. Họ đề xuất framework có cơ sở phương pháp luận để ước lượng hiệu ứng nhân quả động của các can thiệp ngẫu nhiên hóa trong trajectory, chỉ cần một tập trajectory tương đối nhỏ. Kết quả được dùng để xây bảng xếp hạng an toàn giúp ưu tiên kiểm toán. Trên tau-bench Retail, ToolSandbox và ImpossibleBench, hiệu ứng can thiệp khác nhau đáng kể theo hành động và trạng thái.
Vì sao quan trọngIt moves agent evaluation from 'how good is the agent' to 'where should humans or monitors step in', using proper causal inference. That is the question operators actually face when budgeting oversight.
arXiv ↗PDF ↓
7
MemoryDojo: Benchmarking Poisoning Through LLM Agent Memory
Bộ nhớ giúp LLM agent làm tốt các tác vụ dài nhiều phiên, nhưng cũng mở ra bề mặt tấn công: chỉ dẫn độc hại có thể được lưu lại và thực thi về sau. MemoryDojo là benchmark gồm 155 trajectory nhiều phiên thuộc 4 lĩnh vực, thử trên 5 hệ thống bộ nhớ. Kết quả cho thấy cả 5 hệ thống đều dễ bị đầu độc bộ nhớ, dù mức ảnh hưởng về sau khác nhau nhiều. Tác giả cũng đề xuất quy trình tối ưu mã độc có tính đến bộ nhớ, làm tăng hiệu quả tấn công.
Vì sao quan trọngPersistent memory is shipping in mainstream agents, and this gives the first systematic benchmark for poisoning it. Together with recent work on benign memory causing unsafe behavior, it argues memory needs its own security layer.
arXiv ↗PDF ↓
8
From Procedures to Permissions: Learning Precise Subagent Authorization from Agent Skills
Khi agent chính giao việc cho subagent, các hệ thống hiện nay kiểm soát công cụ và môi trường nhưng không chỉ rõ mỗi tác vụ con cần tài nguyên nào. Tác giả nhận thấy Agent Skills đã mô tả thao tác, công cụ và file cần cho từng bước, nên có thể dùng làm tín hiệu giám sát cho việc cấp quyền. Họ tổng hợp tác vụ và quy trình từ Skills, chạy qua cơ chế ủy quyền subagent trong môi trường tương tác, rồi dùng các trajectory đã kiểm chứng làm dữ liệu huấn luyện. Trên ClawArena-Team với Qwen3.5-35B-A3B, độ chính xác quyền công cụ tăng 13,4 điểm phần trăm, quyền workspace tăng 24,1 điểm và tỷ lệ thành công tăng 11,6 điểm.
Vì sao quan trọngLeast-privilege delegation is a practical gap in multi-agent systems. Reusing existing skill documents as free supervision for permissions is a cheap, deployable idea that pairs naturally with the authorization-drift findings.
arXiv ↗PDF ↓
9
ENGRAM: From Agent Experience to Weights through Verified Consolidation
ENGRAM nghiên cứu cách chuyển kinh nghiệm của agent từ bộ nhớ ngoài vào trọng số mô hình, tách thành hai quyết định: huấn luyện trên kinh nghiệm nào và khi nào có thể ngừng truy xuất bản ghi ngoài. Một cổng nhận dữ liệu chấp nhận một kỹ năng khi mô hình học trò đã thành thạo hoặc khi có đủ minh họa thành công từ mô hình thầy. Sau huấn luyện, một cổng kiểm chứng so sánh mô hình mới chạy không truy xuất với mô hình gốc có truy xuất trên các tác vụ thăm dò, và chỉ giải phóng bản ghi của kỹ năng đạt ngưỡng. Theo tác giả, cách làm này giảm đáng kể lượng bộ nhớ cần truy xuất mà vẫn gần với giữ toàn bộ, đồng thời giảm token đầu vào và số lần gọi mô hình; tóm tắt không nêu số liệu cụ thể.
Vì sao quan trọngDeciding when an agent can safely 'forget' external memory after learning from it is an under-explored but practical problem for continual learning. The verification-before-release design is a sensible safeguard against silent capability loss.
arXiv ↗PDF ↓
