Mô hình ngôn ngữ lớn (LLM)
1
Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout
Muir là một kiến trúc linear attention mới, phân bổ cơ chế gating theo độ nhạy và dùng bộ đọc kiểu matched-filter để truy xuất thông tin từ trạng thái hồi quy. Ở các quy mô 166M đến 1,34B tham số, Muir giảm perplexity 1,8–2,0% so với GDN-2 và 2,5–3,6% so với Transformer, đồng thời tăng tới 1,9 điểm độ chính xác commonsense. Ở 1,34B, mô hình vượt cả hai baseline về truy hồi multi-hop và multi-needle. Muir ngoại suy 2.560 lần, từ độ dài huấn luyện 4K lên chuỗi 10 triệu token mà perplexity không trôi, và đạt gần 100% passkey retrieval tới 1 triệu token. Thông lượng ngang GDN-2, đạt mức validation loss 100B token nhanh hơn 1,2 lần và huấn luyện nhanh hơn Transformer 2,7 lần ở ngữ cảnh 32K.
Vì sao quan trọngLinear attention thường phải đánh đổi khả năng truy hồi lấy hiệu quả; Muir cho thấy có thể vượt cả GDN-2 lẫn Transformer về truy hồi trong khi ngoại suy tới 10 triệu token, củng cố lựa chọn lớp hồi quy cho các tác vụ ngữ cảnh dài.
arXiv ↗PDF ↓
2
The Gating Mechanism of KV Cache Eviction
Bài báo phân tích vì sao các cổng (gate) học được để loại bỏ mục trong KV cache thường thất bại. Tác giả chỉ ra cổng nên nằm bên trong mẫu số softmax để khối lượng attention bị loại được phân phối lại, nhưng khi huấn luyện bằng loss mô hình ngôn ngữ, cổng sụp về một hằng số và trở thành phép biến đổi không làm gì. Cách khắc phục là giữ dense attention ngoài tầm với của cổng và dùng dự đoán của mô hình dense làm mục tiêu huấn luyện; các mục bị loại có thể được khôi phục bằng centroid không tham số ngay trong softmax. Ở mức nén KV cache 75% trên Qwen3-8B, phương pháp đạt 90,14 trên RULER 8K và 46,03 trên LongBench, chỉ thấp hơn bản đầy đủ 3,72 và 1,36 điểm.
Vì sao quan trọngBộ nhớ KV cache là nút thắt lớn khi phục vụ ngữ cảnh dài; ngoài kết quả nén 75%, bài báo giải thích rõ vì sao cổng loại bỏ học được thường sụp về no-op, hữu ích cho ai xây chính sách cache học được.
arXiv ↗PDF ↓Code ↗
3
When Bigger Becomes Brittle: Why Compression Hurts More as Language Models Scale
Nghiên cứu xem lượng tử hóa và pruning ảnh hưởng thế nào đến khả năng truy hồi trong ngữ cảnh, vốn do một nhóm nhỏ attention head đảm nhận. Tác giả tách tổn thất khi loại bỏ các head này thành ba phần: phần được phần còn lại của mạng bù lại, phần thuộc các thành phần chịu trách nhiệm, và phần lan tới đầu ra. Với mức hư hại tương đương, mô hình nhỏ bù lại phần lớn tổn thất, còn mô hình lớn giữ lại phần lớn vì cơ chế bù trừ yếu dần khi mô hình lớn lên. Nén trực tiếp các head cho cùng một xu hướng, nên kỹ thuật nén gần như vô hại ở mô hình nhỏ có thể gây tổn thất đáng kể ở mô hình lớn.
Vì sao quan trọngCông thức nén thường được kiểm tra trên mô hình nhỏ rồi áp cho mô hình lớn; nghiên cứu cho thấy cách ngoại suy này không an toàn với khả năng truy hồi trong ngữ cảnh.
arXiv ↗PDF ↓
4
Synthesizing symbolic models of human and machine reasoning at scale
Nhóm của Brenden Lake và Todd Gureckis giới thiệu Behavior-Conditioned Symbolic Synthesis (BCSS), phương pháp tự động tìm các chương trình ký hiệu tất định, dễ diễn giải, tái tạo được hành vi quan sát được. BCSS được áp dụng cho hành vi của cả con người và mô hình máy trên hàng trăm bài toán suy luận. Kết quả cho thấy cả người lẫn máy đều có xu hướng đơn giản hóa quá mức, chấp nhận quy tắc chỉ giải thích được một phần quan sát và suy sai quan hệ phụ thuộc giữa các đặc trưng. Mức nỗ lực suy luận (reasoning effort) của máy dự báo mức độ đơn giản hóa, gợi ý rằng cả hai đều 'satisfice' khi tài nguyên hạn chế.
Vì sao quan trọngCung cấp cách mô tả có thể diễn giải, mở rộng được về cách mô hình suy luận thực sự giải bài, thay vì chỉ chấm đáp án; các thiên lệch chung giữa người và máy liên quan trực tiếp tới việc đặt ngân sách suy luận.
arXiv ↗PDF ↓
Tác tử AI (AI Agents)
5
Zero-Shot Coordination among LLM Agents
Bài báo đưa bài toán zero-shot coordination, tức phối hợp với đối tác chưa từng gặp, từ RL đa agent sang LLM agent. Ngay cả trong các thiết lập tối giản và có kiểm soát, các LLM agent frontier vẫn phối hợp kém. Nguyên nhân chính là chúng hiểu chưa đúng bản chất bài toán phối hợp và suy luận yếu về niềm tin của đối tác. LLM có thêm thông tin ngữ nghĩa làm trục phối hợp nhưng không khai thác hiệu quả; tác giả đề xuất 'coordination-friendly definitions' (CFD) giúp phối hợp bền vững hơn và có thể được tự động khám phá. Mã nguồn được công bố.
Vì sao quan trọngKhi agent của nhiều hãng ngày càng tương tác với nhau, phối hợp với đối tác lạ trở thành yêu cầu thực tế; bài báo cung cấp testbed rõ ràng cho thấy mô hình frontier chưa đạt, kèm một hướng khắc phục cụ thể.
arXiv ↗PDF ↓Code ↗
6
EnvOpt: Automated Optimization for Agent Environments
Thay vì tối ưu mô hình hay prompt, EnvOpt tự động tối ưu chính môi trường mà agent hoạt động trong đó. Với Claude Haiku 4.5 trên AutomationBench, EnvOpt giảm 72,7% chi phí và tăng 14,34% tỷ lệ pass. Môi trường đã tối ưu chuyển sang Opus 5 vẫn giảm 68,1% chi phí và tăng 1,34%. Khi kết hợp với Meta-Harness, chi phí giảm thêm 83,4% và độ chính xác tăng 11,17% so với chỉ dùng Meta-Harness. Trên 5 benchmark, chi phí đều giảm trong khi tỷ lệ pass tăng hoặc giữ nguyên.
Vì sao quan trọngCho thấy môi trường (giao diện công cụ, quan sát, cấu trúc) là đòn bẩy lớn và độc lập với mô hình đối với chi phí và độ chính xác của agent; vì lợi ích chuyển giao giữa các mô hình, đây có thể thành bước chuẩn bên cạnh tinh chỉnh harness và prompt.
arXiv ↗PDF ↓
7
MCPHallu: Benchmarking Reasoning, Execution, and Memory Hallucinations in MCP Agents
MCPHallu là benchmark 358 tác vụ thuộc 5 nhóm năng lực, chạy trên 36 MCP server thật trong container cô lập, nhắm vào 4 kiểu lỗi: Branch Collapse, Unreachable Goal, Tool Misuse và Context Forgetting. Đánh giá 14 agent frontier của 8 hãng trên 5.012 trajectory cho điểm trung bình chỉ 0,642/1. Lỗi tập trung ở mục tiêu bất khả thi: điểm trung bình 0,458 và chỉ 23,2% lần chạy vượt qua, vì agent tiếp tục gọi công cụ hoặc tuyên bố đã thành công. Thứ hạng mô hình thay đổi trung bình 6,9/13 bậc giữa các kiểu lỗi, và hai kiểu Branch Collapse với Unreachable Goal gần như không tương quan (r = -0,12).
Vì sao quan trọngMCP đang là cách mặc định để agent dùng công cụ, và benchmark này đo ảo giác trên server thật thay vì giả lập; việc agent hiếm khi thừa nhận mục tiêu bất khả thi là rủi ro độ tin cậy cụ thể khi triển khai thực tế.
arXiv ↗PDF ↓Code ↗
8
Who Should Know What? Empirical Information Design for Multi-Agent LLM Economies
Nghiên cứu thực nghiệm việc nên công bố bao nhiêu thông tin cho các LLM agent khi chúng giao dịch, mặc cả và tham gia đấu giá với nhau. Hiệu ứng của thông tin chi tiết hơn phụ thuộc mạnh vào mô hình: trong giao dịch, tiết lộ định giá chính xác làm GPT-6 Sol giảm từ 98% xuống 91% lợi ích tối đa nhưng giúp Claude Sonnet 5 tăng từ 72% lên 86%. Trong mặc cả, thông tin chính xác khiến thỏa thuận của Grok 4.7 lệch hơn, trong khi Claude Opus 5.5 chia lợi ích cân bằng. Trong đấu giá kép, công khai toàn bộ khiến giá đòi bị đẩy lên và thị trường đổ vỡ, giảm phúc lợi của Gemini 3.1 Pro (97% xuống 78%), Claude Opus 5.5 (94% xuống 64%) và Grok 4.7 (97% xuống 62%).
Vì sao quan trọngThị trường giữa các agent đang chuyển từ ý tưởng sang sản phẩm; kết quả cho thấy không có chính sách công bố thông tin tốt cho mọi mô hình, nên phải tối ưu đồng thời việc chọn mô hình và thiết kế thông tin.
arXiv ↗PDF ↓
9
Terminal-style Mathematical Modeling Bench: The First Agentic and Verifiable Benchmark for Mathematical Modeling
TB-MathModel gồm 18 bài toán mô hình hóa thực tế từ các cuộc thi CUMCM và MCM (2023–2025); mỗi tác vụ chạy trong terminal đóng gói container và agent trả về một file JSON. Tính khả thi được kiểm tra hai lớp: cổng lập trình trên 6 dạng bất biến và 624 nghĩa vụ chứng minh Lean 4; đáp án không khả thi bị chấm 0. Mỗi bài được so với một nhóm bài đạt giải xuất sắc của con người, và cách chấm không phạt đáp án tốt hơn tham chiếu. Trên 7 mô hình đa phương thức, mô hình mạnh nhất đạt 64,58% O-Eval, còn một mô hình mở chi phí 2,54 USD đạt 59,81% với chi phí khoảng 1/100.
Vì sao quan trọngBài toán mô hình hóa mở rất khó chấm nên hầu hết benchmark agent né tránh; kết hợp thực thi trong terminal với kiểm tra khả thi bằng Lean tạo ra cách đánh giá kiểm chứng được cho loại suy luận ứng dụng này.
arXiv ↗PDF ↓Code ↗
10
Autonomous AI Agents Systematically Diverge From Human Preferences in Proof Formalization
Nghiên cứu so sánh lựa chọn của AI agent và con người khi hình thức hóa chứng minh trong Lean, dựa trên 9 dự án hợp tác lớn với 4,7 triệu định nghĩa trong hơn 6.000 commit. So với con người, agent bị thu hút mạnh hơn nhiều bởi các chỗ trống được đánh dấu rõ ràng. Agent tương đối né tránh các trung tâm chứng minh có nhiều liên kết và các mục tiêu chứng minh phức tạp hoặc bất ngờ. Ngược lại, agent bị hút vào các thân chứng minh bất ngờ và có xu hướng 'chuẩn hóa' chúng về mức thông thường.
Vì sao quan trọngKhi agent đảm nhận ngày càng nhiều phần của các dự án hình thức hóa lớn, việc chúng chọn làm gì ảnh hưởng kết quả không kém việc làm được hay không; khoảng cách có hệ thống với ưu tiên của con người cần được tính đến khi điều phối.
arXiv ↗PDF ↓
