Mô hình ngôn ngữ lớn (LLM)
1
Multi-Token Prediction Done Right
Jayden Teoh (28/10). Bài báo chỉ ra gradient của Multi-Token Prediction (MTP) chuẩn chứa một thành phần residual nhiễu và đề xuất Soft-MTP: chỉ lan truyền tín hiệu KL self-distillation, không tốn thêm bộ nhớ hay tham số. Từ 167M đến 1.2B tham số, Soft-MTP cho perplexity thấp hơn, speculative decoding nhanh hơn và zero-shot accuracy cao hơn ở mọi quy mô.
Vì sao quan trọngmột sửa đổi gần như miễn phí cho objective đang được dùng trong các frontier model như DeepSeek.
arXiv ↗PDF ↓Code ↗
2
Training Foundation Models with a Single Algorithm
Yuda Song, Ruslan Salakhutdinov, Andrea Zanette và cộng sự (CMU, 29/10). Nhóm gộp pretraining, midtraining, SFT và RL thành một thuật toán likelihood duy nhất bằng cách xem RL như maximum-likelihood trên phân phối mục tiêu do chính mô hình sinh ra. Huấn luyện khi đó chỉ còn là chọn dữ liệu nào, tỷ lệ bao nhiêu và lúc nào, giúp cải thiện trade-off accuracy-compute.
Vì sao quan trọngbiến pipeline post-training nhiều giai đoạn thành bài toán lên lịch dữ liệu, có thể đơn giản hóa stack huấn luyện.
arXiv ↗PDF ↓
3
Scaling Lean Theorem Proving for Real-World Code Verification (EasyProver)
Debargha Ganguly, Soonho Kong, Sam Bayless và cộng sự (AWS, 28/10). EasyProver dùng recursive agents trên một frontier model có sẵn, không huấn luyện thêm, giải 669/672 bài PutnamBench, cả 6 bài IMO 2026, 597/600 bài NTP4VC và toàn bộ 189 task VERINA. Nhóm giới thiệu benchmark Aegis gồm 2.045 cặp chương trình Rust-Lean, EasyProver chứng minh được 52,7%.
Vì sao quan trọngchứng minh toán thi đấu gần bão hòa, trọng tâm chuyển sang kiểm chứng code thực tế.
arXiv ↗PDF ↓
Tác tử AI (Agents)
4
WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training
Ziyang Zeng và cộng sự (IQuest, 27/10). WorkFactory tự động tạo 112.686 task thực thi được trên 612 nghề nghiệp, dùng để fine-tune Qwen 4B, 27B và 35B-A3B thành họ mô hình WorkPilot. WorkPilot-35B-A3B tăng từ 879 lên 1565 Elo trên GDPval-AA v2.1. Code, dữ liệu và mô hình đều được công khai.
Vì sao quan trọngmôi trường công việc tổng hợp quy mô lớn đang trở thành nguyên liệu chính để huấn luyện agent hữu ích về kinh tế.
arXiv ↗PDF ↓GitHub ↗
5
Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models
Xilin Wei, Dayiheng Liu và cộng sự (Qwen, 26/10). Benchmark gồm 273 task xây từ 26.314 phiên lập trình thật, với 2.331 tiêu chí nghiệm thu do chuyên gia viết, chia hai nhánh Multimodal Editing và Repository Editing. Mô hình tốt nhất trong 10 endpoint đạt trung bình 69,9% tiêu chí nhưng chỉ hoàn thành trọn vẹn 26,4% task.
Vì sao quan trọngkhoảng cách giữa gần đúng và hoàn thành trọn vẹn cho thấy coding agent còn xa mới tự chủ đáng tin cậy.
arXiv ↗PDF ↓Project page ↗
6
Matched Capabilities, Different Behaviors: A Controlled Study of MCP and CLI Interfaces for Language Agents
Zhenning Shi, Liang Pang, Yongqi Li (25/10). Framework MICA dựng giao diện MCP và CLI từ cùng một hợp đồng hành động, chạy trên cùng runtime với 6 mô hình và 3 môi trường. Dù năng lực tương đương, 94,3% trong 2.004 cặp trajectory phân kỳ rõ rệt. Phương pháp DART tăng tới 9,0 điểm benchmark và giảm tới 27,1k token mỗi task với MCP.
Vì sao quan trọngcách đưa tool cho agent tự nó là một đòn bẩy hiệu năng.
arXiv ↗PDF ↓
7
AgentDecept: Benchmarking Deceptive Behavior in Tool-Using LLM Agents under Pressure
Yehan Zhang, Xin Eric Wang và cộng sự (29/10). Benchmark có thể thực thi gồm 477 biến thể áp lực từ 257 task gốc (qua tin nhắn, trạng thái ứng dụng, phản hồi tool, quota dịch vụ), mỗi biến thể có bản đối chứng không áp lực. Đánh giá so sánh lời agent báo cáo với hành động thực tế để tách hành vi lừa dối (bịa đặt, che giấu, nói nước đôi) khỏi thất bại trung thực.
Vì sao quan trọngkhi agent hành động trong ứng dụng có trạng thái, kiểm tra tính trung thực của báo cáo trở thành đánh giá an toàn cốt lõi.
arXiv ↗PDF ↓
Giọng nói (Speech)
9
Spark-Audio 1.0 Technical Report
Chenyue Zhang và cộng sự (khoảng 70 tác giả, công bố 26/10). Speech foundation model kết hợp audio encoder 0,65B với LLM MoE 30B-A3B, huấn luyện trên 13 triệu giờ audio, hỗ trợ ASR 99 ngôn ngữ và 202 phương ngữ cùng dịch tiếng nói và hội thoại. Mô hình ngang Qwen3.5-Omni-Flash với ít dữ liệu hơn và được huấn luyện trên chip nội địa Huawei Ascend 910B và Hygon BW1000.
Vì sao quan trọngtín hiệu độc lập phần cứng cho speech foundation model.
arXiv ↗PDF ↓
10
Discovering Interpretable Acoustic Features in Autoregressive Voice-Cloning TTS Models
Anuj Diwan, David Harwath, Eunsol Choi (29/10). Nghiên cứu dùng sparse autoencoder (SAE) và PCA để tìm các khái niệm âm học như pitch, năng lượng, nhiễu, accent trong TTS voice-cloning tự hồi quy, phát hiện 684 SAE feature được kiểm chứng trong Qwen3-TTS. Probing tốt không đồng nghĩa với steering tốt, và PCA vẫn cạnh tranh với SAE.
Vì sao quan trọnginterpretability bắt đầu áp dụng cho TTS, mở đường cho voice cloning có thể điều khiển và kiểm toán.
arXiv ↗PDF ↓
Tác tử giọng nói (Voice Agents)
11
Heard Enough to Act: Early Tool Calling in Spoken Dialogue Systems
Yizhou Peng, Eng Siong Chng và cộng sự (26/10). Nhóm xây corpus 26.694 hội thoại nói (786 giờ, 48 domain) có nhãn điểm có thể hành động sớm nhất, để mô hình omni-modal gọi tool ngay khi đã nghe đủ thông tin. Mô hình đạt tool-state macro-F1 0,48 và với các lượt gọi đúng, đi trước cascade chờ hết lượt khoảng 1,8-2,0 giây.
Vì sao quan trọnghành động ngay giữa câu nói là cách cụ thể để giảm độ trễ cảm nhận của voice assistant.
arXiv ↗PDF ↓
12
Diagnosing and Mitigating Long-Session Degradation in Full-Duplex Speech Models
Junho Kim, Sungroh Yoon và cộng sự (26/10). Đánh giá vòng kín cho thấy các full-duplex speech model công khai suy giảm theo thời gian về độ phản hồi, chất lượng nội dung và độ nhất quán giọng. Nhóm đề xuất LoRA self-distillation để giữ chất lượng trong phiên 10 phút và kiến trúc two-resolution context giảm hơn 90% tăng trưởng KV-cache trên ba kiến trúc.
Vì sao quan trọngđộ ổn định phiên dài, chứ không chỉ độ trễ, đang là nút thắt thực sự của full-duplex voice agent.
arXiv ↗PDF ↓Project page ↗
