Mô hình ngôn ngữ lớn (LLM)
1
Mass Producing Training Data with Surprising Side Effects
Bài báo xây dựng một pipeline tự động tìm kiếm các bộ dữ liệu trông giống dữ liệu post-training thông thường nhưng lại gây ra những thay đổi hành vi bất ngờ ở mô hình sau khi huấn luyện. Pipeline tạo ra 6.575 bộ dữ liệu như vậy trải trên tám loại hành vi. Nhiều bộ dữ liệu cho thấy hiệu ứng phụ khái quát hóa qua các họ và kích thước mô hình khác nhau. Điều này cho thấy hiệu ứng phụ của dữ liệu fine-tuning có thể được tìm kiếm một cách có hệ thống thay vì chỉ phát hiện tình cờ.
Vì sao quan trọngIt turns hidden side effects of fine-tuning data into something that can be searched for at scale. That is directly useful for auditing data pipelines and for red-teaming training sets before they reach production models.
arXiv ↗PDF ↓
2
Accelerating Long-Context Decoding in Large-Scale Hybrid LLMs Without Retraining
Các LLM lai (hybrid) vẫn giữ một số lớp full attention, và chính các lớp này làm chậm quá trình giải mã khi ngữ cảnh dài. Nhóm tác giả thay các lớp đó bằng sparse attention gồm cửa sổ token gần nhất, phần tiền tố được ghim cố định và một ngân sách token. Cấu hình cho từng lớp được tìm bằng tìm kiếm, không cần huấn luyện lại. Trên sáu mô hình, độ chính xác được giữ trên 21 bộ dữ liệu ngữ cảnh dài, trong khi tốc độ giải mã tăng tới khoảng 2,2 lần ở 256k token.
Vì sao quan trọngHybrid architectures are becoming the default for long-context open models, and their remaining full-attention layers are the decoding bottleneck. A training-free, per-layer recipe is cheap to adopt for anyone serving such models.
arXiv ↗PDF ↓
Tác tử AI (AI Agents)
3
What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?
Bài báo phân tích kỹ RL đa lượt cho LLM agent và cho thấy lợi ích của RL trên tác vụ dài hạn phụ thuộc mạnh vào số lượt tương tác được phép. Tác giả đề xuất thước đo Pass@(K,T) để đánh giá đồng thời độ rộng lấy mẫu và độ sâu tương tác. Lợi thế của RL thu hẹp khi ngân sách lượt bị siết, và agentic RL không cải thiện đồng đều chất lượng quyết định từng bước. Lợi ích chính đến từ khả năng phục hồi sau lỗi và duy trì hiệu quả trên chuỗi dài. Từ đó nhóm đề xuất BudgetMix RL, thay đổi ngân sách tương tác trong lúc huấn luyện, cho kết quả ổn định qua nhiều thiết lập thực thi.
Vì sao quan trọngAgentic RL results are often reported at a single turn budget, which this paper shows can overstate gains. Pass@(K,T) gives a cleaner way to compare agent training methods, and the error-recovery finding points to where RL actually helps.
arXiv ↗PDF ↓Project page ↗
4
FrontierPhysics: Evaluating Agents for End-to-End Physics Research
FrontierPhysics là benchmark đánh giá agent trên toàn bộ quy trình nghiên cứu vật lý, thay vì câu hỏi cố định hay tái hiện kết quả đã biết. Bộ gồm 56 tác vụ do 42 nhà vật lý viết từ chính nghiên cứu của họ, trải chín lĩnh vực lý thuyết, tính toán và thực nghiệm. Agent phải tổng quan tài liệu, lập kế hoạch, tiến hành nghiên cứu và viết bản thảo; kết quả được chấm bằng bộ kiểm tra tất định kết hợp rubric chuyên gia. Trên 22 mô hình với 26 cấu hình, không cấu hình nào vượt quá 46 trên 168 lần chạy. Phân tích thủ công cho thấy điểm yếu chính là suy luận chưa đủ chặt chẽ và thiếu trực giác chuyên gia, không phải thiếu kiến thức vật lý.
Vì sao quan trọng'AI scientist' claims need benchmarks that grade publishable research, not quiz answers, and this one is written by working physicists. The failure analysis suggests the next gains will come from rigor and judgment rather than more knowledge.
arXiv ↗PDF ↓
5
Prospective Memory for Proactive LLM Agents
Hầu hết hệ thống bộ nhớ cho LLM agent chỉ nhìn về quá khứ, tức là lưu và truy xuất những gì đã xảy ra. Pro-Memory bổ sung 'bộ nhớ tương lai' (prospective memory): lưu các ý định cần thực hiện sau này và quyết định khi nào nên hành động. Hệ thống liên kết ý định với bằng chứng, theo dõi trạng thái của chúng và học từ các episode đã hoàn thành. Trên hai benchmark, Pro-Memory cải thiện hiệu quả tác vụ chủ động trong khi hạn chế các can thiệp không cần thiết.
Vì sao quan trọngProactive assistants need to remember what they promised to do, not just what was said. Framing this as prospective memory gives a concrete design target for always-on agents.
arXiv ↗PDF ↓
6
The Harness Is the Model: Agent Scaffolding Changes a Fixed LLM's Compliance with Banking Conduct Rules, Unevenly Across Models
Nghiên cứu giữ nguyên mô hình và chỉ thay đổi harness (scaffolding của agent) trên bốn mô hình open-weight với 156 tình huống ngân hàng mô phỏng. Kết quả cho thấy harness làm thay đổi đáng kể mức tuân thủ quy tắc ứng xử ở một số mô hình nhưng gần như không ảnh hưởng ở các mô hình khác. Tác giả lập luận rằng việc kiểm định nên áp dụng cho cặp mô hình–harness thay vì riêng mô hình. Ngoài ra, kiểm thử tuân thủ nên xem nhật ký hành động chứ không chỉ nội dung hội thoại.
Vì sao quan trọngRegulated industries tend to certify models, but this shows the scaffolding can change behavior as much as the model. Checking action logs rather than transcripts is a practical takeaway for agent audits.
arXiv ↗PDF ↓
Giọng nói (Speech)
7
Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription
Confucius4-R2T2 là mô hình ASR streaming thiết kế cho 'người dùng là máy' như hệ thống dịch hay voice agent, nơi việc sửa lại văn bản đã phát ra gây lãng phí hoặc hành động sai. Mô hình được post-train từ Qwen3-ASR-1.7B trên 1.500 giờ âm thanh tiếng Trung và tiếng Anh, đóng băng audio encoder và projector. Huấn luyện dựa trên khái niệm mới Longest Stable Prefix (LSP), được tác giả chứng minh có một số tính chất liên hệ với đầu ra khi có toàn bộ audio. Mô hình tiến gần độ chính xác full-context của mô hình gốc, cho văn bản ổn định với độ trễ phát thấp và khái quát hóa ra ngoài các ngôn ngữ huấn luyện. Code và trọng số đã được công bố.
Vì sao quan trọngDownstream LLMs and translators cannot easily undo actions taken on partial transcripts that later change. A stable-prefix objective with open weights is directly usable in cascaded voice agents.
arXiv ↗PDF ↓Code ↗Weights ↗
8
Ruby-OPD: Enhancing Pronunciation Controllability and Accuracy for Flow-Matching Text-to-Speech via On-Policy Distillation
TTS tiếng Nhật phải xử lý chữ Kanji có nhiều cách đọc và cần cơ chế kiểm soát phát âm. Ruby-OPD dùng chú thích Ruby (furigana) kèm nhiễu loạn chính tả để mô hình TTS flow-matching có thể được điều khiển cách đọc. Sau đó, nhóm áp dụng on-policy distillation trên kho văn bản thuần (không cần audio) để cải thiện độ chính xác phát âm khi đầu vào là văn bản thô. Tác giả báo cáo độ chính xác cao trên benchmark Joyo-Kanji-Yomi.
Vì sao quan trọngOn-policy distillation is spreading from LLM post-training into speech generation. Using text-only corpora to fix pronunciation is a cheap recipe that could transfer to other languages with ambiguous orthography.
arXiv ↗PDF ↓
9
Holistic Parallel Supervision for Expressive Speech to Speech Translation
Dịch giọng nói sang giọng nói (S2ST) giàu biểu cảm thiếu dữ liệu huấn luyện được căn chỉnh đồng thời về nội dung, ngữ điệu, nhịp thời gian và danh tính người nói. Nhóm tác giả xây dựng dữ liệu như vậy bằng cách kết hợp lồng tiếng chuyên nghiệp với chuyển đổi giọng nói đa ngôn ngữ. Trên nền dữ liệu này, họ giới thiệu mô hình DirectS2ST. Thí nghiệm trên cặp Anh–Đức và Anh–Tây Ban Nha cho thấy cải thiện ở nhiều hệ thống khác nhau.
Vì sao quan trọngExpressive speech-to-speech translation is bottlenecked by data, not architecture. A recipe for fully aligned parallel data helps any direct S2ST or dubbing system.
arXiv ↗PDF ↓
