Moonshot đã mở trọng số Kimi K3.1 Pro (MoE 2,8T tham số, 104B active, ngữ cảnh 1M); Ricursive ra Ripple-65B Preview dense, Apache 2.0, đạt 80,5 trên TerminalBench 2.1. "You don't need long context": nén ngữ cảnh thường xuyên giữ gần nguyên độ chính xác trên tác vụ dài, đặt câu hỏi về nhu cầu mô hình ngữ cảnh siêu dài. Tối ưu suy luận: LoCo dạy mô hình biết lúc nào nên dừng nghĩ, rút ngắn 41,7–45,4% độ dài lời giải toán mà không giảm độ chính xác. Agent: Axion 1.0 công bố công thức huấn luyện agent foundation model hoàn toàn mở; ToolSpace tổng hợp môi trường tool từ trace thực thi MCP.
Mô hình ngôn ngữ lớn (LLM)
1
Think Less, Locally: Local Preference Learning for Reasoning Compression
Các mô hình suy luận lớn thường tiếp tục "nghĩ" dù đã đủ thông tin để kết luận, làm chi phí suy luận tăng cao. Thay vì nén cả trajectory như các phương pháp trước, LoCo tập trung vào quyết định cục bộ: khi nào nên dừng. Phương pháp tìm các điểm có khả năng overthinking trong chính trace của mô hình, giữ nguyên phần suy luận trước điểm đó, sinh lại phần tiếp theo ngắn hơn đã được kiểm chứng, rồi huấn luyện bằng DPO trên các cặp ưu tiên này. Chỉ huấn luyện trên trace toán tự sinh, LoCo rút ngắn 41,7–45,4% độ dài trên 5 benchmark toán và 23,4–36,3% trên 3 benchmark code, trong khi độ chính xác được giữ hoặc tăng.
Vì sao quan trọngReasoning cost is now a major serving bottleneck, and LoCo targets the local stop decision rather than whole-trajectory length penalties. The transfer from math-only training to code suggests the model learns a general sense of when to conclude.
Bài báo xuất phát từ quan sát rằng token sinh sau đắt hơn token sinh trước, chênh lệch tới khoảng 7 lần trên các mô hình open-weight hàng đầu. Dùng compaction (nén ngữ cảnh) thường xuyên, các tác giả cho thấy mô hình trên nhiều tác vụ dài hạn và đầu vào dài hầu như không mất độ chính xác khi giữ ngữ cảnh ngắn. Đáng chú ý, hiệu năng trên tác vụ software engineering dài hạn vẫn giữ được ngay cả khi mỗi ngữ cảnh chỉ thực hiện một hành động. Từ đó nhóm đề xuất semantic state space models (SSSM) và đặt câu hỏi liệu mô hình ngữ cảnh dài có thực sự cần thiết.
Vì sao quan trọngIt directly challenges the race toward million-token windows and argues the cheaper path is better context management. If it holds up, agent harnesses may invest in compaction rather than raw context length.
Route Anything: A Study of Model and Policy Routing for General-Purpose AI Systems
Nhóm tác giả cho rằng hệ thống AI đa năng có thể đến từ việc điều phối nhiều mô hình, tool và policy chuyên biệt thay vì một mô hình làm tất cả. Route Anything là khung thống nhất để nghiên cứu việc định tuyến mỗi tác vụ tới ứng viên tốt nhất, cân bằng chất lượng và chi phí, kèm nền tảng lý thuyết về định tuyến tối ưu. Họ xây ma trận trajectory đa phương thức gồm 25 benchmark (ngôn ngữ, ảnh, video, speech, coding/workplace agent, thao tác robot) với 374.401 lượt chạy có chấm điểm từ 452 cấu hình. Oracle routing theo từng input vượt ứng viên cố định tốt nhất 5,4 điểm, còn router học được giúp hiệu quả trung bình tăng 8,82 lần so với mô hình tham chiếu.
Vì sao quan trọngThe released-scale routing matrix is a useful public resource for router research across modalities. The gap between oracle and learned routers also quantifies how much headroom remains.
Axion 1.0: Open Agent Foundation Models, Simplified
Axion 1.0 là agent foundation model hoàn toàn mở, huấn luyện qua ba giai đoạn gọn nhẹ: hai giai đoạn SFT rồi đến reinforcement learning. Giai đoạn đầu xây khả năng suy luận tự thân bằng các bài toán tổng hợp được tăng độ khó theo kiểu adversarial. Giai đoạn hai bổ sung suy luận phụ thuộc tool bằng các tác vụ có thể tự động kiểm chứng. Theo tác giả, mô hình đạt kết quả mạnh trên nhiều benchmark agentic và cạnh tranh với các mô hình thương mại hàng đầu ở một số bài; toàn bộ công thức (tạo, lọc, kiểm chứng dữ liệu, prompt và code huấn luyện) được công bố.
Vì sao quan trọngFully reproducible agent training recipes are still rare, so the release lowers the barrier for academic labs. The emphasis on simplicity makes it a useful baseline to compare more complex agent pipelines against.
ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents
ToolSpace là khung tạo môi trường huấn luyện cho agent dùng tool trên các dịch vụ MCP, đảo ngược thứ tự của các phương pháp lấy dữ liệu làm trung tâm trước đây. Thay vì bắt đầu từ task, nó khởi đầu từ các tương tác tool trong trace thực thi, khai thác phụ thuộc một cách tất định rồi gom cụm thành môi trường. Sau đó hệ thống sinh chuỗi task có trạng thái kèm kiểm tra bằng assertion và chỉ giữ những chuỗi replay thành công. Nhóm tác giả tạo các biến thể benchmark khó hơn mà mô hình frontier gặp khó, và báo cáo cải thiện cho Qwen3.6-35B-A3B và GLM-5.2 trên bảy benchmark tool-use dài hạn.
Vì sao quan trọngEnvironment scarcity is a key limit on agent RL, and grounding synthesis in real execution traces makes tasks verifiable by construction. It continues the same group's push (after CoworkOS) toward scalable agent training infrastructure.
Adversarial Speculative Reasoning Improves Long Horizon Agents
Speculative decoding thường chỉ được xem là kỹ thuật tăng tốc, nhưng bài báo cho thấy nó ảnh hưởng đến hành vi của agent khi suy luận dài hạn. Tác giả phát hiện nhiễu số học tích lũy trong các cửa sổ verification, có thể làm lệch phân phối đầu ra và giảm độ chính xác sau nhiều bước. Phương pháp đề xuất huấn luyện draft model cố ý lệch khỏi target model tại các điểm suy luận then chốt, để verification khởi động lại ở đó và các token quan trọng được sinh bởi target model trong điều kiện ít nhiễu hơn. Kết quả là tỷ lệ thành công end-to-end trên benchmark agentic coding tăng mà không đổi trọng số target model, với phần draft chỉ chiếm 0,06–0,28% tham số.
Vì sao quan trọngIt reframes an inference optimization as a lever on agent quality, which matters for anyone serving open models in agent loops. The tiny parameter overhead makes it cheap to try in production.
Moonshot đã đưa trọng số mở của Kimi K3.1 Pro lên Hugging Face, sau khi đã ra mắt trước đó qua app và API. Đây là mô hình MoE đa phương thức gốc với 2,8T tham số tổng, 104B active, 896 expert, ngữ cảnh khoảng 1M token, attention lai KDA và Gated DSA, trọng số MXFP4 huấn luyện quantization-aware. Theo số liệu tự báo cáo, mô hình đạt 65,7 trên Terminal-Bench 4.0 (Claude Opus 5.5: 66,4), 92,1 trên BrowseComp và 79,6 trên OSWorld V2.1. Moonshot cũng báo tỷ lệ hallucination ở mức claim trên bộ test nội bộ giảm từ 23,4% (K3) xuống 8,3%; giấy phép là Kimi K3.1 Pro License riêng.
Vì sao quan trọngIt is among the largest open-weight agentic models and sits close to frontier proprietary models on several agent benchmarks. Native MXFP4 weights also make a 3T-class model more practical to self-host.
Ricursive Intelligence phát hành Ripple-65B Preview, biến thể đa năng của mô hình thiết kế chip nội bộ, dưới giấy phép Apache 2.0. Đây là transformer dense 65B (80 lớp), pretrain trên 12T token và hỗ trợ ngữ cảnh tới 1M. Theo model card, bản instruct đạt 80,5 trên TerminalBench 2.1, 76,5 trên SWE-bench Verified và 85,2 trên GPQA Diamond; công ty gọi đây là SOTA open-weight của Mỹ cho agentic coding. Tổng chi phí R&D được công bố khoảng 32 triệu USD, kèm bản NVFP4, bản base và mô-đun DFlash2.
Vì sao quan trọngA permissively licensed dense 65B model claiming coding results on par with much larger MoEs is notable for teams that want simpler deployment. The claimed cost is a data point on how cheap competitive open models have become, though results are self-reported.
GigaSpeech 3: Scaling Multi-Dialect Arabic Speech Recognition with Weakly Labeled Data
GigaSpeech 3 là bộ dữ liệu speech cho năm phương ngữ Ả Rập (Algeria, Ai Cập, Iraq, Saudi, Syria) với khoảng 39.000 giờ âm thanh và 10 triệu đoạn được gán nhãn yếu. Nhóm bắt đầu với 60 giờ chép tay cho mỗi phương ngữ, huấn luyện mô hình gán nhãn rồi áp dụng lên audio web cùng phương ngữ; dữ liệu Saudi và Syria qua bốn vòng noisy-student. Mô hình theo phương ngữ đạt WER trung bình 23,86% trên GigaSpeechBench, giảm tương đối 16,6% so với hệ thống bên thứ ba tốt nhất. Một Zipformer huấn luyện trên GigaSpeech 3 có WER thấp nhất trong sáu mô hình ở cả tám điều kiện test ngoài; corpus và recipe được công bố.
Vì sao quan trọngDialectal Arabic remains badly underserved by ASR, and this is a large open resource for it. The weak-labeling recipe is also a template for other low-resource dialect families.
InteractionBench: Measuring Timing, Task Accuracy, Whisper and Volume, and Grounding in Real-Time Voice Systems
InteractionBench là benchmark và harness đánh giá voice system thời gian thực trên bốn chiều cùng lúc, dùng chung audio người dùng đã ghi sẵn: nhịp hội thoại, độ chính xác tác vụ nói, điều khiển thì thầm/âm lượng và groundedness trong hội thoại trên 20 lượt. Bộ test có 221 mục mỗi hệ thống qua 13 kịch bản, với 1.519 lượt chấm trên bảy hệ thống gồm GPT-Live, GPT-Realtime, Gemini Live, Moshi, PersonaPlex, Freeze-Omni và một cascade theo lượt. Cascade đạt điểm tác vụ cao nhất (38/50) nhưng điểm timing thấp thứ hai; Gemini Live là hệ duy nhất thì thầm khi được yêu cầu ở đa số lần (8/10). Hệ thống thương mại qua 67–88% bài kiểm tra groundedness, trong khi các mô hình full-duplex mở chỉ đạt 14–35%.
Vì sao quan trọngIt is one of the few benchmarks that measures timing and task quality together on identical audio, exposing the trade-off between them. The large groundedness gap shows where open full-duplex models most need work.
Voice-Native LLMs Hear Frustration but Do Not Listen to It
Bài báo kiểm tra liệu các LLM xử lý giọng nói trực tiếp có nhận ra sự bực bội trong giọng người nói hay không, dựa trên lens model của Brunswik và thiết kế 2x2 (lời lẽ bực bội × giọng bực bội) trên 353 tác vụ. Trên 8 mô hình, 7 không cho thấy ảnh hưởng đáng kể của giọng nói lên độ chính xác tác vụ. Khi lời lẽ trung tính, cả 8 mô hình chỉ gán nhãn giọng bực bội là bực bội trong tối đa 3,1% clip, dù 7 mô hình nhận ra giọng giận dữ diễn xuất ở 73–100% clip. Tuy vậy, linear probe vẫn giải mã được giọng bực bội từ audio encoder của 2 mô hình open-weight (độ chính xác 0,67 và 0,69); bộ 1.412 clip VoxAffect được công bố.
Vì sao quan trọngFor voice agents in customer support, missing a frustrated caller is a real failure even when the task succeeds. The paper warns that unchanged accuracy is not evidence of robustness unless perception is checked.
