Attention dưới bậc hai cho ngữ cảnh siêu dài: Zyphra (ZHA) và nhóm của Torsten Hoefler (Latent Sparse Attention) đều dùng cây/cụm key phân cấp, gắn vào mô hình có sẵn bằng distillation ngắn và nhắm tới hơn 1 triệu token. ServiceNow công bố Apriel Voice 27B Preview, mô hình speech-language mở dựng trên Gemma 4 26B-A4B, nghe trực tiếp và gọi tool; đạt 65,51% thành công trên τ-Voice với độ trễ trung bình 1,91 giây. Meituan phát hành chính thức LongCat-2.5 (02/11): đa phương thức gốc, khoảng 1,6T tham số (~48B active), tập trung vào agentic coding dài hạn; GitHub/Hugging Face sẽ ra sau. Microsoft Mage-VL-Cowork: agent 4B kết hợp thao tác GUI và terminal trong một policy, đạt 66,0% OSWorld-Verified nhờ 293.806 task tổng hợp.
Mô hình ngôn ngữ lớn (LLM)
1
Subquadratic Attention with a Hierarchical Tree-Structured Indexer
Bài báo đề xuất Zyphra Hierarchical Attention (ZHA): xây một cây các bản tóm tắt key được nén đệ quy trên KV cache, và mỗi query duyệt cây từ trên xuống để chọn ra một tập key thưa. Với cây đủ sâu, tổng chi phí (kể cả bước định tuyến) tăng dưới bậc hai theo độ dài chuỗi, khác với các phương pháp sparse attention mà bộ indexer vẫn tốn bậc hai. ZHA có thể gắn vào mô hình đã huấn luyện bằng một giai đoạn KL distillation ngắn trên vài tỷ token, vẫn giữ hiệu năng trên truy xuất ngữ cảnh dài, suy luận, toán và agentic coding. Phương pháp ổn định với nhiều hình dạng cây, sâu tới 6 tầng. Mô hình hiệu năng của nhóm cho thấy ZHA vượt các phương pháp khác khi ngữ cảnh trên 1 triệu token.
Vì sao quan trọngUnlike sparse attention whose indexer remains quadratic, ZHA's routing itself scales subquadratically, and it can be retrofitted onto existing models cheaply. If the performance model holds, it is a credible path toward 100M+ token contexts for agents.
Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
Latent Sparse Attention (LSA) gom các key thành cụm phân cấp trong một không gian latent được học, để query chỉ chấm điểm các cụm thay vì từng key. Có hai biến thể: D-LSA gắn vào mô hình có sẵn qua distillation, và N-LSA huấn luyện từ đầu chỉ với loss next-token. Theo tác giả, D-LSA tăng tốc mạnh cả prefill lẫn decode so với sparse attention gốc và full attention ở 10 triệu token, với độ chính xác tương đương. N-LSA đạt độ chính xác ngang full attention và tăng tốc huấn luyện 1,6 lần mỗi lớp ở 128k token.
Vì sao quan trọngAppearing the same day as Zyphra's ZHA, it shows hierarchical key routing is converging as the leading recipe for 1M–10M token attention. Offering both retrofit and native-training variants makes it relevant to labs at different stages.
CRoS: Causality Reward on Scrambled CoTs Improves Accuracy and Reasoning Faithfulness
RLVR chỉ thưởng cho đáp án đúng nên chain-of-thought (CoT) có thể không thực sự góp phần tạo ra đáp án. Các thước đo nhân quả cũ (xóa bước, chèn lỗi) làm thay đổi cả nội dung thông tin, nên khi dùng làm reward có thể khiến CoT kém thông tin và giảm khả năng tự sửa. CRoS đo tính nhân quả bằng cách xáo trộn thứ tự các bước suy luận mà không đổi nội dung. Trên Reasoning Gym với Gemma-3-4B, CRoS đạt 46,8% trên năm bộ dữ liệu logic/game chưa thấy (baseline mạnh nhất 43,8%) và điểm thừa nhận gợi ý (hint acknowledgment, thước đo faithfulness) 34,0% so với 20,2%.
Vì sao quan trọngIt offers a cheap, content-preserving way to reward reasoning that actually drives the answer, improving both accuracy and faithfulness. Faithful CoT matters for monitoring and safety as RL-trained reasoners spread.
On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning
Trong RL on-policy cho LLM, engine sinh mẫu và trainer tính gradient không khớp nhau, khiến dữ liệu thực chất là off-policy. Bài báo tách sai lệch thành hai nguồn: sai khác số học của engine (gần như hằng số) và độ trễ policy do lấy mẫu bất đồng bộ (tự khuếch đại qua chính các bước cập nhật). Trên Qwen3-1.7B, importance weighting thất bại khi effective sample size giảm dưới một nửa. Nhóm đề xuất DLC: căn giữa phần sai khác số học, clip tỉ lệ lag và đồng bộ lại sampler khi ESS dưới 0,5, giữ KL so với huấn luyện on-policy trong phạm vi gấp đôi mức nhiễu tự nhiên và ngăn các lần sụp đổ.
Vì sao quan trọngTraining-inference mismatch is a known cause of unstable large-scale RL runs, and this gives a principled diagnosis plus a practical correction. The ESS-below-one-half resync rule is easy for RL infrastructure teams to adopt.
Mage-VL-Cowork: A Full Training Recipe to Learn Hybrid Computer Use From Evolved Harnesses
Nhóm tác giả cho rằng agent điều khiển máy tính nên kết hợp thao tác GUI trực quan với chạy code/terminal trong cùng một policy. Mage-VL-Cowork là agent 4B tham số, huấn luyện qua chương trình 5 giai đoạn gồm midtraining, SFT và RL. Hệ thống Mage-CUA-Forge sinh 293.806 task desktop và web trên 6.915 kỹ năng, giảm 82,6% chi phí định kỳ mỗi task. Thay vì distill trực tiếp từ teacher mặc định, nhóm "tiến hóa" harness của teacher để tạo trajectory và giám sát cho từng giai đoạn. Mô hình đạt 66,0% trên OSWorld-Verified, mà tác giả cho là SOTA ở cỡ tham số này.
Vì sao quan trọngA 4B model at 66% on OSWorld-Verified suggests capable computer-use agents can run locally and cheaply. The full recipe, from task synthesis to harness evolution, is a reusable blueprint for training hybrid GUI-plus-code agents.
When Requirements Interact: Scaling Long-Horizon Coding via Interdependent Specifications
Coding agent ngoài đời phải thỏa nhiều yêu cầu đan xen (tương thích interface, xử lý lỗi…) mà không phá vỡ phụ thuộc có sẵn, nhưng benchmark hiện nay ít đo điều này. CodeSpecWeave dùng một synthesis agent để dựng các yêu cầu ràng buộc lẫn nhau kèm test thực thi được từ seed của lập trình viên thật, và một review agent để kiểm tra trajectory lời giải từ nhiều mô hình. Pipeline tạo ra 4.670 task huấn luyện trên 2.865 repository; RL trên các task này cải thiện so với mô hình gốc trên DeepSWE-v1.1 và vượt các baseline. Nhóm cũng phát hành CodeSpecWeave-Bench (100 task, 1.044 specification), phân hóa rõ các frontier model.
Vì sao quan trọngReal software work is about satisfying interacting constraints, not isolated bug fixes, and this supplies both RL training data and a harder benchmark for it. It comes from Xiaomi's MiMo team, which is pushing its own agentic coding models.
TraceSpec: Understanding and Improving Speculative Decoding for LLM Agents
Các chỉ số tổng hợp của speculative decoding che khuất những quyết định khác nhau mà agent đưa ra qua nhiều bước. TraceSpec kết hợp đánh giá theo trajectory với huấn luyện draft model thích ứng, kèm bộ dữ liệu TraceSpec-Traj (10.000 trạng thái huấn luyện, 2.500 trạng thái test, gồm duyệt web và software engineering). Phân tích năm baseline cho thấy tỉ lệ chấp nhận tổng có thể tăng theo độ dài ngữ cảnh trong khi lại giảm ở các hành động duyệt web giai đoạn cuối. TraceSpec tăng throughput replay 12,5–22,6% so với base DSpark.
Vì sao quan trọngAgent workloads dominate inference cost, and this shows speculative decoders tuned on chat-style data leave speed on the table. Trajectory-aware draft training is a practical lever for serving agents faster.
Meituan phát hành bản chính thức LongCat-2.5 ngày 02/11, sau bản Preview ra cuối tháng 9. Theo changelog của nền tảng LongCat, mô hình đa phương thức gốc, kết hợp hiểu hình ảnh với agentic coding cho visual coding, thiết kế và tác vụ 3D, đồng thời xử lý codebase phức tạp và xây dựng cả dự án qua nhiều bước. Theo TechNode, mô hình có 1,6 nghìn tỷ tham số (khoảng 48B active), được tăng cường bằng RL quy mô lớn và biến lỗi agent gặp ngoài thực tế thành task huấn luyện tái lập được. Hiện dùng qua chat và API, tương thích Claude Code, Codex, Hermes; bản GitHub và Hugging Face sẽ ra sau. Chưa có technical report hay số liệu benchmark chính thức.
Vì sao quan trọngAnother trillion-scale Chinese MoE aimed squarely at long-horizon agentic coding, with an open release promised. Benchmarks and weights are still pending, so its real standing is unclear for now.
From Transcription to Reformulation: Defining and Benchmarking Grounded Generative Speech Recognition
Benchmark ASR hiện nay giả định mỗi câu nói chỉ có một bản chép đúng, không phù hợp với Speech-LLM sinh ra văn bản đã định dạng hoặc có cấu trúc. Bài báo định nghĩa Grounded Generative Speech Recognition (GSR): nhận dạng là sinh văn bản trung thành về nghĩa với audio, kèm phân cấp 4 mức năng lực từ chép nguyên văn đến đầu ra có cấu trúc. GSR-Bench gồm chép biên bản họp, dịch phương ngữ, hiểu theo ngữ cảnh và audio nhiễu/im lặng, chấm bằng kiểm tra bám audio kết hợp LLM judge đã được đối chiếu với đánh giá của người. Thí nghiệm cho thấy đánh đổi giữa độ trung thực chép lời và khả năng diễn đạt lại, cùng các lỗi như acoustic hallucination và instruction drift.
Vì sao quan trọngWER no longer captures what speech LLMs are asked to do, and GSR-Bench offers a structured alternative. Naming failure modes like acoustic hallucination gives builders concrete things to test before deployment.
Apriel Voice 27B Preview: An Open Model for Speech, Reasoning, and Tool Use
Apriel Voice 27B Preview là mô hình speech-language mở, nhận tiếng nói trực tiếp và tự sinh câu trả lời lẫn lời gọi tool mà không cần mô hình hội thoại riêng, vẫn giữ đầu vào văn bản và hình ảnh. Mô hình dựng trên checkpoint Gemma 4 26B-A4B đã post-train, huấn luyện hai giai đoạn: dựng giao diện speech, rồi cùng tinh chỉnh projector và backbone bằng SFT, text replay và distillation (cross-entropy kết hợp forward KL). Dữ liệu hội thoại được sinh tự động có điều kiện theo giọng nói. Ở chế độ thinking, mô hình đạt 98,90 trên Big Bench Audio, 81,13 trên Speech-BFCL và 65,51% thành công trên τ-Voice với độ trễ trung bình 1,91 giây.
Vì sao quan trọngIt is one of the few open speech-native models that reason and call tools directly, removing the ASR-LLM-TTS cascade for voice agents. Its τ-Voice and Speech-BFCL numbers give the open community a strong baseline for tool-using voice assistants.
