Mô hình ngôn ngữ lớn (LLM)
1
Progress on provable inference for large language models (FlashProve)
FlashProve là hệ thống mật mã thuần phần mềm cho phép nhà cung cấp mô hình cam kết một bộ trọng số, rồi kèm theo mỗi câu trả lời một bằng chứng ngắn rằng chính mô hình đó đã sinh ra nó. Người dùng kiểm tra bằng chứng trên CPU mà không cần và không biết được trọng số. Với Llama 4 Maverick (400B MoE, trọng số 4-bit), hệ thống chứng minh khoảng 110 token/giây trên một H100, bằng chứng khoảng 19 MB cho mỗi request 1.024 token và xác minh mất khoảng 17 giây trên CPU 24 luồng. Chi phí GPU vẫn cao gấp khoảng 70–95 lần so với chạy vLLM thông thường, và hiện chỉ hỗ trợ phiên bản số nguyên của mô hình với greedy decoding, ngữ cảnh 1.024 token. Code, bằng chứng Lean và tài liệu được mở theo Apache 2.0.
Vì sao quan trọngUsers and auditors today cannot confirm which model actually answered an API call; FlashProve makes that checkable without exposing weights. Being orders of magnitude faster than prior open systems, it moves verifiable inference from theory toward something evaluators and regulators could actually use.
Blog ↗Technical report ↗Code ↗
2
Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
Nhóm tác giả kiểm tra liệu một LLM đa năng có thể đọc và viết trực tiếp trọng số mạng nơ-ron từ mục tiêu bằng ngôn ngữ tự nhiên, không dùng gradient descent. Chỉ từ trọng số thô, mô hình nhận ra mạng PPO nào được huấn luyện cho game nào và tìm ra copying head trong các transformer nhỏ. Khi viết trọng số từ đầu cho MinAtar Breakout, mạng sinh ra đạt 517,4 điểm so với 25,3 của PPO huấn luyện 500 triệu bước. Với Qwen3.5-0.8B, sửa 0,016% trọng số để loại bỏ vòng lặp suy luận đã nâng MATH-500 từ 7,9% lên 48,1% và IFEval từ 21,0% lên 62,3%. Đây là blog, chưa có bài báo chính thức; phương pháp không giúp được Gemma 3 270M.
Vì sao quan trọngIf frontier models can reliably reason about and edit weights, model repair and interpretability could become a prompting task rather than a training run. The results are early and informal, but the edited model is public, so others can check the claims.
Blog ↗Logs ↗Model ↗
3
Order-Only On-Policy Distillation
On-policy distillation (OPD) dạy student khớp xác suất token của teacher trên chính các chuỗi student sinh ra, nhưng xác suất đó trộn lẫn cả thứ tự ưu tiên lẫn độ tự tin của teacher, thứ mà student nhỏ khó tái tạo. O³PD chỉ yêu cầu student tái tạo thứ hạng của top-K token của teacher tại mỗi prefix, nên mục tiêu bất biến với temperature và không cần tinh chỉnh temperature. Trên 6 cặp teacher–student, O³PD thắng OPD ở trung bình HMMT25, AIME24 và AIME25 trong mọi cặp, tối đa 2,9 điểm (riêng AIME25 tới 5,6 điểm). Phân tích cho thấy O³PD đi xa xác suất của teacher hơn nhưng tái tạo thứ hạng trung thực hơn và cho student mạnh hơn.
Vì sao quan trọngOn-policy distillation is now a standard way to train small reasoning models, and this is a near drop-in change to its loss. The finding that ranking, not calibrated probability, carries the transferable knowledge is a useful design principle for distillation pipelines.
arXiv ↗PDF ↓
4
FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
GPU Blackwell có phép nhân ma trận độ chính xác thấp rất nhanh, nhưng dùng cho attention gặp ba vấn đề: chi phí lượng tử hóa, rò rỉ thông tin nhân quả qua hệ số scale dùng chung, và số học lệch nhau giữa forward và backward. FLAMIA là bộ kernel attention cho Blackwell hỗ trợ huấn luyện MXFP8 và hỗn hợp NVFP4/FP8, tái sử dụng toán hạng đã lượng tử hóa, thêm cơ chế chặn rò rỉ do scale và giữ forward/backward nhất quán. Scale cục bộ theo tài liệu cho phép xử lý chuỗi nhiều tài liệu được đóng gói mà không cần đóng gói lại. Trên tác vụ causal packed-document, đường MXFP8 nhanh hơn baseline nhanh nhất 1,10–1,40 lần trên B200 và 1,06–1,42 lần trên B300, đồng thời giữ ổn định khi pretrain mô hình kiểu Llama.
Vì sao quan trọngLow-precision attention is one of the last big pieces of training that has not moved to FP8/FP4. Naming and fixing the causal-leakage problem from shared scales matters for anyone training long-context models on Blackwell.
arXiv ↗PDF ↓
Tác tử AI (AI Agents)
5
CUA-Master: Scaling Computer-use Agents through Open-World Recursive Improvements
Computer-use agent (CUA) bị giới hạn bởi dữ liệu tương tác hẹp, khó kiểm soát, còn các phương pháp tự cải thiện đệ quy chỉ dựa trên kinh nghiệm tự sinh nên nhanh bão hòa. CUA-Master dùng khung hai vòng lặp lồng nhau: vòng ngoài là flywheel dữ liệu–mô hình bổ sung dữ liệu thế giới mở và dùng điểm yếu quan sát được của mô hình để định hướng việc tạo dữ liệu tiếp theo. Vòng trong khai thác workflow thật từ video hướng dẫn, dựng lại trajectory theo cả đường thị giác lẫn ngữ nghĩa, và biến chúng thành primitive tái sử dụng để sinh task đa dạng, kiểm chứng được. Cơ chế snapshot-rollback có phản hồi giúp thu trajectory tin cậy hơn. CUA-Master-27B đạt 80,2 trên OSWorld-Verified, 36,9 trên OSWorld 2.0, 43,9 trên WeaveBench và 25,0 trên Agents' Last Exam.
Vì sao quan trọngAn 80.2 on OSWorld-Verified from a 27B model pushes open-sized computer-use agents close to saturating that benchmark. Mining real workflows from tutorial videos is a scalable data source that avoids the diminishing returns of purely self-generated experience.
arXiv ↗PDF ↓
6
CoworkOS: Scaling Agent Coworkers for Real-world Automation
CoworkOS là harness đa năng cho "agent đồng nghiệp", tách chiến lược công việc (hành động, giao việc, chấp nhận kết quả) do mô hình đảm nhiệm khỏi quản lý thực thi (trạng thái, phản hồi) do runtime đảm nhiệm. Kiến trúc ba lớp cho phép tự làm hoặc giao cho subagent, đồng bộ hoặc bất đồng bộ, và một lớp ứng dụng chung để người và agent cùng sửa tài liệu, slide, mô hình CAD hay cảnh Blender. Workspace phân cấp và bộ nhớ ngữ nghĩa bền vững giúp tiếp tục công việc sau khi bị gián đoạn. Trên 12 benchmark và 6 nhóm ứng dụng thực tế, CoworkOS được báo cáo cạnh tranh với Codex và DeepSeek Harness. Trong một case study, CoworkOS với backbone GLM-5.3 tự chạy 5 vòng post-train cho Qwen3.6-35B-A3B, nâng điểm trung bình trên 8 benchmark từ 33,19 lên 42,95.
Vì sao quan trọngThe paper is a concrete blueprint for long-running agent harnesses where humans and agents edit the same artifacts. The automated post-training case study is a notable example of agents doing multi-day ML engineering work end to end.
arXiv ↗PDF ↓
7
SWE-Trail: History-Guided Trajectory Collection for Coding Agent Training
Trajectory của coding agent ngày càng được dùng làm dữ liệu post-training, nhưng lấy mẫu độc lập nhiều lần cho mỗi issue sinh ra kết quả ngày càng trùng lặp, còn đưa trajectory cũ vào context làm gợi ý lại gây lệch giữa huấn luyện và kiểm thử. SWE-Trail dùng lịch sử để quyết định nơi đầu tư công sức thu thập: tìm trạng thái hứa hẹn trong rollout mới, để agent đề xuất các hành động tiếp theo, rồi chạy thử ngắn từng hành động từ cùng checkpoint để chọn hướng đi. Lịch sử không bao giờ nằm trong context của agent. Một student 124B khởi tạo từ Ling-3.0-flash-base tăng tỷ lệ giải trung bình thêm 2,33 điểm trên SWE-bench Multilingual và 1,60 điểm trên SWE-bench Pro so với lấy mẫu độc lập.
Vì sao quan trọngData collection, not model architecture, is increasingly the bottleneck for coding agents. Using history to steer exploration while keeping it out of the agent's context is a clean way to get more diverse trajectories without a train-test mismatch.
arXiv ↗PDF ↓
