Mô hình ngôn ngữ lớn (LLM)
1
SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization
Thay vì đếm tần suất router chọn chuyên gia trên dữ liệu gắn nhãn miền, nhóm tác giả huấn luyện sparse autoencoder trên đầu ra của một lớp MoE. Vì đầu ra này là tổng có trọng số của các chuyên gia và encoder là affine, kích hoạt của mỗi latent được tách chính xác theo từng chuyên gia. Trên các lớp 4, 30 và 46 của Qwen3-30B-A3B, đóng góp của chuyên gia tập trung hơn nhiều so với routing, và phần lớn latent chỉ có một hoặc hai chuyên gia chi phối. Auto-interpretation cho thấy chuyên môn hóa tinh bên trong một miền, như chuyên gia riêng cho Java và cho web front-end, hay hình học tách khỏi số học và đa thức. Các miền thô cũng nhận số lượng chuyên gia rất chênh lệch.
Vì sao quan trọngIt gives an exact, routing-independent way to attribute features to MoE experts, replacing coarse domain-frequency analyses. The finding of fine-grained, uneven specialization matters for expert pruning, merging and targeted fine-tuning. Code is released.
arXiv ↗PDF ↓Code ↗
2
On the Opportunities and Challenges of Prefill-to-Autoregressive Cross-Model Transfer
Bài báo nghiên cứu PACT: mô hình lớn xử lý prompt (prefill), còn mô hình nhỏ đảm nhận sinh văn bản, nhằm cân bằng năng lực và chi phí suy luận. Nhóm tác giả xây PLatour, framework mã nguồn mở nối các mô hình đóng băng bằng các cầu tuyến tính nhẹ, khởi tạo bằng 0 và huấn luyện bằng reward, có hỗ trợ kiến trúc hybrid-attention. PLatour vượt các baseline mã nguồn mở và vượt kết quả công bố của Mostik trên các benchmark toán và code chung với mô hình gửi nhỏ hơn nhiều. Tuy vậy, thí nghiệm đối chứng cho thấy một phần lợi ích có thể đạt được bằng tín hiệu vô nghĩa, tự giao tiếp hoặc chỉ huấn luyện mô hình nhận. Nhóm đề xuất PACT-Check để đo phần lợi ích thực sự đến từ giao tiếp giữa hai mô hình.
Vì sao quan trọngLarge-small model collaboration is an appealing route to cheaper inference, but this paper shows reported gains can be illusory. PACT-Check offers a needed sanity check for any cross-model communication claim.
arXiv ↗PDF ↓Code ↗
Tác tử AI
3
The components of agent memory
Anthropic chia bộ nhớ agent thành nhiều lớp: transcript có thể tìm kiếm, ghi chú do Claude viết, biểu diễn dạng wiki và ngữ cảnh được nạp vào mọi phiên. Trên CL-Bench, bộ nhớ bền vững nâng mean reward của Opus 5.5 từ 0,655 lên 0,838 và của Sonnet 5 từ 0,306 lên 0,610. Quá trình 'dreaming' offline rà lại log để sửa ghi chú sai: trong Pokémon Red, sau khi sửa một ghi chú địa danh sai, Claude đến được Cerulean City, còn bản không sửa bị kẹt. Trên kho khoảng 350.000 file, wiki do dreaming xây kết hợp tìm kiếm đạt 61% so với 53% khi chỉ tìm kiếm. Bài viết cũng cho thấy các quy tắc cứng như 'chỉ ghi lại thất bại' làm giảm lợi ích bộ nhớ ở mô hình mạnh.
Vì sao quan trọngIt is one of the most detailed public empirical looks at how frontier agents should write, curate and consolidate long-term memory. The finding that rigid memory rules hurt stronger models is directly actionable for agent builders.
Anthropic ↗
4
Tools Need Not Speak in Text: Latent Context Compression for Agents
Bài báo cho rằng agent LLM không cần đọc kết quả công cụ dưới dạng văn bản thô. Nhóm tác giả giới thiệu Coca-Cola, mô hình nén các quan sát từ công cụ thành latent token đặt trực tiếp vào không gian embedding đầu vào của agent. Action-Preserving Training căn chỉnh dự đoán hành động tiếp theo giữa quan sát đầy đủ và quan sát nén, để latent token giữ lại thông tin cần cho quyết định. Với agent tìm kiếm web trên bốn benchmark QA và hai họ mô hình, phương pháp giảm 70,01–89,24% token và 24,45–55,97% thời gian chạy end-to-end, đồng thời tăng hiệu quả tác vụ.
Vì sao quan trọngTool outputs dominate context in search and coding agents, so compressing them in latent space attacks the main cost driver. Training compression to preserve actions, not text, is a useful design principle.
arXiv ↗PDF ↓Code ↗
5
Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training
Nhóm tác giả nhận thấy các biến thể của một harness agent chung sửa được những lỗi khác nhau, và giá trị của chúng thay đổi trong quá trình huấn luyện. Thay vì tìm một harness tốt nhất, Harness-S xây một tập cố định các 'harness anh em' chuyên biệt, mỗi cái nhắm một hướng sửa lỗi. Khi harness gốc thất bại ở mọi lần thử, policy sinh rollout mới dưới các harness anh em được chọn, và các quỹ đạo thành công được dùng cho reinforcement learning. Một router chọn top-k harness dựa trên hồ sơ hành vi và bỏ phiếu của nhiều LLM. Trên AppWorld, SWE-Gym và DBBench, policy huấn luyện theo cách này vượt huấn luyện chỉ-policy khi chạy với harness gốc. Bài đứng thứ 4 trên Hugging Face Daily Papers ngày 06/11.
Vì sao quan trọngIt treats the agent harness as a training-time resource rather than a fixed scaffold, recovering learning signal from tasks that would otherwise give zero reward. Gains transfer back to the original harness, which is what matters in deployment.
arXiv ↗PDF ↓Code ↗
6
SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization
SwarmEvolve là framework tìm kiếm tiến hóa do LLM dẫn dắt, thay một LLM suy luận dài mỗi vòng bằng nhiều agent rẻ chạy theo bầy. Các agent suy luận trong không gian latent và chia sẻ thông tin qua KV cache. Một bộ lọc độ mới chọn ý tưởng khác biệt nhất dựa trên khoảng cách giữa hidden state của các agent, rồi một agent tổng hợp kết hợp đầu ra của bầy. Trên 21 bài toán khám phá toán học và tính toán khoa học, SwarmEvolve đạt điểm trung bình cao nhất và chỉ cần trung vị 3–8 phút để đạt mức điểm mà các framework khác mất khoảng 60 phút. Với Qwen3 8B, hệ thống còn cải thiện một số lời giải mà AlphaEvolve từng tìm được bằng LLM frontier.
Vì sao quan trọngIt suggests AlphaEvolve-style discovery does not require frontier models if many small agents communicate in latent space. Latent KV-cache sharing is an emerging multi-agent pattern worth watching.
arXiv ↗PDF ↓
Mô hình mới
7
Introducing Inkling 2 Small
Thinking Machines Lab ra mắt Inkling 2 Small, mô hình Mixture-of-Experts 594B tham số tổng, 17B kích hoạt, nhận ảnh qua vision encoder 292M dựa trên Perception Encoder và hỗ trợ nhiều mức effort. Mô hình được pre-train trên 8,4 nghìn tỷ token, sau đó qua một đợt RL kết hợp 1.075 bước. Lab công bố 72,1% trên DeepSWE v1.1, 81,6% trên MMMU Pro, 83,8% trên ScreenSpot Pro và 31 điểm Artificial Analysis Intelligence Index. Hiện mô hình chỉ dùng được qua Tinker với trọng số đóng; lab cho biết sẽ phát hành toàn bộ trọng số theo giấy phép Apache 2.0 vào tuần sau, sau khi kiểm thử an toàn và red-teaming bên ngoài.
Vì sao quan trọngIf the weights ship as promised, this becomes one of the strongest Apache-licensed agentic coding and vision models. Releasing weights only after external red-teaming is also a notable process for an open release.
Blog ↗Model card ↗
8
ERNIE 5.5 Flash Base
Baidu mở trọng số ERNIE 5.5 Flash Base, mô hình MoE 280B tham số tổng, 14B kích hoạt mỗi token, pre-train trên 33,5 nghìn tỷ token với ngữ cảnh 128K và được thiết kế để mở rộng tới 1 triệu token. Đây là base model chưa qua post-training, phát hành ở định dạng FP8 và BF16 theo giấy phép riêng ERNIE 5.5 Flash Base Model License. Baidu công bố 78,4 điểm MMLU-Pro (so với 69,2 của DeepSeek-V4-Flash-Base) và 60,2 GPQA, dù vẫn thua đối thủ ở một số bài như ChineseSimpleQA. Kiến trúc dựa trên các bài báo Virtual Head Attention, Multi-View MoE và ECHO; bản post-trained sẽ ra sau.
Vì sao quan trọngStrong open base models are scarce, and this one gives researchers a clean starting point for their own post-training. Note the custom license rather than a standard open-source one.
Hugging Face ↗Baidu blog ↗
Giọng nói
9
Gabor Gabor: E-Gaborformer, a Strictly Causal Speech Recognizer with Gabor-Dictionary Convolutions and Delta-Rule Memory
E-Gaborformer là encoder nhận dạng giọng nói streaming hoàn toàn nhân quả, kết hợp lớp hồi quy Gated DeltaNet-2 với sliding-window attention theo tỷ lệ 3:1 và tích chập thời gian xây từ bộ Gabor atom nhân quả cố định. Trạng thái streaming giữ cố định khoảng 19 MB mỗi cuộc gọi, trong khi encoder causal-attention cùng cỡ vượt 1 GB sau mười phút. Bản production 0,6B tham số cho tiếng Hebrew và tiếng Anh có WER thấp hơn 28–31% so với Nemotron 3.5 ASR Streaming của NVIDIA trên lưu lượng voice agent tiếng Anh. Cùng một bộ trọng số chạy được cả chế độ nhân quả thuần và lookahead 480 ms mà không giảm độ chính xác, và cách huấn luyện RNN-T hai lớp nhanh hơn 2,6 lần.
Vì sao quan trọngConstant-memory streaming ASR directly addresses the cost of long voice-agent calls. Beating a strong NVIDIA streaming baseline on real voice-agent traffic makes linear-recurrent encoders a serious production option.
arXiv ↗PDF ↓
10
Route-DMD: Distribution Matching Distillation with Task-Routed Mechanism for Speech Foundation Models
Mô hình nền tảng giọng nói dựa trên flow matching cần 20–50 bước lặp mỗi yêu cầu, và classifier-free guidance còn nhân đôi chi phí mỗi bước. Nhóm tác giả chỉ ra rằng distribution matching distillation (DMD) không hợp với mọi tác vụ: với tác vụ tách nguồn, đầu ra sai của student trôi ra ngoài phân phối mà teacher từng thấy. Route-DMD vì vậy định tuyến các tác vụ đó sang loss hồi quy và dùng distribution matching cho phần còn lại, khởi tạo student bằng consistency distillation và dùng adaptive projected guidance thay cho CFG. Student 4 bước theo kịp teacher 32 bước trên các tác vụ sinh, chỉnh sửa và xử lý giọng nói, với tốc độ end-to-end nhanh hơn 4,5 lần.
Vì sao quan trọngFew-step distillation is key to making unified speech generation and editing models usable in real time. Routing losses by task type is a simple fix for a real failure mode of DMD outside generation.
arXiv ↗PDF ↓
