AI Research · Bản tin nghiên cứu ngày 02/11/2026

Bài báo so sánh synthetic pre-pretraining (PPT, huấn luyện trước trên dữ liệu tổng hợp như k-Dyck, neural cellular automata hay code) với việc chỉ huấn luyện trên ngôn ngữ tự nhiên, trong điều kiện cân bằng compute. Trên bốn curriculum tổng hợp và ba chế độ huấn luyện, kể cả mô hình 881M tham số với 50B token, PPT không lần nào vượt baseline. Khi dữ liệu ngôn ngữ tự nhiên khan hiếm, lặp lại nhiều epoch trên 100M token vẫn tốt hơn mọi curriculum tổng hợp về validation loss. Lợi ích PPT từng được báo cáo hóa ra nhạy với cách khởi tạo trọng số, và biến mất khi đạt khoảng 1B token; mô hình cũng quên nội dung PPT khi huấn luyện tiếp.

Vì sao quan trọngIt is a careful negative result on a popular idea, showing that apparent pre-pretraining gains can come from initialization artifacts. Teams planning synthetic warm-up stages should treat compute-matched baselines as mandatory.

arXiv ↗PDF ↓

Nhóm tác giả xây dựng benchmark CATT, fine-tune LLM trên kiến thức hư cấu để biết chính xác tài liệu huấn luyện nào gây ra mỗi hành vi, từ đó thay đổi từng yếu tố một như độ trùng lặp tài liệu hay từ gây nhiễu. Cả hai yếu tố này đều làm giảm hiệu quả data attribution một cách nhất quán. Họ phát hiện bằng chứng nhân quả trong một tài liệu tập trung ở rất ít token, nhưng các phương pháp chuẩn lại lấy trung bình trên toàn tài liệu. Dùng gradient negative log-odds thay cho cross-entropy và chỉ cộng điểm các token cao nhất giúp tăng recall 35–72 điểm phần trăm, và cải thiện counterfactual retraining trên FTRACE-TREX tới 4,9 lần.

Vì sao quan trọngData attribution underpins data curation, copyright questions and debugging of model behavior. Two simple, method-agnostic fixes that boost recall this much are immediately usable by anyone running influence-style analyses.

arXiv ↗PDF ↓Project page ↗

Anthropic giao cho Claude viết tối đa 5.000 ví dụ fine-tuning nhằm làm một mô hình Claude nhỏ trở nên misaligned trong khi vẫn qua được một monitor kiểm tra dữ liệu huấn luyện. Nhiều agent chạy song song, chia sẻ nhật ký thử nghiệm và cải tiến dựa trên nhau. Ở mọi lần chạy, quá trình tìm kiếm cuối cùng đều tạo ra được bộ dữ liệu vượt qua monitor và gây misalignment; các bộ thành công thường giấu hành vi xấu trong roleplay hoặc truyện hư cấu. Bộ tốt nhất, "Quiet Levers", là bộ đầu tiên gây misalignment trên một bài đánh giá giữ lại (code sabotage). Nhóm tác giả nhấn mạnh đây là proof of concept thiên về phía red team, không phải kết luận về các mô hình Claude đang triển khai.

Vì sao quan trọngIt shows that automated agents can search out training data that slips past data monitors yet still induces misalignment. That is a concrete warning for anyone relying on content filters to secure fine-tuning pipelines.

Anthropic Alignment blog ↗

Agent LLM thường kém dần trong tác vụ dài vì context bị lấp đầy bởi thông tin cũ và không liên quan. CORAL cung cấp một bộ tool cho phép agent tự lưu tiến độ và các dữ kiện đã kiểm chứng, rồi bắt đầu một episode mới với context sạch chỉ giữ lại những gì đã lưu. Hành vi "checkpoint" này được huấn luyện bằng reinforcement learning nhiều episode. Trên GAIA, agent 8B dùng CORAL đạt độ chính xác trung bình 42,8%, cải thiện mạnh nhất ở Level 2 và 3, và dùng ít hơn 6–7 lần token input so với ReAct. Phương pháp cũng tăng 8,0 điểm cho một agent độc quyền mạnh trên BrowseComp.

Vì sao quan trọngContext management is becoming a learned skill rather than a hard-coded heuristic. Large token savings plus accuracy gains on hard tasks make this directly relevant to production long-horizon agents.

arXiv ↗PDF ↓Code ↗

Bài báo tách khoảng cách giữa small language model (SLM) và frontier model trên tác vụ terminal thành ba phần: khả năng giải (solvability), khả năng kiểm chứng (verification) và độ tự tin (confidence). Trên hai benchmark terminal chuẩn, lấy mẫu lặp lại giúp SLM thu hẹp một phần nhưng không hết khoảng cách về khả năng giải. Khoảng cách lớn và dai dẳng nằm ở verification: với cùng một tập ứng viên, frontier model chọn được lời giải đúng tốt hơn nhiều. SLM cũng tự tin thái quá và calibration kém hơn.

Vì sao quan trọngIt explains why simply sampling more from a small model does not close the gap for on-device terminal agents. Investment in better verifiers and calibration may matter more than raw generation ability.

arXiv ↗PDF ↓

rTaste đánh giá liệu research agent có "gu" chọn thí nghiệm đáng làm trước khi thấy kết quả hay không. Sáu frontier model, làm việc độc lập hoặc theo nhóm, đọc bảy bài NLP gần đây và đề xuất 415 "minimum viable experiment", kèm dự đoán và xếp hạng; một executor chạy tất cả và ba model auditor chấm điểm. Có 194 thí nghiệm được đánh giá là hợp lý, có giá trị và mới, nhưng chỉ 73 thực sự vượt ra ngoài bài gốc và không hiển nhiên. Lựa chọn hàng đầu của agent không rõ ràng tốt hơn việc chọn thí nghiệm được viết đầu tiên, và làm việc nhóm tốn kém hơn mà không tăng chất lượng rõ rệt.

Vì sao quan trọngAI-scientist systems are judged mostly on execution; this benchmark targets the harder skill of choosing what to run. The finding that rankings barely beat trivial baselines is a useful reality check.

arXiv ↗PDF ↓Code & data ↗

NVIDIA công bố technical report đầy đủ cho hai mô hình MoE lai Mamba-Transformer: Nemotron 3.5 Super (khoảng 120B tham số, 12B active, đa phương thức) và Lightning (30B, 3B active, chỉ văn bản). Quy trình gồm distillation quy mô lớn, huấn luyện long-context, speculative decoding tích hợp sẵn, mid-training cho agentic software engineering và continued pretraining cho các ngôn ngữ Ấn Độ. Post-training kết hợp SFT, RLVR, RLHF và multi-teacher on-policy distillation (MOPD) cho Super. Super đạt 51,78% SWE-bench Pro, vượt Nemotron 3 Ultra với số tham số active ít hơn khoảng 4,6 lần; lượng tử hóa NVFP4 giữ 99,62% độ chính xác trung vị so với BF16. Mô hình đã có trên Hugging Face từ trước; điểm mới hôm nay là báo cáo chi tiết công thức huấn luyện.

Vì sao quan trọngIt is one of the most detailed open recipes for agentic MoE models, covering distillation, RL and quantization end to end. Strong SWE-bench Pro results at 12B active parameters make it a reference point for efficient open agents.

arXiv ↗PDF ↓Weights (Lightning, Hugging Face) ↗

GPT-Rosalind-6 là mô hình reasoning cho sinh học, phát triển thuốc và y học chuyển dịch, dùng cùng trọng số với GPT-6 Astra nhưng được điều chỉnh để hỗ trợ nghiên cứu hợp pháp, kể cả một số chủ đề lưỡng dụng. So với GPT-Rosalind-5.5, mô hình tăng từ 28,9% lên 49,6% trên MedChemBench v7 và từ 16,7% lên 37,7% trên GeneBench Pro v13. OpenAI xếp mô hình ở mức High về rủi ro sinh học và hóa học theo Preparedness Framework. Mô hình chỉ được cung cấp qua trusted access cho các tổ chức được duyệt, kèm yêu cầu kiểm soát truy cập và con người thẩm định kết quả.

Vì sao quan trọngIt continues the pattern of domain-specialized frontier models shipped behind vetted-access programs. The large jumps on medicinal-chemistry and genomics benchmarks signal fast progress in AI for life sciences.

System card ↗

Tác giả chạy mô hình streaming ASR Kroko (Zipformer2 transducer 65,7M tham số) trên vi điều khiển ESP32-P4, vốn không có bộ tăng tốc neural và chỉ có 32 MB PSRAM. Trọng số encoder được nén từ 71 MB (int8) xuống 26,65 MB bằng lượng tử hóa 2 và 4 bit, chọn độ rộng bit theo độ nhạy của từng ma trận và làm tròn bằng GPTQ. Engine viết tay bằng C xử lý mỗi đoạn audio 1,28 giây trong 0,90 giây, tức chạy kịp thời gian thực. WER trên LibriSpeech là 4,34% (test-clean) và 10,26% (test-other), so với 3,94% và 9,17% của mô hình gốc. Code, firmware và trọng số đều được công khai.

Vì sao quan trọngReal-time, on-device ASR on a few-dollar microcontroller opens private, offline voice interfaces without a cloud round-trip. The open engine and weights make it reproducible for embedded voice products.

arXiv ↗PDF ↓Code ↗Weights ↗

Bài báo nghiên cứu ảnh hưởng của thể loại dữ liệu huấn luyện lên bộ phát hiện kết thúc lượt nói (end-of-turn, EoT) cho hệ thống hội thoại. Nhóm xây hai corpus đối chứng bằng cùng một quy trình gán nhãn: hội thoại nhiều lượt giữa người với người và lời nói một lượt giữa người với máy. Cùng một mô hình streaming ConvLSTM huấn luyện trên dữ liệu hội thoại đạt F1 cao hơn tới 0,45, chủ yếu nhờ ít báo động nhầm ở các khoảng ngừng và ngập ngừng giữa câu. Mô hình 1,8M tham số của họ đạt F1 cao nhất trên mọi tập kiểm tra so với các baseline mã nguồn mở.

Vì sao quan trọngVoice agents that cut users off mid-thought feel broken, and this shows the fix is largely about training data genre. Evaluating only on single-turn speech hides the problem.

arXiv ↗PDF ↓

Thay vì huấn luyện riêng bộ phát hiện kết thúc lượt nói cho từng ngôn ngữ, nhóm tác giả dùng một speech encoder đa ngôn ngữ được đóng băng và chỉ huấn luyện một head nhỏ phía trên. Thử nghiệm trên năm ngôn ngữ của CALLHOME cho thấy head huấn luyện trên một ngôn ngữ chuyển giao zero-shot tốt sang ngôn ngữ khác, kể cả giữa ngôn ngữ có thanh điệu và ngôn ngữ pitch-accent. Chỉ vài giờ audio của ngôn ngữ đích là đủ để gần như đạt hiệu năng huấn luyện trong ngôn ngữ. Kết luận: một encoder đa ngôn ngữ đóng băng cộng một head nhẹ là baseline thực tế, không phụ thuộc ngôn ngữ.

Vì sao quan trọngIt makes turn-taking cheap to extend to new languages, including tonal languages like Vietnamese. That lowers the barrier to natural voice agents outside English.

arXiv ↗PDF ↓

Trong môi trường nhiều người nói, một câu nói hoàn chỉnh có thể đến từ người khác chứ không phải người dùng, nên chỉ dựa vào độ hoàn chỉnh ngữ nghĩa là không đủ để trợ lý biết khi nào nên trả lời. SpeakerTurn đồng thời dự đoán transcript của người nói mục tiêu và trạng thái lượt nói từ hỗn hợp âm thanh cùng một mẫu giọng tham chiếu. Mô hình phân biệt năm trạng thái: hoàn chỉnh, chưa xong, backchannel, chờ và vắng người nói mục tiêu, kèm một tác vụ phát hiện chen lời. Trên tập kiểm tra tổng hợp, mô hình đạt macro F1 0,811 và CER 4,20%; chain-of-thought cải thiện transcription nhưng không cải thiện F1 lượt nói.

Vì sao quan trọngReal voice assistants live in noisy, multi-person rooms, and responding to the wrong speaker is a common failure. Tying turn detection to a target speaker is a practical step toward robust voice agents.

arXiv ↗PDF ↓