Late Entry in Looped Language Models
Mô hình ngôn ngữ dạng vòng lặp (looped LM) chạy lại cùng một chồng tầng nhiều lần cho mỗi token để suy luận tốt hơn mà không thêm tham số, nhưng vì thế giải mã chậm dần khi số vòng tăng. Thay vì early exit (dừng sau vài vòng đầu, khiến KV cache của các token trước bị nông), nhóm tác giả đề xuất “late entry”: token mới bỏ qua các vòng đầu và chỉ tham gia K vòng cuối trên một KV cache đã sâu. Sau một bước tinh chỉnh nhẹ để sửa lệch chuẩn (norm) của trạng thái ẩn tại điểm vào, cách này vượt early exit cùng ngân sách trên nhiều họ mô hình. Bước kiểm tra “Wake” với ngưỡng τ gộp ba chế độ trong một CUDA graph tĩnh: giải mã greedy chính xác (τ = 0), kiểm tra theo biên logit (τ > 0) và late entry có mất mát (τ = ∞). Trên Ouro-2.6B, tốc độ tăng 5,2 lần khi vẫn giải mã greedy chính xác; trên Huginn-3.5B tăng tới 8,4 lần ở T = 64 và 10,6–12,5 lần ở chế độ có mất mát.
Vì sao quan trọngLooped models are a promising way to buy reasoning depth without more parameters, but their decoding cost has been the main obstacle. Exact speedups of 5–8x without changing outputs make them far more practical to serve.
