9
Latency, Speech Recognition and Turn-Taking in Voice Agents for Spanish Phone Negotiation: An Externally Measured Comparison of Pipecat, LiveKit and GPT-Live
Bài so sánh ba kiến trúc cho agent điện thoại tiếng Tây Ban Nha đàm phán giá cước vận tải: hai pipeline cascaded (ASR, LLM, TTS) chạy bằng Pipecat và LiveKit Agents, và GPT-Live của OpenAI xử lý nghe nói trong một mô hình. Với 77 cuộc gọi mỗi kiến trúc và độ trễ đo từ phía người nghe, trung vị thời gian tới nội dung trả lời là 2.616 ms (Pipecat), 3.090 ms (LiveKit) và 2.444,8 ms (GPT-Live), chênh lệch giữa GPT-Live và Pipecat không có ý nghĩa thống kê; mỗi lần gọi công cụ cộng thêm 0,9–1,1 giây. Các framework tự báo độ trễ thấp hơn thực tế 9% (Pipecat) và 22% (LiveKit). WER là 6,03%, 4,93% và 1,47%, riêng lỗi với số tiền đọc thành lời là 13,01%, 12,61% và 2,86%. Một tiếng “ok” chen ngang khiến hệ cascaded ghi nhận thỏa thuận nhầm ở 3/15 (Pipecat) và 2/15 (LiveKit) cuộc gọi, GPT-Live thì không lần nào.
Vì sao quan trọngIt is a rare externally measured, reproducible comparison of production voice-agent stacks in a non-English, money-sensitive task. The findings that framework latency reports undercount and that cascaded systems mishandle backchannels and spoken amounts are directly actionable for builders.
arXiv ↗PDF ↓Code ↗
10
Leveraging Dual-Process Theory for Multimodal Multiparty Turn-Taking Prediction
Trong hội thoại nhiều người, một khoảng lặng chưa chắc là người nói đã xong, và một giọng mới chưa chắc là đã đổi lượt. Lấy cảm hứng từ thuyết xử lý kép, nhóm tác giả tách bài toán thành hai giai đoạn: một bước nhanh, ưu tiên recall để tìm các điểm có thể đổi lượt, và một bước cân nhắc kết hợp bằng chứng âm thanh, ngôn ngữ, người nói, hoạt động dự đoán tương lai và tín hiệu đa phương thức để loại ứng viên sai. Khung được đánh giá trên VoxConverse và Multi-TPC (tương tác ba người có lời nói, ánh mắt, chuyển động, ngữ điệu) qua ba tác vụ từ phân loại SHIFT/HOLD đến phát hiện liên tục. Kết quả chính: tìm điểm có thể đổi lượt dễ hơn nhiều so với xác nhận và định vị chính xác việc chuyển lượt thật. Tóm tắt không đưa số liệu định lượng.
Vì sao quan trọngVoice agents are moving from one-on-one calls into meetings and group settings, where turn-taking is much harder. Reframing it as continuous discovery and verification rather than classification at fixed boundaries is a useful design principle for such agents.
arXiv ↗PDF ↓