Thiết kế Smart Barge-in: Cơ chế Ngắt lời thông minh cho Tổng đài Voice AI Full-Duplex, từ Acoustic Echo Cancellation tới phân loại Ý định ngắt lời

Vì sao một tổng đài AI không biết ngắt lời là một tổng đài vô duyên

Hình dung một tình huống quen thuộc: AI đang đọc chính sách bảo hành dài, khách hàng đã nghe đủ và nói chen vào “À thôi, cho chị đổi sang chiều nhé”. Một hệ thống half-duplex, tức chỉ bắt đầu lắng nghe sau khi đã phát xong âm thanh, sẽ tiếp tục đọc hết câu trả lời cũ, hoàn toàn bỏ qua yêu cầu của khách cho tới khi dứt lượt nói. Trải nghiệm này giống hệt một nhân viên tư vấn cứng nhắc, đọc đúng kịch bản mà không quan tâm khách đang nói gì, điều phá hỏng toàn bộ cảm giác “trò chuyện tự nhiên” mà một hệ thống Voice AI tiếng Việt chất lượng cao cần mang lại.

Smart Barge-in là cơ chế kỹ thuật cho phép hệ thống vừa phát âm thanh phản hồi, vừa đồng thời lắng nghe và nhận biết khi nào khách muốn ngắt lời thật sự, rồi dừng phát đúng lúc, nhường lời một cách tự nhiên. Đây không phải một tính năng đơn lẻ, mà là sự phối hợp của bốn lớp kỹ thuật: khử tiếng vọng âm học, phát hiện giọng nói song song với phát, phân loại ý định ngắt lời, và một máy trạng thái điều phối toàn bộ quá trình chuyển lượt nói.

Lớp 1. Acoustic Echo Cancellation: điều kiện tiên quyết trước mọi thứ khác

Khi AI đang phát âm thanh qua loa điện thoại hoặc loa máy tính của khách, chính âm thanh đó dội ngược lại qua micro của khách với một độ trễ và biến dạng nhất định do đặc tính phần cứng và không gian phòng. Nếu không xử lý, bất kỳ bộ phát hiện giọng nói (VAD) nào chạy trên tín hiệu micro thô sẽ nhầm lẫn giọng AI vọng lại là giọng người, khiến hệ thống liên tục “nghĩ” rằng khách đang ngắt lời trong khi thực chất đang nghe chính giọng mình phát ra bị phản xạ lại.

Acoustic Echo Cancellation (AEC) giải quyết vấn đề này bằng một bộ lọc thích ứng (adaptive filter), thường dựa trên thuật toán Normalized Least Mean Squares (NLMS), liên tục ước lượng đặc tính đường truyền tiếng vọng (echo path) giữa tín hiệu AI phát ra (reference signal) và tín hiệu thu được qua micro, rồi trừ đi thành phần tiếng vọng ước lượng được khỏi tín hiệu micro thô, chỉ giữ lại phần tín hiệu thực sự đến từ giọng nói của khách.

AI output signal (reference) ──┬──────────────────────────▶ Loa phát ra ngoài
                                │
                                ▼
                     Adaptive Filter (NLMS, ước lượng echo path)
                                │
                                ▼
                     Echo ước lượng ĥ(n)
                                │
 Micro signal d(n) ─────────────┴──▶ [ d(n) − ĥ(n) ] ──▶ Tín hiệu giọng khách đã khử vọng

Lớp 2. VAD song song và Double-talk Detection

Sau khi tín hiệu micro đã được khử vọng, một bộ Voice Activity Detection (VAD) chạy song song liên tục trên luồng đã xử lý, với ngưỡng nhạy được tinh chỉnh cao hơn so với VAD dùng trong chế độ nghe thông thường, nhằm tránh kích hoạt bởi phần dư thừa của tiếng vọng chưa được khử triệt để hoặc tạp âm nền.

Trường hợp phức tạp nhất là double-talk, khi cả AI và khách cùng phát ra âm thanh đồng thời, một hiện tượng xảy ra tự nhiên trong giao tiếp người với người (ngắt lời, chen ngang) nhưng gây rối loạn nghiêm trọng cho bộ lọc thích ứng AEC, vì lúc này tín hiệu micro chứa cả tiếng vọng lẫn giọng khách thật trộn lẫn, khiến bộ lọc có thể hội tụ sai nếu tiếp tục cập nhật bình thường. Double-talk detector, thường dựa trên tỷ lệ năng lượng giữa tín hiệu tham chiếu và tín hiệu micro, phát hiện tình huống này và tạm đóng băng việc cập nhật hệ số bộ lọc AEC trong lúc double-talk đang diễn ra, tránh làm hỏng mô hình echo path đã học được, rồi tiếp tục cập nhật bình thường khi double-talk kết thúc.

Lớp 3. Phân loại Ý định ngắt lời: không phải mọi âm thanh đều là Barge-in

Người Việt có thói quen giao tiếp chêm các tiếng phản hồi lắng nghe (backchannel) như “dạ”, “vâng”, “ừ”, “ok” trong lúc đang nghe người khác nói, không hề mang ý định giành lượt nói. Nếu hệ thống coi mọi âm thanh phát hiện được từ khách là tín hiệu ngắt lời, AI sẽ liên tục dừng giữa chừng một cách vô lý mỗi khi khách buột miệng “dạ”, phá vỡ mạch trình bày và tạo cảm giác AI “giật mình” quá mức.

BEEDONI xây dựng một bộ phân loại nhị phân chạy ngay khi VAD phát hiện giọng nói chồng lấn, kết hợp ba nhóm đặc trưng để phân biệt backchannel với ý định ngắt lời thật sự.

Chỉ khi bộ phân loại xác nhận đây là ý định ngắt lời thật sự, hệ thống mới kích hoạt chuỗi hành động dừng phát: hủy các token LLM và đoạn TTS chưa phát, dừng âm thanh đang phát trong vòng vài chục mili-giây, và ghi lại chính xác AI đã nói tới đâu để lượt hội thoại tiếp theo không lặp lại phần khách đã nghe.

Lớp 4. Máy trạng thái điều phối chuyển lượt nói

Toàn bộ quá trình trên được điều phối bởi một máy trạng thái hữu hạn (Finite State Machine) quản lý vòng đời của một lượt phát âm thanh, đảm bảo mọi quyết định dừng phát, tiếp tục phát hay chuyển lượt đều đi qua đúng trình tự, không có trạng thái race condition giữa luồng phát và luồng nghe.

SPEAKING ──(VAD phát hiện giọng khách, chồng lấn)──▶ EVALUATING_INTERRUPT
   ▲                                                         │
   │                                                         ├─(phân loại: backchannel)──▶ SPEAKING (tiếp tục)
   │                                                         │
   │                                                         └─(phân loại: ngắt lời thật)──▶ INTERRUPTED
   │                                                                                            │
   └────────────────────(lượt mới của AI bắt đầu)── LISTENING ◀──────────────────────────────────┘
                                                        │
                                              (ghi lại điểm dừng, hủy token/TTS chưa phát)

Thiết kế dạng máy trạng thái tường minh, thay vì để logic ngắt lời nằm rải rác trong code xử lý luồng âm thanh, mang lại lợi ích kiểm thử quan trọng: mọi đường chuyển trạng thái đều có thể liệt kê và viết test riêng, bao gồm cả các trường hợp biên như khách ngắt lời ngay trong vài trăm mili-giây đầu tiên AI vừa bắt đầu nói, hoặc khách ngắt lời liên tiếp nhiều lần trong một lượt phát.

“Khả năng nhường lời đúng lúc không phải một tính năng phụ của Voice AI. Đó là tín hiệu rõ ràng nhất, dễ cảm nhận nhất, cho khách hàng biết họ đang trò chuyện với một hệ thống biết lắng nghe, chứ không phải một cái máy phát âm thanh theo kịch bản cố định.”

Kết luận: Smart Barge-in hoàn thiện trải nghiệm hội thoại tự nhiên

Smart Barge-in là mắt xích cuối cùng khép lại chuỗi nghiên cứu cốt lõi ngôn ngữ tiếng Việt của BEEDONI: từ nền tảng ngôn ngữ học hình thức hóa thanh điệu và phương ngữ ba miền, tới mô hình giọng nói hợp nhất xử lý cả ba miền, tới hạ tầng suy luận nén độ trễ xuống dưới 0,8 giây, và cuối cùng là cơ chế cho phép hội thoại diễn ra tự nhiên như giữa người với người, với khả năng ngắt lời và nhường lời đúng lúc. Toàn bộ chuỗi kỹ thuật này được đóng gói sẵn trong Tổng đài Voice AI của BEEDONI, đồng bộ trực tiếp với Bee CRM để mỗi cuộc gọi, dù có bị ngắt lời bao nhiêu lần, vẫn được ghi nhận chính xác và đầy đủ.