Leo thang & xử lý sự mơ hồ

Những điều bạn cần biết

Hiệu chỉnh việc leo thang là một năng lực mang tính quyết định thành bại đối với các agent hỗ trợ khách hàng. Leo thang thiếu hiệu chỉnh sẽ trực tiếp phá hủy tỷ lệ giải quyết ngay lần liên hệ đầu tiên. Đề thi kiểm tra sự hiểu biết của bạn về thời điểm nên leo thang, thời điểm nên tự giải quyết, và những tác nhân kích hoạt leo thang thường được đề xuất nhưng lại không đáng tin cậy.

Ba tác nhân kích hoạt leo thang hợp lệ

Có đúng ba lý do hợp lệ để một agent hỗ trợ leo thang lên nhân viên hỗ trợ:

1. Khách hàng yêu cầu rõ ràng được gặp người thật. Khi khách hàng nói "Tôi muốn nói chuyện với người thật" hoặc "Chuyển tôi sang nhân viên hỗ trợ", hãy tôn trọng yêu cầu này ngay lập tức. KHÔNG được cố gắng giải quyết vấn đề trước. Không nói "Để tôi xem tôi có thể giúp bạn việc này trước không." Khách hàng đã đưa ra một yêu cầu rõ ràng và agent phải tôn trọng nó không chậm trễ.

Đây là một quy tắc tuyệt đối, không có ngoại lệ. Ngay khi khách hàng yêu cầu rõ ràng được gặp người thật, việc leo thang phải diễn ra.

2. Ngoại lệ hoặc lỗ hổng chính sách. Yêu cầu nằm ngoài chính sách đã được ghi rõ. Ví dụ, một khách hàng yêu cầu khớp giá với đối thủ cạnh tranh trong khi chính sách chỉ áp dụng cho việc điều chỉnh giá trên chính trang web của công ty. Agent không thể tự đặt ra chính sách tại chỗ — việc này đòi hỏi sự phán đoán của con người về việc có nên tạo ngoại lệ hay không.

Lỗ hổng chính sách khác với vi phạm chính sách. Một vi phạm (ví dụ, yêu cầu hoàn tiền ngoài thời hạn đổi trả) đã có câu trả lời được ghi rõ ("không"). Một lỗ hổng nghĩa là chính sách không đề cập gì đến tình huống cụ thể đó. Lỗ hổng cần leo thang; vi phạm thì không.

3. Không thể đạt được tiến triển thực chất. Agent đã cố gắng giải quyết nhưng không thể tiến thêm được. Có thể là các tool trả về lỗi mà logic thử lại cục bộ không thể khắc phục, tình huống của khách hàng đòi hỏi quyền truy cập hệ thống mà agent không có, hoặc vấn đề liên quan đến một lỗi kỹ thuật cần sự can thiệp của đội kỹ thuật.

Đây là trường hợp bao quát tất cả, nhưng nó đòi hỏi agent phải thực sự đã cố gắng giải quyết trước. "Tôi có thể không xử lý được việc này" là chưa đủ — agent phải chứng minh rằng nó đã thử và thất bại.

Hai tác nhân kích hoạt không đáng tin cậy

Đề thi đặc biệt kiểm tra khả năng bạn nhận diện đây là các anti-pattern:

Leo thang dựa trên cảm xúc. Sử dụng việc phát hiện sự bực bội hoặc điểm cảm xúc tiêu cực để kích hoạt leo thang là không đáng tin cậy, vì sự bực bội không tương quan với độ phức tạp của vụ việc. Một khách hàng tức giận vì giao hàng trễ đơn giản thì rất dễ giải quyết (xin lỗi, đề nghị bồi thường, gửi lại hàng). Một khách hàng bình tĩnh, lịch sự hỏi về việc khớp giá với đối thủ lại cần sự phán đoán của con người về một lỗ hổng chính sách. Cảm xúc đo lường trạng thái tinh thần, không đo lường độ khó của vụ việc.

Điểm tự tin do mô hình tự báo cáo. Việc để mô hình xuất ra một điểm tự tin (1-10) và leo thang khi điểm đó xuống dưới một ngưỡng là không đáng tin cậy, vì độ tự tin tự báo cáo của LLM được hiệu chỉnh kém. Mô hình thường tự tin sai lầm ở những vụ việc khó (nó không biết những gì nó không biết) và không cần thiết phải do dự ở những vụ việc đơn giản (nó rào đón khi câu trả lời đã rõ ràng). Đây chính xác là tình huống thất bại được mô tả trong kịch bản của đề thi: agent leo thang những vụ việc đơn giản trong khi lại cố gắng tự xử lý những vụ việc phức tạp.

Sự tinh tế của cảm xúc bực bội

Đề thi kiểm tra một điểm tinh tế cụ thể về sự bực bội của khách hàng:

• Nếu vấn đề đơn giản và khách hàng đang bực bội: Hãy thừa nhận sự bực bội, đề nghị giải pháp. "Tôi hiểu điều này thật khó chịu. Tôi có thể xử lý việc đổi hàng cho bạn ngay bây giờ." Không leo thang.
• Nếu khách hàng nhắc lại nguyện vọng được gặp người thật sau khi bạn đã đề nghị giúp đỡ: Lúc này hãy leo thang. Họ đã được cho cơ hội chấp nhận giải pháp từ agent nhưng đã từ chối.
• Nếu khách hàng nói rõ ngay từ đầu "Tôi muốn gặp người thật": Leo thang ngay lập tức. Không điều tra, không đề nghị giúp đỡ trước.

Sự khác biệt nằm giữa "khách hàng bực bội với một vấn đề có thể giải quyết được" (giải quyết nó) và "khách hàng muốn rõ ràng gặp người thật" (leo thang ngay lập tức). Đây là hai tình huống khác nhau đòi hỏi những phản ứng khác nhau.

Khớp khách hàng mơ hồ

Khi một tool trả về nhiều kết quả khớp khách hàng cho một truy vấn tìm kiếm (ví dụ, tìm theo tên trả về ba bản ghi "Nguyễn Văn A"), agent phải yêu cầu thêm thông tin định danh: địa chỉ email, số điện thoại, mã đơn hàng, hoặc thông tin phân biệt khác.

Agent KHÔNG được:

• Chọn bản ghi khách hàng gần đây nhất
• Chọn bản ghi khách hàng hoạt động tích cực nhất
• Chọn dựa trên bất kỳ suy đoán kinh nghiệm nào

Chọn sai khách hàng có thể dẫn đến vi phạm quyền riêng tư (để lộ dữ liệu của khách hàng này cho khách hàng khác) hoặc hành động sai (xử lý hoàn tiền vào nhầm tài khoản). Phản hồi an toàn duy nhất đối với các kết quả khớp mơ hồ là yêu cầu làm rõ.

Tiêu chí leo thang rõ ràng trong system prompt

Cách hiệu quả nhất để hiệu chỉnh việc leo thang là thêm các tiêu chí leo thang rõ ràng cùng các ví dụ few-shot vào system prompt. Những ví dụ này nên thể hiện:

• Khi nào nên leo thang (yêu cầu rõ ràng gặp người thật, lỗ hổng chính sách, không thể tiến triển)
• Khi nào nên tự giải quyết (vụ việc đơn giản, bực bội nhưng có thể giải quyết)
• Định dạng chính xác của việc leo thang (bàn giao có cấu trúc kèm mã khách hàng, nguyên nhân gốc rễ, hành động đề xuất)

Đây là phản ứng đầu tiên tương xứng, trước khi bổ sung thêm hạ tầng như mô hình phân loại hay phân tích cảm xúc. Tối ưu hóa prompt luôn nên đi trước những thay đổi về kiến trúc.

Bẫy thi

Tình huống luyện tập

Không tìm thấy câu hỏi luyện tập "q-5-2-001".

Bài tập thực hành

Nguồn tham khảo

• Claude Certified Architect Foundations Exam Guide — Domain 5, Task Statement 5.2 — Anthropic
• Anthropic Agent SDK Documentation — Human-in-the-loop — Anthropic
• Anthropic Customer Support Best Practices — Anthropic