Tra cứu nhanh: Lĩnh vực 5 — Quản lý Context & Độ tin cậy
Bẫy Tóm Tắt Lũy Tiến
Sai lầm phổ biến nhất: Dựa vào mô hình để tóm tắt dần dần context trước đó khi cuộc hội thoại kéo dài. Mỗi lượt tóm tắt làm mất chi tiết cụ thể — tên, con số, trích dẫn chính xác, mốc thời gian chính xác.
Cách khắc phục: Trích xuất các dữ kiện cụ thể vào khối có cấu trúc bền vững được mang theo nguyên vẹn. Đừng yêu cầu mô hình "tóm tắt những gì chúng ta đã thảo luận" — thay vào đó, hãy duy trì một phần dữ kiện có cấu trúc:
## Persistent Facts - Customer: Jane Smith (ID: 12847) - Order: #ORD-2024-8821, placed 2024-01-15 - Issue: Delivery address incorrect (postcode SW1A 1AA, should be SW1A 2AA) - Status: Refund approved, reshipment pending
Khối này được sao chép nguyên văn, không bị tóm tắt lại. Mô hình không thể làm mất các chi tiết này.
File Nháp (Scratchpad)
Dùng file nháp để lưu giữ các phát hiện xuyên qua các ranh giới context trong quá trình khám phá nhiều bước.
Khi nào dùng: Nhiệm vụ chạy dài có thể vượt quá context window, hoặc nhiệm vụ mà các phát hiện trung gian cần tồn tại qua một lần reset context.
Mẫu hình:
- Ghi các phát hiện vào file nháp ngay khi phát hiện ra chúng
- Tại các ranh giới context, đọc lại file nháp để khôi phục trạng thái
- File nháp là một tệp trên đĩa — nó tồn tại qua bất kỳ lần reset context nào
Phân biệt then chốt: File nháp là lưu trữ bên ngoài (tệp). Lịch sử hội thoại là lưu trữ bên trong (context window). Khi context window đầy, lịch sử hội thoại bị mất — file nháp thì không.
Lan Truyền Lỗi
Ngữ cảnh lỗi có cấu trúc phải bao gồm:
| Trường | Mục Đích | Ví Dụ |
|---|---|---|
| Loại lỗi | Thuộc nhóm lỗi nào | "network_timeout", "validation_error" |
| Kết quả một phần | Những gì đã lấy được thành công | { "orders": [...], "payments": null } |
| Phương án đã thử | Đã thử biện pháp phục hồi nào | "Retried 2x, tried fallback endpoint" |
| Hành động đề xuất | Điều gì nên xảy ra tiếp theo | "Escalate to support with order IDs" |
Không bao giờ lan truyền thông báo lỗi chung chung. "Đã có lỗi xảy ra" không cho agent (hoặc con người) tiếp theo bất cứ điều gì để dựa vào. Ngữ cảnh lỗi có cấu trúc cho phép phục hồi thông minh.
Kết Quả Rỗng Hợp Lệ So Với Lỗi Truy Cập
| Tình Huống | Loại | Hành Động Đúng |
|---|---|---|
| Tìm kiếm trả về 0 kết quả | Rỗng hợp lệ | Chấp nhận — việc thiếu dữ liệu chính là câu trả lời |
| API trả về 401 Unauthorised | Lỗi truy cập | Retry với thông tin xác thực đúng hoặc leo thang |
| Truy vấn cơ sở dữ liệu trả về tập rỗng | Rỗng hợp lệ | Chấp nhận — bản ghi không tồn tại |
| Timeout mạng | Lỗi truy cập | Retry hoặc dùng phương án dự phòng |
| Filter không khớp mục nào | Rỗng hợp lệ | Chấp nhận — tinh chỉnh filter hoặc báo cáo không có kết quả khớp |
| Rate limit (429) | Lỗi truy cập | Chờ rồi retry (tuân theo Retry-After) |
Đề thi liên tục kiểm tra sự phân biệt này. Nếu tool thực thi thành công và trả về không có gì, đó là một kết quả hợp lệ. Nếu tool thất bại khi thực thi, đó là một lỗi cần được phục hồi.
Hiệu Chỉnh Độ Tin Cậy & Xác Thực Phân Tầng
Chỉ số tổng hợp che giấu vấn đề theo từng loại. Độ chính xác tổng thể 95% có thể che giấu việc một nhóm chỉ đạt 60% độ chính xác.
Mẫu hình xác thực phân tầng:
- Nhóm các kết quả trích xuất theo loại/nhóm
- Tính độ chính xác theo từng loại
- Xác định các nhóm mà mô hình hoạt động kém
- Áp dụng biện pháp khắc phục có mục tiêu (ví dụ tốt hơn, schema chặt hơn) cho các nhóm yếu
Lấy mẫu ngẫu nhiên phân tầng: Chọn mẫu xác thực từ mỗi nhóm theo tỷ lệ. Điều này phát hiện các mẫu lỗi mới mà lấy mẫu ngẫu nhiên trên toàn bộ các nhóm sẽ bỏ sót.
Điểm thi quan trọng: Khi câu hỏi đề cập "độ chính xác tổng thể cao nhưng người dùng báo lỗi", đáp án là xác thực phân tầng — hãy chia nhỏ độ chính xác theo nhóm để tìm ra điểm yếu.
Quy Kết Nguồn (Attribution)
Ánh xạ khẳng định-nguồn có cấu trúc tồn tại qua quá trình tổng hợp. Link nội tuyến thì không.
| Cách Tiếp Cận | Tồn Tại Qua Tổng Hợp? | Dùng Khi |
|---|---|---|
Ánh xạ có cấu trúc: { claim: "...", source: "...", url: "...", date: "..." } | Có | Hệ thống production, pipeline nhiều bước |
| Link nội tuyến trong văn bản | Không — bị mất khi tóm tắt | Chỉ dùng để làm prototype nhanh |
Nguồn mâu thuẫn: Chú thích cả hai kèm nguồn gốc thông tin và ngày tháng. Không bao giờ lấy trung bình các khẳng định mâu thuẫn hoặc âm thầm chọn một. Hãy trình bày cả hai kèm nguồn của chúng và để người dùng cuối tự quyết định.
Claim: "Context window is 200K tokens" Source A: Anthropic docs (2024-03-15) — 200K tokens Source B: Blog post (2023-11-20) — 100K tokens Resolution: Source A is newer and authoritative. Source B is outdated.
Giám Sát & Khả Năng Quan Sát
Tỷ lệ lỗi theo từng loại, không chỉ độ chính xác tổng hợp. Đây là phiên bản giám sát tương đương của xác thực phân tầng.
Những gì cần theo dõi:
- Tỷ lệ lỗi theo từng loại/nhóm trích xuất
- Tỷ lệ lỗi theo từng loại nguồn (các API khác nhau, các định dạng tài liệu khác nhau)
- Điểm độ tin cậy so với độ chính xác thực tế (đường cong hiệu chỉnh)
- Mức sử dụng context window theo độ dài cuộc hội thoại
- Tỷ lệ retry và tỷ lệ phục hồi thành công
Cảnh báo khi: Độ chính xác theo từng nhóm giảm, không chỉ khi độ chính xác tổng thể giảm. Một mức giảm tổng thể 2% có thể đại diện cho một mức giảm 30% ở một nhóm cụ thể.
Chiến Lược Context Window
| Chiến Lược | Khi Nào Dùng |
|---|---|
| Khối dữ kiện bền vững | Chi tiết quan trọng phải tồn tại qua quá trình tóm tắt |
| File nháp (scratchpad) | Khám phá nhiều bước xuyên qua các ranh giới context |
| Lượt xử lý theo từng tệp + tích hợp | Codebase lớn — tránh pha loãng chú ý |
| Khởi động mới + tiêm bản tóm tắt | Context đã trở nên lỗi thời hoặc mâu thuẫn |
| Prompt caching | System prompt lặp lại qua nhiều yêu cầu (tiết kiệm chi phí + độ trễ) |
Dấu hiệu context window bị quá tải: Mô hình bắt đầu lặp lại chính nó, mâu thuẫn với các phát biểu trước đó, hoặc bỏ qua thông tin gần đây. Đây là dấu hiệu window đã quá đầy hoặc context đã lỗi thời.
Quy Tắc Quyết Định Cho Kỳ Thi
| Nếu câu hỏi nói... | Đáp án khả năng cao là... |
|---|---|
| "chi tiết bị mất qua cuộc hội thoại dài" | Khối dữ kiện bền vững, không phải tóm tắt lũy tiến |
| "phát hiện cần tồn tại qua lần reset context" | File nháp (lưu trữ bên ngoài) |
| "tool không trả về gì" | Phân biệt: rỗng hợp lệ (chấp nhận) vs lỗi truy cập (retry) |
| "độ chính xác tổng thể cao, người dùng báo lỗi" | Xác thực phân tầng — kiểm tra độ chính xác theo từng loại |
| "các nguồn mâu thuẫn nhau" | Chú thích cả hai kèm nguồn gốc thông tin và ngày tháng |
| "thông báo lỗi chung chung" | Thay bằng ngữ cảnh lỗi có cấu trúc |
| "mô hình tự mâu thuẫn với chính nó" | Khởi động mới + tiêm bản tóm tắt |
| "trích dẫn nội tuyến bị mất sau xử lý" | Chuyển sang ánh xạ khẳng định-nguồn có cấu trúc |
| "giám sát cho thấy chỉ số ổn định nhưng có phàn nàn về chất lượng" | Tỷ lệ lỗi theo từng loại thay vì tổng hợp |
| "nhiệm vụ dài vượt quá context window" | File nháp + quản lý ranh giới context |
Các Bẫy Thi Thường Gặp
| Bẫy | Đáp Án Đúng |
|---|---|
| "Tóm tắt cuộc hội thoại để tiết kiệm context" | Sai — tóm tắt làm mất chi tiết; hãy dùng khối dữ kiện bền vững |
| "Độ chính xác tổng thể 95% nghĩa là hệ thống đáng tin cậy" | Sai — hãy kiểm tra độ chính xác theo từng loại; tổng hợp che giấu vấn đề theo nhóm |
| "Chọn nguồn gần đây hơn khi chúng mâu thuẫn" | Sai — hãy chú thích cả hai kèm nguồn gốc thông tin; để người dùng cuối tự quyết định |
| "Trả về 'Không tìm thấy kết quả — vui lòng thử lại'" | Sai nếu tìm kiếm thực sự không tìm thấy gì — hãy chấp nhận kết quả rỗng |
| "Trích dẫn nội tuyến trong văn bản là đủ" | Sai cho production — chúng bị mất trong quá trình tổng hợp; hãy dùng ánh xạ có cấu trúc |
| "Giám sát tỷ lệ lỗi tổng thể để đánh giá chất lượng" | Sai — hãy giám sát tỷ lệ lỗi theo từng loại để phát hiện suy giảm ở từng nhóm cụ thể |
| "Giữ toàn bộ context trong lịch sử hội thoại" | Sai — hãy dùng file nháp để lưu trữ bên ngoài xuyên qua các ranh giới |