Quản lý cửa sổ ngữ cảnh

Những điều bạn cần biết

Quản lý cửa sổ ngữ cảnh (context window) là nền tảng của mọi hệ thống Claude đáng tin cậy. Mọi cuộc hội thoại nhiều lượt, mọi pipeline đa agent, và mọi tác vụ trích xuất tài liệu dài đều phụ thuộc vào việc bạn quản lý tốt đến đâu những gì đưa vào context window. Làm sai điều này và agent hỗ trợ khách hàng của bạn sẽ quên số tiền hoàn tiền, pipeline nghiên cứu của bạn sẽ đánh rơi trích dẫn, và hệ thống trích xuất của bạn sẽ mất độ chính xác đúng ở những trường dữ liệu quan trọng nhất.

Cái bẫy của tóm tắt lũy tiến

Khi hội thoại kéo dài, một chiến lược phổ biến là tóm tắt các lượt trước để giải phóng ngân sách token. Đây là một cái bẫy. Tóm tắt lũy tiến (progressive summarisation) một cách hệ thống phá hủy những thông tin quan trọng nhất trong các hệ thống hướng khách hàng và xử lý dữ liệu: giá trị số, ngày tháng, phần trăm, và kỳ vọng khách hàng đã nêu ra.

Xét một ví dụ thực tế. Một khách hàng liên hệ hỗ trợ về việc hoàn tiền:

Lượt 3: "Tôi muốn hoàn lại 247,83 đô la cho đơn hàng #8891 đặt ngày 3 tháng 3"

Sau khi tóm tắt, câu này trở thành:

Tóm tắt: "Khách hàng muốn hoàn tiền cho một đơn hàng gần đây"

Số tiền, mã đơn hàng, và ngày tháng — ba dữ kiện agent cần để xử lý việc hoàn tiền — đã biến mất. Đây không phải một tình huống thất bại giả định; đó là hành vi mặc định của việc tóm tắt khi áp dụng lên dữ liệu giao dịch.

Cách khắc phục: khối dữ kiện vụ việc bền vững (persistent case facts block). Trích xuất các dữ kiện giao dịch (số tiền, ngày tháng, mã đơn hàng, trạng thái) vào một khối có cấu trúc, được đưa vào mọi prompt, nằm ngoài phần lịch sử đã tóm tắt. Khối này không bao giờ bị tóm tắt. Nó tồn tại xuyên suốt mọi lượt hội thoại, bất kể chuyện gì xảy ra với lịch sử hội thoại.

jsonCopy

{
  "caseFactsBlock": {
    "customerId": "C-4421",
    "issues": [
      {
        "orderId": "#8891",
        "orderDate": "2024-03-03",
        "refundAmount": "$247.83",
        "status": "pending_refund",
        "itemDescription": "Wireless headphones — defective"
      }
    ]
  }
}

Đối với các phiên có nhiều vấn đề, nơi khách hàng nêu ra nhiều sự cố trong một cuộc hội thoại, hãy trích xuất và duy trì dữ liệu vấn đề có cấu trúc trong một tầng ngữ cảnh riêng. Mỗi vấn đề có một mục riêng với mã đơn hàng, số tiền, và trạng thái riêng. Điều này ngăn việc lẫn lộn dữ liệu giữa các vấn đề trong quá trình tóm tắt.

Hiệu ứng "lạc giữa dòng"

Các mô hình xử lý thông tin ở đầu và cuối của các đầu vào dài một cách đáng tin cậy. Những phát hiện bị chôn vùi ở giữa một ngữ cảnh dài có thể bị bỏ sót hoặc được coi trọng ít hơn. Đây là một hiện tượng đã được ghi nhận kỹ trong các mô hình ngôn ngữ lớn, và nó ảnh hưởng trực tiếp đến cách bạn cấu trúc các đầu vào tổng hợp.

Cách khắc phục nằm ở cấu trúc, không phải ở prompt. Đặt phần tóm tắt các phát hiện chính ở đầu các đầu vào tổng hợp. Sắp xếp kết quả chi tiết với các tiêu đề mục rõ ràng xuyên suốt. Nếu bạn đang đưa cho một agent tổng hợp đầu ra của ba subagent nghiên cứu, hãy bắt đầu bằng một mục "Tóm tắt các phát hiện chính", sau đó mới cung cấp các đầu ra chi tiết với ranh giới mục rõ ràng.

## Tóm tắt các phát hiện chính - Nguồn A: Tăng trưởng thị trường 12% trong ngành năng lượng tái tạo (2023) - Nguồn B: Số đơn xin cấp bằng sáng chế tăng 34% theo năm - Nguồn C: Khung pháp lý bị trì hoãn đến quý 3 năm 2025 ## Các phát hiện chi tiết ### Nguồn A: Báo cáo phân tích thị trường [Chi tiết đầy đủ ở đây...] ### Nguồn B: Phân tích cơ sở dữ liệu bằng sáng chế [Chi tiết đầy đủ ở đây...] ### Nguồn C: Rà soát khung pháp lý [Chi tiết đầy đủ ở đây...]

Cắt gọt kết quả tool

Kết quả tool là một kẻ âm thầm tiêu tốn ngân sách ngữ cảnh. Một lệnh tra cứu đơn hàng có thể trả về hơn 40 trường: dấu thời gian kiểm toán nội bộ, mã kho hàng, mã hãng vận chuyển, mã trung tâm hoàn tất đơn hàng, và hàng chục trường khác không liên quan đến yêu cầu hoàn tiền của khách hàng. Bạn chỉ cần 5 trường. 35 trường còn lại tiêu tốn token ở mọi lượt tiếp theo khi lịch sử hội thoại ngày càng dài.

Hãy cắt gọt các đầu ra tool dài dòng, chỉ giữ lại các trường liên quan trước khi chúng tích tụ trong ngữ cảnh. Đây không phải là một tối ưu hóa tùy chọn — nó là điều thiết yếu đối với các hệ thống nhiều lượt, nơi kết quả tool chồng chất qua từng lượt hội thoại.

pythonCopy

def trim_order_result(raw_result, relevant_fields=None):
    if relevant_fields is None:
        relevant_fields = [
            "order_id", "order_date", "total_amount",
            "return_eligible", "item_description"
        ]
    return {k: v for k, v in raw_result.items() if k in relevant_fields}

Việc cắt gọt này nên diễn ra trong một hook PostToolUse hoặc trong chính phần triển khai tool, trước khi kết quả đi vào lịch sử hội thoại. Một khi dữ liệu dài dòng đã nằm trong ngữ cảnh, nó sẽ ở đó cho mọi lượt tiếp theo.

Lịch sử hội thoại đầy đủ

Claude API là stateless (không lưu trạng thái). Mỗi request phải bao gồm toàn bộ lịch sử hội thoại. Nếu bạn bỏ qua các tin nhắn trước đó, mô hình sẽ mất tính mạch lạc của hội thoại. Không có trạng thái phiên nào được lưu ở phía server — mỗi lượt phải chứa mọi thứ mô hình cần để hiểu toàn bộ cuộc hội thoại.

Điều này tạo ra một sự căng thẳng với giới hạn ngữ cảnh: bạn cần toàn bộ lịch sử để có tính mạch lạc, nhưng lịch sử lại lớn dần theo từng lượt. Khối dữ kiện vụ việc bền vững giải quyết vấn đề này bằng cách tách các dữ kiện quan trọng ra khỏi phần tường thuật có thể tóm tắt, cho phép bạn tóm tắt dòng chảy hội thoại trong khi vẫn giữ nguyên vẹn mọi chi tiết giao dịch.

Tối ưu hóa agent thượng nguồn

Trong các hệ thống đa agent, các agent thượng nguồn thường trả về các chuỗi suy luận dài dòng và nội dung thô mà agent hạ nguồn không cần đến. Khi một subagent nghiên cứu gửi toàn bộ quá trình suy nghĩ của nó cho một agent tổng hợp có ngân sách ngữ cảnh hạn chế, agent tổng hợp sẽ lãng phí token vào phần suy luận mà nó không thể sử dụng.

Hãy chỉnh sửa các agent thượng nguồn để trả về dữ liệu có cấu trúc — các dữ kiện chính, trích dẫn, điểm mức độ liên quan — thay vì nội dung dài dòng và chuỗi suy luận. Yêu cầu subagent đưa metadata (ngày tháng, vị trí nguồn, bối cảnh phương pháp luận) vào các đầu ra có cấu trúc để hỗ trợ việc tổng hợp hạ nguồn chính xác.

jsonCopy

{
  "findings": [
    {
      "claim": "Renewable energy investment grew 12% in 2023",
      "source": "IEA World Energy Report 2024",
      "sourceUrl": "https://example.com/report",
      "relevanceScore": 0.92,
      "publicationDate": "2024-01-15"
    }
  ]
}

Đây không chỉ là chuyện tiết kiệm token. Các đầu ra có cấu trúc từ agent thượng nguồn cho phép agent hạ nguồn xử lý các phát hiện mà không cần phân tích lại văn xuôi dài dòng.

Prompt caching

Prompt caching là nửa còn lại của bài toán kinh tế ngữ cảnh. Thay vì cắt gọt những gì mô hình nhìn thấy, bạn tránh việc phải trả tiền để xử lý lại những phần không thay đổi. Khi bạn đánh dấu một tiền tố (prefix) ổn định bằng một điểm ngắt cache_control, API sẽ lưu trữ tiền tố đã xử lý đó và tái sử dụng nó ở request tiếp theo, chỉ tính một phần nhỏ chi phí đầu vào cho các token đã được cache.

Caching khớp từ đầu prompt, theo từng tiền tố một, vì vậy cách bố trí sẽ quyết định bạn có đạt được cache hit hay không. Hãy đặt phần nội dung không đổi lên trước: hướng dẫn hệ thống, định nghĩa tool, các tài liệu tham khảo dài. Đặt điểm ngắt cache_control ở cuối khối tĩnh đó. Đặt nội dung dễ thay đổi — tin nhắn mới nhất của người dùng và bất cứ thứ gì thay đổi theo từng request — sau điểm ngắt.

pythonCopy

messages = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": LONG_STATIC_INSTRUCTIONS},
            {"type": "text", "text": REFERENCE_DOC,
             "cache_control": {"type": "ephemeral"}},
        ],
    },
    {"role": "user", "content": dynamic_user_message},
]

Đặt sai thứ tự và bạn sẽ mất hoàn toàn lợi ích của caching. Nếu nội dung dễ thay đổi nằm trước khối tĩnh, tiền tố sẽ thay đổi ở mỗi request, không có gì khớp cả, và mỗi lệnh gọi sẽ phải trả đầy đủ chi phí. Cache cũng chỉ tồn tại trong thời gian ngắn: một điểm ngắt ephemeral kéo dài khoảng năm phút kể từ lần dùng cuối, vì vậy caching chỉ đem lại lợi ích cho các đợt request liên quan dồn dập, chứ không phải cho nội dung được tái sử dụng cách nhau hàng giờ.

Bẫy thi

Tình huống luyện tập

Không tìm thấy câu hỏi luyện tập "q-5-1-001".

Bài tập thực hành

Nguồn tham khảo

• Claude Certified Architect Foundations Exam Guide — Domain 5, Task Statement 5.1 — Anthropic
• Anthropic API Documentation — Messages — Anthropic
• Anthropic Prompt Engineering — Long Context Tips — Anthropic