Few-Shot Prompting

Những điều bạn cần biết

Ví dụ few-shot là kỹ thuật hiệu quả nhất để đạt được output nhất quán, đúng định dạng từ Claude. Không phải thêm chỉ dẫn. Không phải điều chỉnh ngưỡng độ tin cậy. Không phải điều chỉnh temperature. Khi output của bạn không nhất quán, ví dụ few-shot là công cụ đầu tiên bạn nên dùng đến.

Đây là một nguyên tắc thi trực tiếp. Đề thi đưa ra các tình huống mà chỉ dẫn chi tiết tạo ra kết quả không nhất quán, và kiểm tra xem bạn chọn "thêm chỉ dẫn" hay "thêm ví dụ few-shot." Đáp án đúng gần như luôn luôn là vế sau.

Khi nào nên triển khai ví dụ few-shot

Ba dấu hiệu cụ thể cho biết bạn cần dùng ví dụ few-shot:

1. Chỉ dẫn chi tiết một mình tạo ra định dạng không nhất quán. Bạn đã viết một prompt kỹ lưỡng chỉ rõ định dạng output, nhưng model vẫn tạo ra các cấu trúc khác nhau qua từng lần gọi — khi thì danh sách gạch đầu dòng, khi thì bảng, khi thì văn xuôi. Thêm chỉ dẫn sẽ không khắc phục được điều này. Một vài ví dụ thể hiện đúng định dạng bạn muốn thì sẽ khắc phục được.

2. Model đưa ra các phán đoán không nhất quán trong những trường hợp mơ hồ. Với một công cụ review code, model gắn cờ "critical" cho việc biến bị che khuất (shadowing) ở file này nhưng lại gắn "minor" ở file khác. Với một agent chọn tool, nó định tuyến "kiểm tra đơn hàng của tôi" đến các tool khác nhau tùy theo cách diễn đạt. Những trường hợp mơ hồ này cần ví dụ thể hiện phán đoán đúng, kèm lý do (reasoning).

3. Nhiệm vụ trích xuất tạo ra các trường rỗng/null cho thông tin thực sự có trong tài liệu. Thông tin có mặt nhưng ở một định dạng bất ngờ — nằm lồng trong đoạn văn tường thuật thay vì trong bảng có cấu trúc, hoặc bị chia nhỏ qua nhiều đoạn. Ví dụ few-shot thể hiện việc trích xuất từ các cấu trúc tài liệu đa dạng sẽ giải quyết được vấn đề này.

Cách xây dựng ví dụ hiệu quả

Các quy tắc xây dựng ví dụ rất chặt chẽ:

Dùng 2-4 ví dụ có mục tiêu rõ ràng. Ít hơn 2 thì không đủ để thiết lập một mẫu hình. Nhiều hơn 4 sẽ lãng phí token mà không mang lại lợi ích tương xứng. Hãy nhắm ví dụ của bạn vào đúng những tình huống mơ hồ cụ thể đang gây ra vấn đề.

Mỗi ví dụ phải thể hiện lý do (reasoning). Đừng chỉ đưa ra các cặp input-output. Hãy chỉ ra tại sao một hành động được chọn thay vì các phương án khả dĩ khác. Điều này dạy cho model cách khái quát hóa phán đoán của nó sang các mẫu hình mới, chứ không chỉ khớp máy móc với những trường hợp cụ thể trong ví dụ của bạn.

Example: Tool selection for "check my order #12345" Input: "check my order #12345" Selected tool: lookup_order Reasoning: The user provides an order number (#12345), indicating they want order-specific information. Even though this could be interpreted as a general customer query, the specific order identifier makes lookup_order the correct choice over get_customer.

Nếu không có phần lý do, model chỉ học được rằng "các truy vấn có nhắc đến số đơn hàng thì đưa đến lookup_order." Khi có phần lý do, model học được nguyên tắc tổng quát hơn: các mã định danh cụ thể sẽ được định tuyến đến các tool tra cứu cụ thể.

Bao quát các tình huống đang thất bại. Nếu việc trích xuất của bạn hoạt động tốt trên bảng nhưng thất bại trên văn bản tường thuật, ví dụ của bạn nên thể hiện cách trích xuất đúng từ văn bản tường thuật. Nếu review code của bạn không nhất quán với việc biến bị che khuất, ví dụ của bạn nên phân loại các tình huống biến bị che khuất ở các mức độ nghiêm trọng khác nhau kèm lý do.

Hiệu ứng giảm ảo giác (hallucination)

Ví dụ few-shot có một hiệu ứng phụ mạnh mẽ: chúng làm giảm đáng kể ảo giác trong các nhiệm vụ trích xuất. Khi model thấy các ví dụ về trích xuất đúng từ các cấu trúc tài liệu đa dạng — trích dẫn inline so với danh mục tài liệu tham khảo, mô tả tường thuật so với bảng có cấu trúc, tiêu đề so với văn bản lồng nhau — nó học được cách xử lý sự đa dạng về cấu trúc mà không bịa đặt dữ liệu.

Điều này đặc biệt hiệu quả với các tài liệu có định dạng không nhất quán. Một báo cáo tài chính có thể trình bày chi phí trong một bảng ở trang này nhưng lại trong một đoạn văn tường thuật ở trang kế tiếp. Nếu không có ví dụ few-shot, model có thể trích xuất thành công từ bảng nhưng trả về các trường rỗng cho phần văn tường thuật (hoặc tệ hơn, bịa đặt giá trị). Với các ví dụ thể hiện cả hai cấu trúc, chất lượng trích xuất được cải thiện đáng kể.

Few-shot để giảm dương tính giả

Trong các tình huống review và phân tích code, ví dụ few-shot phục vụ hai mục đích cùng lúc: chúng thể hiện cả điều gì cần gắn cờ lẫn điều gì cần bỏ qua. Các ví dụ phân biệt giữa mẫu code chấp nhận được và các vấn đề thực sự sẽ giảm dương tính giả trong khi vẫn duy trì khả năng phát hiện các vấn đề thật.

textCopy

Example: Variable shadowing assessment
Code: function process(items) {
  const result = items.map(item => {
    const result = transform(item);  // shadows outer 'result'
    return result;
  });
  return result;
}
Severity: minor
Reasoning: The inner 'result' shadows the outer variable but
within a limited scope (arrow function). The code is still readable
and the shadow does not cause a bug. This is a style preference,
not a defect. Flag as minor only if style consistency is in scope.

Ví dụ này dạy cho model cách phân biệt bug thực sự với các mẫu vô hại, giảm dương tính giả trong khi vẫn giữ được khả năng khái quát hóa sang những trường hợp biến bị che khuất thực sự có vấn đề.

Few-shot so với các kỹ thuật khác

Đề thi kiểm tra xem bạn có thể phân biệt khi nào ví dụ few-shot là giải pháp đúng so với khi nào cần dùng kỹ thuật khác:

Bẫy thi

Tình huống luyện tập

Không tìm thấy câu hỏi luyện tập "q-4-2-001".

Bài tập thực hành

Nguồn tham khảo

• Claude Certified Architect Foundations Exam Guide — Task Statement 4.2 — Anthropic
• Prompt Engineering Overview — Anthropic
• Building with Claude API (Skilljar) — Anthropic