Sự chuyển dịch tất yếu từ viết prompt tốt sang quản lý Context thông minh trong kỷ nguyên AI Agent.
Prompt Engineering tập trung vào các kỹ thuật viết prompt — bao gồm system prompt — để hướng dẫn LLM tạo ra kết quả mong muốn. Nhấn mạnh việc tìm từ ngữ / cú pháp tối ưu cho một lần hồi đáp.
Khi LLM ra đời và bước đầu được đón nhận, "Prompt Engineering" trở thành từ khóa trung tâm. Công việc của một "AI Engineer" xoay quanh viết prompt cho các tác vụ đơn lẻ:
Sinh văn bản, dịch thuật, tóm tắt tài liệu
Phân loại nội dung, sentiment analysis
Question answering từ tài liệu có sẵn
→ Mọi thứ xoay quanh: "làm sao để viết prompt tốt nhất cho task X".
Khi chuyển từ tác vụ đơn lẻ sang xây dựng Agent đa bước, dài hạn, tự động, vấn đề không chỉ nằm ở "viết prompt thế nào" nữa. Vấn đề mới là: quản lý trạng thái toàn cục của Context trong từng vòng lặp suy luận.
"Môn nghệ thuật trong việc chọn lọc những gì cần đưa vào Context Window, từ một vũ trụ thông tin khổng lồ và không ngừng thay đổi."
Mặc dù Context Window không ngừng mở rộng, việc sở hữu một Context Window khổng lồ có những hạn chế rất thực tế:
Truyền 1M token gần gấp đôi chi phí so với 500K token.
Context càng lớn, thời gian xử lý tăng tuyến tính — hoặc siêu tuyến tính.
Context Rot — LLM mất khả năng truy hồi chính xác khi context quá dài.
Giống con người, mô hình có giới hạn chú ý. Khi Context quá dài, mô hình bắt đầu giảm độ chính xác trong việc nhớ thông tin.
Nghiên cứu xác nhận: càng nhiều token → càng khó truy hồi chi tiết chính xác.
Đây là kỹ năng còn rất mới, chưa có giáo trình chuẩn. Đòi hỏi vừa làm vừa rút kinh nghiệm — lặp lại liên tục, đập đi xây lại là bình thường.
Trong tác vụ nhiều bước, mỗi vòng lặp tạo thêm thông tin mới (hành động, quan sát). Kỹ sư phải:
Quyết định thông tin nào giữ lại cho lượt suy luận kế tiếp.
Lặp lại quyết định chọn lọc context ở mỗi bước suy luận.
Dữ liệu càng về sau càng nhiều — dễ dẫn đến context bị tràn ngập noise.
Cân bằng giữa cung cấp đủ thông tin và cắt bỏ phần ít liên quan là bài toán rất khó:
Agent tự suy luận, có khả năng "bịa" ra nhiều thứ hơn.
Chi phí cao, giảm hiệu suất, giảm độ chính xác.
Làm sai lệch kết quả đầu ra, gây lỗi dây chuyền sau đó.
Gây lãng phí token và xao nhãng cho mô hình.
Khi agent trở nên đa năng (nhiều tool, tương tác lâu dài), khối lượng ngữ cảnh phình to và đa dạng, dễ phát sinh lỗi:
Nếu nạp động hàng trăm Tools vào Agent → mô hình có thể rối trí và chọn sai hành động.
Các lỗi / hành động thất bại phát sinh liên tục — xử lý chúng trong ngữ cảnh cũng là bài toán phức tạp.
Kỹ thuật viết prompt tối ưu cho 1 lần phản hồi. Phù hợp task đơn lẻ — không đủ cho Agent đa bước.
Chọn lọc thông tin đưa vào Context Window qua mỗi bước suy luận. Mang tính dynamic & iterative.
Context Window lớn không miễn phí: cost cao, latency tăng, attention budget bị trải mỏng.
Context Engineering đòi hỏi thử nghiệm, trực giác nhạy bén và không ngại đập đi xây lại.
→ Slide kế tiếp: Bắt đầu Quiz
Từ Prompt Engineering đến Context Engineering — nền tảng để hiểu cách Agent thực sự hoạt động trong thực tế.
▸ Tiếp theo: Module 03 — thực hành Context Engineering