Bài 5 - Context Window: Cái giá của cuộc trò chuyện không bao giờ kết thúc
Bạn có hay làm thế này không: Mở một khung chat với AI, hỏi xong việc này lại hỏi tiếp việc khác, rồi hỏi thêm việc nữa - tất cả trong cùng một cửa sổ? Tiện hơn, có lịch sử để tra lại, AI “biết ngữ cảnh” từ đầu nên khỏi phải giải thích lại.
Gần như ai cũng làm vậy. Và gần như ai cũng không biết mình đang làm sai vì chưa bao giờ học cách AI thực sự hoạt động bên dưới - chỉ học cách dùng bề mặt.
Duy trì một cửa sổ chat thật dài, thật đầy đủ, tưởng là kiểm soát tốt. Thực tế hoàn toàn ngược lại. Đây là một trong những nguyên nhân làm tăng rủi ro AI suy diễn hoặc bịa số liệu một cách rất thuyết phục - nhất là khi thông tin gốc đã bị cắt khỏi ngữ cảnh hoặc bị chôn vùi ở giữa.
Khái niệm nền tảng: “Context Window”
Trước hết cần hiểu một khái niệm nền tảng: “Context Window” hay cửa sổ ngữ cảnh. Đây là toàn bộ không gian làm việc của AI trong một phiên chat, gồm câu hỏi của bạn, tài liệu đính kèm, câu trả lời của AI và toàn bộ lịch sử hội thoại.
Hãy hình dung nó như chiếc bàn làm việc của người thẩm định:
- GPT-4o hay Claude Sonnet có chiếc bàn khoảng 128.000 - 200.000 token.
- Gemini 1.5 Pro có chiếc bàn rộng hơn nhiều, lên tới 1 triệu token - đủ chứa cả kho hồ sơ due diligence.
Nhưng bàn to không có nghĩa là dùng tràn lan! Các test độc lập cho thấy khi độ dài đoạn hội thoại dạt đến khoảng một nửa hoặc 2/3 không gian context tối đa, tần suất lỗi và bỏ sót thông tin của AI có xu hướng tăng lên rõ rệt. Vấn đề không phải kích thước bàn, mà là khả năng duy trì sự tập trung của mô hình.
Hai hiện tượng nguy hiểm khi “chat quá dài”
Khi bạn duy trì một cửa sổ chat quá lâu, hai hiện tượng kỹ thuật cực kỳ nguy hiểm này sẽ xảy ra:
1. “Tràn bàn” (Context Overflow)
Khi lịch sử hội thoại vượt quá giới hạn, hệ thống buộc phải tự động cắt bớt nội dung cũ nhất để nhường chỗ cho câu mới. Đa số sản phẩm hiện tại (như giao diện ChatGPT) không cho bạn nhìn thấy phần nào đã bị cắt ra khỏi ngữ cảnh. Lúc này, nếu bạn hỏi lại số liệu từ file cũ đã bị “rớt” khỏi bộ nhớ, AI sẽ tự tin đưa ra một con số “bịa” (nội suy từ dữ liệu huấn luyện chung) thay vì báo lỗi.
2. “Mất trí nhớ khúc giữa” (Lost in the Middle)
Hiện tượng này được Đại học Stanford và UC Berkeley ghi nhận trong bài nghiên cứu uy tín năm 2023. Hiệu suất trích xuất của mô hình giảm rõ rệt khi thông tin quan trọng nằm ở phần “giữa” của context, thấp nhất so với khi nằm ở ngay câu hỏi đầu hoặc cuối cùng. Ném một bộ hồ sơ quá dày vào, phần lõi ở giữa rất dễ bị AI “bỏ quên”.
Với một chuyên gia tài chính, đây là rủi ro không thể chấp nhận. AI không bao giờ nói “tôi quên rồi”. Nó sẽ nói về một con số không tồn tại bằng một giọng điệu cực kỳ thuyết phục.
3 nguyên tắc tránh để AI bịa số liệu
Tôi luôn áp dụng 3 quy tắc sắt đá này để làm chủ cuộc hội thoại với AI:
- Đổi chủ đề thì mở cửa sổ mới: Xong việc phân tích BCTC, chuyển sang soạn báo cáo quản trị - hãy mở một khung chat mới. Đừng để AI phải “gánh” bộ nhớ từ việc này sang việc khác. Ngữ cảnh lẫn lộn làm loãng độ chính xác của mọi thứ về sau.
- Tóm tắt để “thay máu” hội thoại: Nếu cuộc hội thoại đã quá dài nhưng bắt buộc cần tiếp tục mạch đó, yêu cầu AI tóm tắt các điểm cốt lõi nhất. Copy bản tóm tắt đó, mở sang cửa sổ mới rồi dán vào tiếp tục - đây là cách giữ lại lõi tinh hoa và dọn sạch “rác” bộ nhớ.
- Chiết xuất thay vì ném nguyên cục: Thay vì đính kèm nguyên báo cáo 200 trang, chỉ đưa vào 10 - 20 trang chứa thông tin cốt lõi mà bạn cần AI đọc. Bàn làm việc càng thông thoáng, AI làm việc càng sắc sảo, độ chính xác tuyệt đối.
Nhìn lại
Người dùng AI hiệu quả không phải là người dùng AI gõ dài nhất. Đó là người biết cách tổ chức thông tin trước khi đưa vào hệ thống.
Trong tài chính, một con số sai là một thảm họa. Bạn buộc phải hiểu cơ chế bên dưới để làm chủ công cụ, không để công cụ dắt mũi mình.