Tóm tắt 30 giây
- Duco giảm lượng ngữ cảnh chính từ khoảng 200.000 xuống 20.000 token bằng cách chỉ nạp mô tả công cụ khi cần.
- Holiday Extras dùng trợ lý AI lấy dữ liệu và chủ động gửi báo cáo sau khi ra mắt một tính năng.
- GitHub Copilot bổ sung cách ưu tiên phiên agent cần người xử lý trong VS Code. Bài thực hành cuối bản tin giúp bạn tự so sánh hai cách đưa thông tin cho AI.
Khi một AI Agent có hàng trăm công cụ, đưa toàn bộ hướng dẫn vào ngay từ đầu có thể khiến nó khó tập trung vào việc đang làm. Duco thử đổi thứ tự: xác định việc cần làm trước, rồi mới mở hướng dẫn của công cụ liên quan.
1. Duco giảm khoảng 90% ngữ cảnh dùng cho AI Agent
Duco xây công cụ đối soát cho các tổ chức tài chính. Khi có giao dịch lệch giữa hai hệ thống, agent có thể gom các trường hợp tương tự, lần theo dữ liệu gốc và đề xuất cách xử lý. Chuyên viên xem bằng chứng và ra quyết định cuối cùng.
Trước đây, 300–400 công cụ cho mỗi khách hàng đi kèm khoảng 200.000 token mô tả (token là đơn vị văn bản mà mô hình xử lý). Duco đưa phần mô tả chi tiết ra khỏi ngữ cảnh mặc định. Agent tìm công cụ phù hợp theo yêu cầu rồi mới đọc hướng dẫn và gọi công cụ đó. Duco và AWS báo cáo ngữ cảnh chính giảm xuống khoảng 20.000 token. Đây là số đo ngữ cảnh trong hệ thống của Duco, khác với mức tiết kiệm chi phí API.

Áp dụng ở quy mô nhỏ: Nếu agent vừa xử lý hóa đơn, vừa soạn email, vừa tổng hợp số liệu, hãy tách hướng dẫn thành ba nhóm. Thử trên cùng một bộ việc trước và sau khi rút gọn, rồi so số lần chọn đúng nhóm và số lỗi đầu ra.
2. Holiday Extras dùng AI chủ động gửi báo cáo sau ra mắt
Trong case study do OpenAI công bố, trợ lý AI cá nhân mà OpenAI gọi là dot đã nhận ra Holiday Extras vừa phát hành một tính năng, truy xuất dữ liệu từ BigQuery qua kết nối ChatGPT và gửi báo cáo cho người phụ trách vào hôm sau. Một đồng nghiệp cũng dùng trợ lý để rà lịch họp và chuẩn bị báo cáo trước khi đến văn phòng.
Nếu muốn thử cách làm này, hãy bắt đầu với một tín hiệu và một bản báo cáo đơn giản. Ví dụ, sau khi nhóm cập nhật trạng thái “đã ra mắt”, trợ lý chỉ đọc dữ liệu trong bảng theo dõi và gửi bản tóm tắt nội bộ để người phụ trách kiểm tra. Case study mô tả hệ thống có sẵn kết nối dữ liệu tại Holiday Extras.
3. GitHub Copilot đưa phiên agent cần xử lý lên trước
Trong bản tin cập nhật công bố ngày 16/11, GitHub cho biết giao diện Copilot trong VS Code 1.146 có thể sắp xếp các phiên để người dùng thấy phiên nào cần mình trước. Tính năng ưu tiên phiên vẫn ở dạng thử nghiệm. GitHub cũng công bố ứng dụng Copilot đã hỗ trợ chính thức kho mã, issue và pull request từ GitHub Enterprise Server, với một số điều kiện về tài khoản và phiên chạy.
Ai nên quan tâm? Nhóm đang giao nhiều việc cho agent cùng lúc. Khi xem lại phiên, ưu tiên việc đang chờ quyết định, ví dụ xác nhận phạm vi thay đổi hoặc chọn cách xử lý lỗi kiểm thử.
Xem changelog chính thức của GitHub Copilot
4. AI thực chiến mỗi ngày – Thử nạp hướng dẫn theo nhu cầu
Kết quả: Tạo một bảng so sánh nhỏ để biết AI có chọn đúng hướng dẫn khi nhận một yêu cầu mới. Đây là workflow luyện tập lấy ý tưởng từ Duco. Bạn chỉ cần một công cụ chat AI nhận văn bản và ba mẫu tình huống giả lập. Có thể làm thủ công ở hai cuộc chat mới, không cần gói riêng, phần mở rộng hay quyền kết nối hệ thống.
- Viết ba hướng dẫn ngắn cho ba việc khác nhau, chẳng hạn xử lý khiếu nại, kiểm tra hóa đơn và tóm tắt cuộc họp. Mỗi hướng dẫn có khoảng ba quy tắc.
- Dùng cùng một yêu cầu mẫu ở hai cuộc chat. Ở bản A, dán cả ba hướng dẫn rồi yêu cầu AI chọn nhóm và xử lý. Ở bản B, dán tên và mô tả một dòng cho mỗi nhóm kèm prompt dưới đây. Khi AI chọn xong, bạn dán hướng dẫn chi tiết của nhóm đó để nó làm tiếp.
- Lặp lại với hai yêu cầu khác. So nhóm được chọn, số lỗi so với quy tắc, và lượng văn bản phải đưa vào. Ghi riêng trường hợp AI hỏi lại đúng chỗ hoặc mất thêm một lượt trao đổi.
Prompt sao chép cho bản B: “Bạn nhận một yêu cầu và danh sách tên nhóm kèm mô tả ngắn. Hãy chọn một nhóm phù hợp nhất, giải thích bằng một câu và yêu cầu tôi cung cấp hướng dẫn đầy đủ của nhóm đó. Nếu thiếu dữ kiện để chọn, hãy hỏi đúng một câu. Sau khi tôi gửi hướng dẫn, hãy tạo kết quả và liệt kê ngắn các quy tắc bạn đã áp dụng. Yêu cầu: [dán ở đây]. Danh sách nhóm: [dán ở đây].”
Giới hạn: Bài thử giúp kiểm tra cách chọn hướng dẫn với dữ liệu giả lập. Nếu chatbot không hiển thị token, bạn có thể đếm ký tự và ghi rõ đơn vị. Dùng kết quả để chọn cách tổ chức hướng dẫn, rồi mới thử với tập tình huống lớn hơn.
Nguồn ý tưởng cho workflow: mô hình nạp kỹ năng theo yêu cầu của Duco
