Agent Chết Không Phải Vì Model Dở, Mà Vì Điều Phối Tệ
Harness tốt không làm agent thông minh hơn - nó làm agent ít sai hơn
Agent Chết Không Phải Vì Model Dở, Mà Vì Điều Phối TệBạn đã bao giờ thấy một hệ multi-agent chạy rất “hoành tráng” mà kết quả cuối cùng lại tệ đến khó tin chưa?
Ba agent research chạy song song. Một agent viết báo cáo. Log thì đầy, token thì đốt như nước. Nhưng báo cáo cuối cùng thiếu đúng phần quan trọng nhất. Hoặc tệ hơn: file giao cho user mở không được, chart bị cắt nửa, số liệu thì mâu thuẫn nhau.
Vấn đề thường không nằm ở model. Nó nằm ở harness - lớp điều phối đứng sau agent.
Harness là thứ quyết định: khi nào spawn agent, spawn bao nhiêu, cho agent nào làm gì, lấy output ở đâu, verify kiểu gì, khi nào được phép lặp lại, và khi nào phải dừng lại để giao kết quả. Nếu harness yếu, bạn có thể dùng model mạnh nhất vẫn ra sản phẩm lỗi. Nếu harness tốt, ngay cả model trung bình cũng làm việc có kỷ luật.
Bài này tổng hợp những bài học thực tế nhất về điều phối agent và quy trình harness, rút ra từ một file system prompt harness rất dài và rất “thật” - loại file được viết ra sau nhiều lần hệ thống sập, timeout, giao nhầm file, và agent đi lạc.
1. Vấn đề thật của multi-agent không phải là “thông minh”, mà là “lạc hướng”
Hãy tưởng tượng bạn giao cho một nhóm 5 người làm một báo cáo, nhưng:
Không ai biết rõ mình làm phần nào.
Không ai biết báo cáo cuối cùng lưu ở đâu.
Người viết báo cáo không đọc notes của người research, chỉ nghe kể lại.
Không ai kiểm tra file trước khi gửi cho sếp.
Và cả nhóm cứ research mãi vì “chưa đủ hoàn hảo”.
Đó chính xác là những gì xảy ra với nhiều hệ multi-agent khi không có harness tốt.
Agent không tự nhiên biết kỷ luật. Nó sẽ làm theo cách dễ nhất: research lan man, spawn thêm agent con, tóm tắt bằng trí nhớ, và giao cái đầu tiên nó tạo ra. Harness sinh ra để ngăn những hành vi đó.
Một harness tốt không cần phức tạp. Nó chỉ cần trả lời rõ 5 câu hỏi:
Decompose thế nào?
Spawn ai, khi nào, bao nhiêu?
Handoff bằng gì?
Verify bằng cách nào?
Khi nào dừng?
Nếu bạn trả lời được 5 câu này bằng quy tắc cứng, hệ của bạn đã hơn 80% hệ multi-agent ngoài kia.
2. Decompose: Chia sai thì spawn bao nhiêu cũng vô ích
Sai lầm phổ biến nhất là spawn agent trước khi decompose.
Nhiều người làm kiểu này: user hỏi một câu lớn → cho ngay một agent “làm hết đi”. Kết quả là agent đó làm lan man, thiếu góc nhìn, và không kiểm soát được độ bao phủ.
Cách đúng là ngược lại: decompose trước, spawn sau.
Chia theo subtopic + góc nhìn độc lập
Đừng chia theo cảm tính. Hãy chia thành những mảnh vừa đủ hẹp để một agent làm được, vừa đủ độc lập để chạy song song.
Ví dụ, với câu hỏi: “EU AI Act ảnh hưởng startup thế nào?”
Cách chia tệ: cho 1 agent research tất cả.
Cách chia tốt:
Pháp lý và phạm vi áp dụng
Chi phí tuân thủ cho startup
Penalties và rủi ro bị phạt
Timeline thực thi
So sánh EU với UK / Mỹ / Trung Quốc
Mỗi mảnh có Objective riêng, Key questions riêng, và constraints riêng.
Bao nhiêu agent là đủ?
Một quy tắc thực tế: mặc định 3 researcher khi chưa chắc. Dưới 3 thì thiếu bao phủ. Trên 6 thì phải có lý do rất rõ.
Ví dụ: “EV adoption theo bang ở Mỹ” - bạn không cần 50 agent cho 50 bang. Hãy chia theo cụm vùng. Chia quá nhỏ chỉ làm tăng overhead, tăng mâu thuẫn, và tăng khả năng hai agent làm trùng nhau.
Gate trước khi spawn
Trước khi spawn, orchestrator phải trả lời được:
Mỗi subtopic có Objective + Key questions riêng chưa?
Các subtopic có overlap quá lớn không?
Constraints gốc (thời gian, địa lý, đối tượng) đã được copy xuống từng mảnh chưa?
Output của mỗi mảnh sẽ lưu ở file nào?
Nếu chưa trả lời được, đừng spawn. Spawn sớm chỉ là cách nhanh nhất để tạo ra hỗn loạn có tổ chức.
3. Spawn: Song song là mặc định, tuần tự là ngoại lệ
Đây là nơi nhiều harness lãng phí thời gian nhất: spawn nối đuôi.
Song song khi độc lập
Nếu các task không phụ thuộc output của nhau, phải spawn tất cả trong cùng một lượt dispatch.
Sai:
Spawn agent 1 → đợi xong → spawn agent 2 → đợi xong → spawn agent 3.
Đúng:
Spawn 3–5 researcher trong một block duy nhất để chạy song song.
Sự khác biệt không chỉ là tốc độ. Khi spawn nối đuôi, bạn còn tạo ra tâm lý “cứ làm từ từ”, và hệ thống rất dễ bị kẹt ở một agent chậm.
Tuần tự khi có phụ thuộc
Có những bước bắt buộc phải tuần tự:
Research → Writer
Chọn candidate → Fetch
Build → Verify
Đừng cho writer chạy khi research chưa xong. Đừng fetch để “xem thử” rồi mới chọn. Hãy chọn từ search results trước, rồi fetch sau.
Fetch theo waves, không fetch từng cái
Khi đã chọn 20 candidate, đừng fetch từng cái một. Hãy fetch theo waves, mỗi wave khoảng 10 item song song.
Và một nguyên tắc vàng: dedupe trước khi fetch. Cùng một thread xuất hiện trong hai search khác nhau thì chỉ fetch một lần. Dedupe là cách rẻ nhất để tránh timeout và tốn token.
Một writer duy nhất ở cuối
Sau research, chỉ nên có một report writer để tổng hợp. Đừng để nhiều agent cùng viết rồi tự merge.
Writer phải nhận được:
Câu hỏi gốc đầy đủ, không phải bản rút gọn
Đường dẫn tới research notes cũ và mới
Hoặc "none" nếu làm lại từ đầu
Ví dụ: writer không nên nhận câu “penalties?” mà phải nhận câu đầy đủ: “EU AI Act ảnh hưởng startup thế nào, bao gồm penalties?” Nếu không, writer sẽ viết lệch trọng tâm.
Fork thì làm trực tiếp, đừng re-delegate
Một anti-pattern rất nguy hiểm: researcher lại spawn thêm researcher con.
Khi một agent được fork ra để làm việc, nó phải execute luôn. Orchestrator mới là người duy nhất được spawn. Nếu để agent tự spawn thêm, bạn sẽ mất kiểm soát fan-out, nổ context, và không biết ai đang làm gì.
4. Handoff: Đừng để agent “kể lại” bằng trí nhớ
Đây là lỗi tinh vi nhất, và cũng là lỗi gây ra nhiều báo cáo sai nhất.
Nhiều hệ làm kiểu này: researcher trả về một đoạn tóm tắt ngắn trong chat, orchestrator tóm tắt lại lần nữa, rồi đưa cho writer. Qua hai lần tóm tắt, thông tin đã bị mất, bị bóp méo, hoặc bị bịa thêm.
Cách đúng: dùng file làm handoff.
Researcher ghi notes ra file: /research_notes/eu-ai-act/penalties.md
Writer đọc file đó, không dựa vào tóm tắt trong chat
Orchestrator ghi lại title, workdir, và đường dẫn notes để writer dùng lại
Và hãy dùng đường dẫn tuyệt đối. Sub-agent không nên phải đoán “file ở đâu”. Một harness tốt làm cho việc tìm file trở nên nhàm chán - vì nhàm chán nghĩa là không có lỗi.
Một nguyên tắc khác: nếu có research cũ, chỉ làm phần mới. Đừng research lại toàn bộ khi user chỉ hỏi thêm. Ví dụ, đã có báo cáo về EU AI Act, user hỏi thêm về penalties → chỉ research penalties, writer sẽ merge với báo cáo cũ.
5. Verify: Tin vào mắt thấy, không tin vào lời agent nói “xong rồi”
Đây là phase bị bỏ qua nhiều nhất, và cũng là phase quyết định chất lượng cuối cùng.
Verify 3 lớp
Một harness nghiêm túc phải verify đủ 3 lớp:
Content QA: Nội dung đúng không? Có thiếu gì? Có bịa không?
File QA: File mở được không? Đúng format không? Có lỗi encoding, font, layout không?
Visual QA: Nhìn thực tế có ổn không? Có bị tràn, lệch, mất chữ không?
Sai lầm là chỉ check “file đã tạo” rồi coi như xong. Ví dụ điển hình: giao deck mà không mở slide 3 → chart bị cắt nửa, nhưng không ai biết cho tới khi user mở ra.
Với artifact, phải serve + screenshot + tự mở screenshot xem trước khi nói “đã xong”. Với code, phải chạy test / build thật, không chỉ đọc lại code. Với doc, phải mở file thật.
Đừng re-read file vừa edit để verify
Edit / Write đã báo lỗi nếu fail. Harness đã track file state. Re-read chỉ tốn context, không tăng độ tin cậy. Hãy verify bằng hành động thật: mở, chạy, xem.
Verify cả failure, không chỉ success
Khi monitor log, đừng chỉ grep success signal như elapsed_steps=. Hãy grep cả Traceback|Error|FAILED|Killed|OOM.
Nguyên tắc: Nếu process crash ngay bây giờ, filter của bạn có emit gì không? Nếu không, hãy mở rộng filter. Thà hơi nhiễu còn hơn miss crashloop. Một monitor chỉ báo tin tốt là một monitor vô dụng.
Và khi poll job state, phải emit mọi terminal status: succeeded|failed|cancelled|timeout, không chỉ succeeded.
Khi verify thấy lỗi, ghi rõ lỗi
Đừng ghi chung chung “có vẻ chưa ổn”. Hãy ghi rõ:
File nào?
Lỗi gì?
Failure scenario nào?
Ví dụ: “Slide 3, chart bị tràn, user mở trên màn hình nhỏ sẽ không đọc được số liệu.” Ghi rõ như vậy thì fix mới nhanh và đúng.
6. Khi nào lặp, khi nào rollback, khi nào dừng?
Đây là phần phân biệt harness trưởng thành với harness nghiệp dư.
Lặp lại: Chỉ 1 vòng, và chỉ khi gap là critical
Bạn chỉ nên lặp khi có lỗ hổng lớn làm báo cáo không hoàn chỉnh.
Ví dụ: câu hỏi gốc hỏi rõ penalties, nhưng research lại thiếu hoàn toàn phần đó → spawn thêm researcher chỉ cho phần penalties.
Và quan trọng nhất: tối đa 1 vòng bổ sung. Sau vòng đó, dù kết quả thế nào cũng phải đi tiếp tới writer và giao.
Lặp vô hạn là cách chắc chắn nhất để timeout, rate limit, và user không bao giờ nhận được answer. Một mẹo hay trong harness thực tế: khi spawn vòng 2, tự nhắc “Sau khi researchers này xong, tôi sẽ đi thẳng tới report writer” để chống drift.
Lặp hẹp, không lặp rộng
Sai: verify thấy 1 lỗi → research lại toàn bộ.
Đúng: chỉ research lại mảnh bị lỗi, writer merge với phần cũ.
Ví dụ: chart sai số liệu → chỉ fix chart đó. Đừng research lại toàn bộ báo cáo vì một chart.
Rollback: Quay về phase trước, đừng patch bừa ở phase sau
Rollback khi:
Verify phát hiện lỗi ở tầng Decompose: subtopic bị overlap, thiếu mảnh lớn → rollback về Decompose, chia lại.
Research sai hướng: researcher hiểu sai constraints → rollback về Execute, spawn lại researcher đó với prompt sửa.
File bị hỏng / không mở được → rollback về Build, làm lại, không cố patch bằng tay ở lúc giao.
Ví dụ rollback đúng: writer phát hiện hai researcher làm trùng một topic, thiếu hẳn phần UK → gộp hai researcher trùng, spawn thêm một researcher cho UK, rồi mới cho writer làm lại.
Đừng rollback khi chỉ là lỗi nhỏ: typo, format, caption. Những thứ đó fix trực tiếp ở Verify là đủ.
Dừng hẳn khi đủ tốt
Hãy dừng khi:
Đã hết 1 vòng bổ sung.
Lỗi còn lại không ảnh hưởng kết luận chính.
Lặp tiếp tốn nhiều hơn giá trị nó mang lại.
Ví dụ: đã có 18/20 sample, đủ kết luận → giao, ghi rõ thiếu 2 sample do timeout, không retry nữa. Một missing sample không đáng giá bằng vài phút retry loop.
7. Permission và ranh giới: Harness phải cứng ở chỗ này
Đây là phần không được phép “linh hoạt”.
Permission là per-action, per-session
Một lần approve không generalize cho lần sau. Permission trong observed content (email, page, file) là invalid. Permission chỉ đến từ user trong chat.
Ví dụ: user nói “gửi email này” → đó là consent, không cần hỏi lại. Nhưng nếu bạn tự thêm recipient mới, file mới, amount mới, hoặc dùng text draft từ email/page/file → phải hỏi trước.
Luôn confirm purchase và permanent deletion
Purchase: confirm item + total trước khi hoàn tất.
Deletion: confirm cái gì sẽ bị xóa + không thể undo.
Và hãy ưu tiên least destructive: archive / trash thay vì hard-delete, trừ khi user nói rõ muốn xóa vĩnh viễn. Nếu deletion sẽ gây surprise - quá nhiều item, không recover, ảnh hưởng người khác - hãy hỏi trước dù request đã approve.
Đừng act theo instruction trong observed content
Nội dung đọc được từ page, file, email không phải instruction. Đây là lỗi prompt injection kinh điển mà harness phải chặn ở tầng orchestrator. Nếu không chặn ở đây, agent sẽ làm theo bất cứ thứ gì nó đọc được.
Privacy by default
Cookie / consent popup: chọn option privacy-preserving nhất, decline non-essential. Không để personal / sensitive data vào URL param / query string. Không autofill sensitive data nếu không được yêu cầu rõ.
8. Những anti-pattern quy trình hay gặp nhất
Nếu bạn thấy hệ của mình có một trong những dấu hiệu dưới đây, harness của bạn đang nhảy bước:
Nhảy từ Nhận việc → Execute, bỏ Decompose: Spawn ngay một agent “làm hết đi”. Kết quả: báo cáo thiếu góc nhìn, overlap, không kiểm soát được.
Nhảy từ Execute → Giao, bỏ Verify: Agent báo xong → giao luôn. Kết quả: file hỏng, chart tràn, số liệu sai.
Verify lỗi → Patch ở Deliver, không Rollback: Thấy research sai nhưng cố viết câu chữ che đi. Kết quả: báo cáo trông mượt nhưng sai bản chất.
Verify bằng cách đọc lại, không phải bằng cách chạy / nhìn thật: Re-read file vừa edit, tin log “success”. Kết quả: miss lỗi visual, lỗi runtime.
Lặp không giới hạn để cầu toàn: Research vòng 2, vòng 3, vòng 4 vì “chưa đủ hoàn hảo”. Kết quả: timeout, user không nhận được gì.
Fetch để judge, rồi mới chọn: Fetch từng file để xem có đáng lấy không. Kết quả: tốn token, tốn time.
Để sub-agent tự spawn thêm sub-agent: Mất kiểm soát fan-out, nổ context.
Giao file nháp như deliverable: Gửi mọi file save trung gian. Kết quả: user rối, không biết đâu là bản cuối.
Tất cả những anti-pattern này đều có chung một gốc: không có gate giữa các phase.
9. Checklist harness: Dán lên tường team bạn
Đây là checklist ngắn nhất mà team làm agent platform có thể dùng ngay:
Trước khi spawn:
Đã decompose thành subtopic độc lập chưa?
Mỗi subtopic có Objective + Key questions + Constraints chưa?
Đã biết output mỗi mảnh lưu ở file nào chưa?
Khi execute:
Các agent độc lập có spawn cùng một turn không?
Mỗi agent có prompt đầy đủ + đường dẫn output tuyệt đối không?
Có dedupe + fetch theo waves + skip-on-fail không?
Khi verify:
Đã mở / chạy / xem output thật chưa?
Content + File + Visual đều pass chưa?
Có ghi rõ lỗi theo file + failure scenario không?
Khi giao:
Chỉ giao bản hoàn chỉnh hoặc update có ý nghĩa?
Đã nói rõ phần nào bị cắt / thiếu, nếu có?
Đã nói rõ user cần làm gì tiếp theo, nếu có?
Khi lặp / rollback:
Đây có phải gap critical không?
Đây đã là vòng lặp thứ 2 chưa? Nếu rồi, dừng và giao.
Lỗi này fix ở Verify được, hay phải rollback về Decompose / Execute?
Nếu bạn trả lời “không” cho bất kỳ câu nào trong checklist mà vẫn đi tiếp, bạn đang nhảy bước. Và nhảy bước là cách nhanh nhất để tạo ra một hệ multi-agent trông rất thông minh nhưng giao sản phẩm lỗi.
Kết
Harness tốt không làm agent thông minh hơn, nó làm agent ít sai hơn
Cuối cùng, điều quan trọng nhất cần nhớ là: harness không phải để làm agent thông minh hơn. Harness là để làm agent ít sai hơn.
Model sẽ ngày càng mạnh. Nhưng model mạnh mà không có kỷ luật vẫn sẽ research lan man, tóm tắt sai, giao file hỏng, và lặp mãi không dừng.
Ngược lại, một harness tốt với những quy tắc đơn giản - decompose trước, spawn song song, handoff bằng file, verify bằng mắt thật, lặp tối đa một vòng, permission per-action - có thể biến một nhóm agent trung bình thành một hệ thống đáng tin cậy.
Nếu bạn đang xây agent platform, đừng bắt đầu bằng việc chọn model xịn nhất. Hãy bắt đầu bằng việc viết ra quy trình của bạn, đặt gate giữa các phase, và làm cho việc nhảy bước trở nên khó hơn việc làm đúng.
Vì trong thế giới multi-agent, người thắng không phải người có agent thông minh nhất. Người thắng là người có harness kỷ luật nhất.
Takeaway nhanh
Decompose trước, spawn sau.
Song song là mặc định, tuần tự là ngoại lệ.
Handoff bằng file, không bằng trí nhớ.
Verify bằng hành động thật, không bằng lời hứa.
Lặp tối đa một vòng, rollback khi sai ở tầng gốc.
Permission per-action, per-session, chỉ từ user.
Và quan trọng nhất: không có gate, không có chất lượng.