Human-in-the-loop不是一个开关,是一个设计决策丨人在Agent执行中的三个位置

字节跳动去年底推出的TRAE SOLO编程工具,主打AI全流程主导——用户用自然语言描述需求,AI自动生成PRD、写代码、跑测试、部署上线,整条链路AI接管。它同时保留了一个设计:开发者可以在任意时刻介入,修改AI的方向,查看完整的执行轨迹,随时叫停。
它改变的是人出现的方式:从"全程跟着走",变成"需要时再出现"。
这个区别,是这篇文章重点想讲清楚的事。
“让人参与"不是一句原则,是一个需要被设计的位置问题。人站在执行链的哪个位置,什么时候出现,做什么决定——这些选择,决定了一套Agent系统能不能在可控的前提下真正跑起来。
* * *NotebookLM的音视频概览,解读的比较通俗易懂,对于时间比较紧张的读者朋友,可以听听,会有启发。
“Human-in-the-loop"被说烂了,但没人说清它是什么
这个词在过去两年里出现的频率越来越高,几乎成了"负责任地使用AI"的代名词。但它描述的是一种状态,不是一种设计。
“人在回路里"可以是三件完全不同的事:全程监督、关键节点介入、事后审计。这三种介入方式,对人的注意力要求不同,对任务风险的覆盖程度不同,适合的场景也完全不同。
把它们混为一谈,要么让人累死在不必要的监督上,要么在真正需要人的地方,人却不在。
人在执行链里的位置,是一个需要根据任务特性主动设计的变量。设计它,比喊"让人参与"有用得多。
三种介入模式
第一种:全程监督
人实时跟着Agent走,看得到每一步,随时可以叫停或调整方向。
这不是说每一步都要人批准——而是人有能力在任意时刻介入。Agent在跑,人在旁边看着,执行轨迹是透明的。
这种模式适合两种情况:Agent第一次处理某类任务,你不知道它会怎么走;或者任务本身风险极高,任何中途偏差都可能造成不可逆的影响。
成本是真实的。全程监督意味着你的注意力被绑定在这个任务上,Agent的执行速度优势被人的跟随成本部分抵消。但在你还不了解Agent行为模式的阶段,这个成本是值得的——你在观察,在建立判断依据。
什么时候可以退出这个模式:Agent在类似任务上积累了可信记录,你知道它在这类情况下的行为模式,知道它在哪里容易出问题、在哪里很稳定。有了这个基础,才有资格退到下一种模式。
第二种:关键节点介入
Agent自主执行,在预设的关键节点停下来,等人看一眼确认,然后继续。人不需要全程跟着,只在卡口出现。
这是三种模式里最需要设计思考的一种——因为节点设在哪里,直接决定了这套机制能不能真正兜住风险。
节点设计有三个原则:不可逆操作之前;跨越权限或系统边界之前;结果影响面超出预期范围的判断点。
前一篇讲的可逆性维度,在这里有直接的对应关系:可逆性低的节点,就是天然的介入点。发邮件之前停一下,删数据之前停一下,触发外部付款之前停一下——这些不是过度谨慎,是对不可逆性的正确处理。
TRAE SOLO的设计里,这个逻辑也是清晰的:它不是让AI全程跑完不管,而是支持用户在任意节点介入,同时提供完整的执行轨迹让人随时能看到发生了什么。这是关键节点介入的一种实现方式——人的介入是按需触发的,不是强制的。
第三种:事后审计
Agent全程自主完成,人在结束后检查结果。
介入频率最低,注意力成本最小。但它不等于放弃控制,关键在于:审计标准必须提前定好。
事后审计不是"随便看看,觉得没问题就过”,而是有明确的验收标准——这次任务完成之后,我要检查哪些维度,对照什么标准,判断结果是否可接受。标准是在任务执行前就定好的,不是结果出来之后再想。
适合这种模式的任务,需要满足两个前提:一是任务可验证性高,结果对不对有客观标准,事后能快速判断;二是Agent在这类任务上已经有成熟的可信记录,你知道它在这里出错的概率低、出错的影响有限。
有一个隐患值得注意:事后审计的前提是"结果还没有触发不可逆的下游影响”。如果任务执行完、审计结果发现问题时,结果已经发出去了、已经被别人看到了、已经触发了外部系统——那事后审计的价值就大打折扣了。这类任务,事后审计不是合适的选择。
怎么决定用哪种模式
两个维度,放在一起来判断。
任务风险:结合上一篇讲的三个维度——可验证性低、可逆性低、上下文完整性低,任意一条成立,风险就往高走,介入模式就往前移。三条都成立,全程监督。
信任积累:Agent在这类任务上有没有可信记录?第一次做,用全程监督。做了几十次没出过问题,退到关键节点介入。在这类任务上长期稳定、出错率极低,才考虑退到事后审计。
信任是通过可信记录积累的,不是靠感觉建立的。 介入模式可以随着信任积累向后退,但退的依据是记录,不是"感觉它应该没问题了”。
一个容易踩进去的坑
很多人选择事后审计,不是因为建立了可信记录,是因为全程监督太累、关键节点设计太麻烦。
这是把"省事"和"信任"混淆了。
省事的放手,在低风险任务上没什么问题。但在高风险任务上,这不叫信任Agent,叫用沉默的方式默认承担了责任——出了问题,责任已经在你这里了,你只是不知道。
正确的路径是有顺序的:从全程监督开始,建立了记录之后退到关键节点,记录更充分了再退到事后审计。不要跳步。 跳步不是效率,是在风险和记录都不够充分的情况下降低了介入级别,等于在没有理由的情况下扩大了暴露面。
写在最后
Agent越来越能干,“人在哪里"这个问题没有自动消失,只是越来越容易被跳过。
全程监督、关键节点介入、事后审计——三个位置对应三种不同的信任程度和风险承受结构。不是哪种更好,是哪种更适合当前的任务和当前积累的信任程度。
把这个决策做明确,是用好Agent的前提之一。
没想过这个问题的时候,你的选择是默认的。想过之后,你的选择是设计的。这两种选择,在出问题之前看起来一样,出了问题之后代价完全不同。
我是「AioGeoLab」主理人塔迪Tardi,AioGeoLab是深度洞察AI第一性原理和应用实践的前瞻性研究实验室,目前有两个主要研究方向:
「塔迪GEO判断工程」是基于GEO的价值SEO化,在AI从“说”到“做”的重要跃迁阶段,试图回答,如何让AI敢于行动、不因为责任问题而畏手畏脚,而做的一个前沿研究项目。
「塔迪硅基禅心」是传统东方智慧、未来AI前沿、当下应用实践,深层共鸣的探索。不是用AI解读经典,也不是用经典指导AI。 这是一场跨越2500年的对话,在算法与古老智慧之间,照见意识、智能与存在的本质。
塔迪的微信 - tardyai2025。
