Agent看起来在思考,但它其实在做另一件事丨Agent误解系列

把Agent的输出看成"思考的结果",这个感觉不难理解。
它会列出分析步骤,会说"首先考虑……其次……最后得出结论",会在给建议之前先梳理前提条件。用"让我们一步一步来思考"这样的提示词,它输出的过程看起来和人在纸上推导一道题几乎没有区别。加上产品界面上那行"正在思考中……“的提示,整个体验都在暗示:它在思考。
但它在做的,是另一件事。
NotebookLM的音视频概览,解读的比较通俗易懂,对于时间比较紧张的读者朋友,可以听听,会有启发。
它实际在做什么
每次生成下一个词,Agent都在做同一件事:根据已有的所有上下文,预测概率最高的那个词是什么,然后生成它,再把它加入上下文,预测下一个。
这个过程没有逻辑规则的运算,没有概念的操作,没有"先建立前提、再推出结论"的因果链条——只有统计意义上的"接下来最可能出现什么”。
大量研究发现,大型语言模型倾向于依赖表面语义和线索,而不是逻辑程序。它们基于习得的token关联构建出表面上看似有逻辑的链条,在偏离常识预期或熟悉模板的任务上经常失败。
结果层面的相似,不代表机制层面相同。两件事,差得很远。
Chain of Thought为什么有效,但不是"思考"
Chain of Thought(链式思考)提示词——让Agent"一步一步来"——确实能提升输出质量,这是真实有效的。但它有效的原因,和"让Agent真正推理"无关。
它有效,是因为把中间步骤写出来,为后续token预测提供了更好的上下文。每写出一步,下一步的预测就有了更准确的参照——不是因为它在"想清楚了再往下走",而是因为前面的文字为后面的预测奠定了更高质量的统计基础。
next token预测作为训练目标,对语言模型作为推理机器施加了一个根本性的约束:它的推理过程必须在词语token中生成。推理被锁在语言空间里,而语言空间不总是最适合推理的形式。
效果是真实的,机制和人的推理是两回事。
案例一:反常识的逻辑题
有一类题,答案和直觉相反。比如:
“一根蜡烛、一本书、一张地毯,你先点燃哪个?”
人遇到这类题,会停下来识别陷阱,用逻辑规则推导:蜡烛才能点燃,所以答案是先点燃蜡烛。思维在这里有一个明确的"停——换框架——重新推导"的动作。
Agent遇到这类题,会在训练数据里寻找"这类问题通常怎么回答"。如果训练数据里有足够多正确的答案样本,它会给出正确答案。但一旦引入不相关的干扰条件,模型性能就会急剧下降——这说明模型无法把握底层逻辑,只是在匹配熟悉的模式。
它不是识别了陷阱,是预测出了正确答案。两件事在结果上一样,在机制上完全不同。
案例二:训练数据稀疏的领域
Agent在训练数据覆盖充分的领域表现很好——因为"下一个词应该是什么"有充足的统计基础。
但到了训练数据稀疏的领域,问题来了。它没有足够的统计基础,但它不会停下来说"我不确定"。它会继续预测——生成看起来格式正确、语言流畅、逻辑结构完整的内容,但实质上是在用有限的统计基础做外推。
这正是所谓的"锯齿状智能"——能解出顶级数学竞赛题,却在高中代数上翻车。这是推理不一致、不可泛化的典型症状。
人在推理链断裂的地方会感到困惑,会停下来,会说"这里我不确定"。Agent在推理链断裂的地方,会继续流畅地输出,看起来没有任何异常。
为什么这个区别值得你知道
不是说Agent没有价值——在训练数据覆盖充分的领域,它的输出质量是真实有效的。
值得知道的是:它和人的失败方式不同。
人推理出错,通常有迹可循——卡住了、说"不确定"、给出模糊的答案。Agent推理出错,通常没有任何信号——它会以同样流畅、同样自信的方式,输出正确答案和错误答案。
它不会因为不确定而停下来。 这是为什么Agent的错误比人的错误更难被发现,也是为什么验收标准和结果复核,比优化提示词更重要的原因之一。
写在最后
Agent的输出看起来像思考的结果,是因为思考和token预测在很多场景下产生相似的输出。但机制不同,失败的方式就不同。
看起来像思考,不等于在思考。 知道这一点,才能知道什么时候该信它,什么时候该多看一眼。
感谢你看到最后,如果你觉得有启发,随手点个赞、在看、转发吧,如果想第一时间收到推送,也可以给我加个星标⭐我们下期见。
我是「AioGeoLab」主理人塔迪Tardi,AioGeoLab是深度洞察AI第一性原理和应用实践的前瞻性研究实验室,目前有两个主要研究方向:
「塔迪GEO判断工程」是基于GEO的价值SEO化,在AI从“说”到“做”的重要跃迁阶段,试图回答,如何让AI敢于行动、不因为责任问题而畏手畏脚,而做的一个前沿研究项目。
「塔迪硅基禅心」是传统东方智慧、未来AI前沿、当下应用实践,深层共鸣的探索。不是用AI解读经典,也不是用经典指导AI。 这是一场跨越2500年的对话,在算法与古老智慧之间,照见意识、智能与存在的本质。
塔迪的微信 - tardyai2025。
