📌 TL;DR: 一套企业AI助手的保修条款错误连续三个月出现在周报里,从2%涨到8%,每次评审的结论都是"继续观察"。第六个月一位客户依据AI给出的错误条款要求兑现承诺,投诉升级到法务。事后回看,所有信号都在——没有一条在仍有机会低成本修复的时候获得了改变系统的权力。 "继续观察"通常不是错的,但它能成立有一个前提:观察的时间窗口比问题扩散的速度更长。三个月里做了三次"继续观察",每一次单独看都合理,加在一起却把决策窗口用完了。没有终止条件的"继续观察",就是在等出事。 从信号到修复有四段距离:发现、解释、决定、执行。保修条款错误第三个月就被记录了,但三个月里没有人在该行动的窗口里获得触发修复的权力。Cruise 2023年的公开调查报告揭示了同一机制在更高风险领域的后果:关键信息不缺,缺的是让信息在有效窗口内触发行动的链路设计。 修复时限不是要求每个信号立刻行动,而是给"继续观察"设一个终止条件:到什么程度必须决定、谁有权触发修复、超时了自动升级到谁。反馈的终点不是报告,是系统改变。

为什么AI的问题周报里写了三个月,还是要等出事才改?丨FDE重新理解修复延迟

还是先看一个案例。

一套企业AI助手上线八个月,整体运行正常。第三个月开始,运营团队在周报里记了一条:部分客户咨询保修政策时,系统给出的条款版本不一致。错误率不高,2%左右,客服手动修复后没有引发投诉。

第四个月,同一条又出现在周报里。错误率涨到5%,运营建议排查模型是否引用了过期的政策文档。技术团队反馈"已列入排查计划"。

第五个月,错误率8%,运营在周报里标黄。月度评审上,团队判断"趋势需关注,但尚未达到告警阈值",决定继续观察。

第六个月,一位客户依据AI给出的错误保修条款要求兑现承诺。投诉升级到法务和公关。法务要求48小时内说明系统如何产生了错误信息。

02页.png

事后回看,所有信号都在周报里。三个月前就有了,两个月前已经在上涨,一个月前运营明确标注了风险。没有一条信号在仍有机会低成本修复的时候,获得了足够的重视。

NotebookLM的音视频概览,解读的比较通俗易懂,对于时间比较紧张的读者朋友,可以听听,会有启发。


“继续观察"很少是错的——直到它的时间耗尽

把"继续观察"当作错误判断并不准确。

信号刚出现的时候确实可能是噪声,2%的错误率在一个每天处理数千条咨询的系统里不算异常。过早行动有自己的代价:如果每一条周报标记都触发紧急修复,产品团队会淹没在告警里,真正的风险反而被稀释。等一等、多看几周、确认趋势确实存在,在大多数情况下是负责任的做法。

保修条款错误从2%涨到8%用了三个月。三个月里做了三次"继续观察"的决定,每一次单独看都合理——加在一起,却把全部决策窗口用完了。第六个月事故发生时,不是因为信号来得太晚,而是因为组织没有给"继续观察"设一个终止条件:到什么程度必须行动、谁有权在观察期内触发修复、超时了自动升级到谁。

03页.png

没有终止条件的"继续观察”,就是用另一种方式说"等出事再说"。


从信号到修复,中间有四段距离

保修条款错误在第三个月就被发现了。从发现到系统行为改变,隔了整整三个月。这三个月的延迟不是一段均匀的等待,它分布在四个不同的环节里。

04页.png

发现:运营团队在第三个月就记录了异常。发现没有延迟。

解释:技术团队在第四个月"列入排查计划",但始终没有产出结论——是模型引用了过期文档,还是检索逻辑出了问题,还是客户提问方式发生了变化?解释需要有人投入时间,而排查计划排在其他需求后面。

决定:第五个月月度评审的结论是"趋势需关注,继续观察"。运营提出了风险,但评审会上没有人拥有"立即修复"的决定权——修复意味着调整模型或更新知识库,这属于产品版本计划,需要技术负责人排期。

执行:即使第五个月做了修复决定,从排期到测试到上线,还需要两到三周。

四段距离决定了一件事:组织多快能发现问题,不等于多快能修复问题。发现可以很快——周报第一周就出现了。但从发现到修复的总时间,取决于链条中最慢的那一段。保修条款案例里,最慢的一段是"决定":有人看到了风险、有人标注了趋势,但没有人在该行动的时间窗口里获得决定修复的权力。


信息都在,行动没有跟上

这不只是企业AI系统的问题。在更高风险的领域,同样的机制可以导致更严重的后果。

06页.png

2023年10月,加州DMV(机动车辆管理处)暂停了Cruise(通用汽车自动驾驶子公司)的无人驾驶部署和测试许可。Cruise随后委托第三方律所Quinn Emanuel调查公司在事故后的应对过程。

2024年1月发布的195页调查报告指出,问题不在于信息不透明,事故次日超过一百人参加了内部危机会议。真正的问题是关键信息没有在有效时间窗口内被完整传递给监管机构。

报告的结论是Cruise在领导层判断、内部协调和监管披露方面存在严重缺陷:不是有意欺瞒,而是组织没有确保关键事实在正确的时间到达需要做决定的人手中。NHTSA(美国国家公路交通安全管理局)后续文件显示,法定一日报告和十日报告均未完整描述事故的关键行为,直到三十日报告才补充。

本文我们不讨论事故本身的细节。这个案例在这里证明的只有一件事:信号的时效性不由它被记录的速度决定,而由它到达能够改变系统行为的那个人手中的速度决定。保修条款错误在周报里待了三个月无人行动,Cruise的关键信息在报告链路中延迟了数周——规模不同,机制相同。


为什么AI系统的修复延迟更容易被忽视

05页.png

AI的错误经常不报错。保修条款版本不一致不会触发系统告警——AI给出了一个完整的、格式正确的、看起来合理的回答,只是引用了错误的版本。这类错误只能通过人工发现或客户反馈捕捉,而人工发现通常进入周报,不进入告警系统。

模型和数据分布持续变化。等到证据"完全确定"时,原来的问题可能已经变形——第五个月标注的8%错误率,到第六个月可能不再是保修条款问题,而是演变成了别的错误类型。等待完整证据的成本不是静态的。

AI风险还经常跨部门。发现者是运营,解释需要技术,决定涉及产品排期,执行需要工程团队。链条越长,每一段等待都在消耗同一个修复窗口。


FDE重新理解修复延迟

修复延迟是从风险信号首次出现,到系统行为实际改变之间的总时间。只看发现速度会制造假象:保修条款错误在第三个月就进入了周报,组织可以说"我们很快就知道了"——但知道不等于修复。

FDE需要建立的不是更多的监控指标,而是一套从信号到修复的时限规则。回到保修条款场景,这套规则可以写成这样:

环节时限 阈值负责人
什么信号触发人工复核同类错误率连续两周上升,或单周超过3%运营负责人
什么阈值触发降级或限制错误率达到5%,或涉及合同条款、价格、合规内容运营负责人有权先降级,后补审批
从确认风险到做出决定不超过一个评审周期(两周)产品负责人
从决定修复到上线紧急修复48小时内完成,常规修复两周内排入版本技术负责人
超时自动升级信号记录超过两个评审周期未获决定,自动升级运营负责人触发,升级至产品负责人上级
修复后验证上线后一周内确认同类错误率回落至基线运营负责人

这张表改变的是一件事:让"继续观察"不再是没有终点的状态。每一段等待都有时限,超时就自动升级。

这里有一个重要约束:修复时限不意味着每个信号都必须立刻行动。高不可逆的决定——暂停整个系统、回滚生产模型——仍然需要充分证据。修复时限要求的是另一件事:即使暂时不修复,也必须在时限内做出一个显式决定——确认观察、设定下一个检查点、指定超时升级路径——而不是让信号无声地滑过。

08页.png

反馈的终点不是报告,是系统改变。一条信号被记录了却没有在决策窗口内触发修复,它就只是一条事后复盘的注脚。

修复延迟不是发现问题太慢,而是从发现到改变系统的总时间太长。组织能多快知道问题,不等于能多快修复问题。


写在最后

修复时限表把每一段延迟都分配给了具体的负责人。但回过头看,从资源承诺到约束裁定到影子工作流再到修复延迟,能够识别信号、判断轻重、推动系统改变的,在很多组织里始终是同样两三个人。

AI应用越来越多,为什么AI落地反而越来越依赖少数人的判断?


感谢你看到最后,如果你觉得有启发,随手点个赞、在看、转发吧,如果想第一时间收到推送,也可以给我加个星标⭐我们下期见。

我是「AioGeoLab」主理人塔迪Tardi,AioGeoLab是深度洞察AI第一性原理和应用实践的前瞻性研究实验室,目前有两个主要研究方向:
塔迪GEO判断工程」在AI从“说”到“做”进化阶段,试图回答,如何让AI敢于行动、不因为责任问题而畏手畏脚,而做的一个前沿研究项目。
塔迪硅基禅心」是传统东方智慧、未来AI前沿、当下应用实践,深层共鸣的探索。不是用AI解读经典,也不是用经典指导AI。 这是一场跨越2500年的对话,在算法与古老智慧之间,照见意识、智能与存在的本质。
塔迪的微信 - tardyai2025