📌 TL;DR: 判断AI能不能承担核心业务,不能只问它会不会犯错。企业要看AI是否改善客户与经营结果,也要确认错误发生后能否恢复业务、改掉同类问题;多数项目进展顺利,不能掩盖公司无法承担的后果。人工确认只有补充了新信息或完成真实核验才有价值。两项经营条件都成立,才值得让AI继续成为业务主力。

AI会犯错,真的能让它承担核心业务吗?丨ANC再认识AI风险

能。AI会犯错,不等于它只能做辅助工作。企业要判断它能否承担核心业务,需要看两件事:AI是否比现有方式带来更好的客户和经营结果;出错以后,公司能否恢复业务、避免同类问题再次发生。


一|AI承担的是一项完整的上线服务

比如,一家帮助企业客户完成软件上线的服务公司,正在考虑把日常推进工作主要交给Agency。

客户购买这家公司的服务,不是为了拿到一份上线计划。软件需要完成配置、数据迁移和权限检查,使用人员需要接受培训,过程中出现的问题也要有人处理。只有这些事情一步步完成,软件真正进入业务,客户购买的上线服务才算完成。

03页.png

帮助企业客户把软件成功上线,是这家公司赢得客户、获得收入的主要方式。上线服务不是附加支持,而是它向客户出售的核心业务。

过去,这些工作由项目经理分别跟进。项目经理会查看客户完成了什么、还有谁没有回复,再协调客户和内部团队继续下一项工作。这样的方式能够把软件推上线,只是一个人同时跟进多个客户时,某项进展没有及时更新,后续工作就会等待;已经完成的事情没有记录下来,需要再次向客户询问。

04页.png

这不表示原来的方式已经失效。项目经理熟悉客户情况,也能及时处理许多例外。公司真正需要比较的,是这套方式在日常运行中的表现,而不是先假定人工一定更稳,或者AI一定更快。

现在,公司让Agency持续读取配置、迁移测试、权限检查、培训和问题工单的进展。权限检查完成后,它安排迁移测试;迁移测试完成后,它继续准备培训或处理新问题。遇到约定范围外的业务决定,再由负责人判断。

真正的变化,不是项目经理少看了几张表,而是每完成一步,Agency都会根据新的状态继续安排下一步,不必总等人重新打开项目记录。项目经理则把时间用在业务判断和客户沟通上。

05页.png

当客户上线的日常工作已经主要由Agency推进,公司交付这项核心服务的方式也随之改变。这正是我们所说的AI Native Company:

AI Native Company,是以AI Agency为主力实现核心价值创造的公司。

这里的“主力”,不是指Agency永远不会出错,而是客户上线的主要过程已经由它持续推进。因此,公司不能只统计AI出了多少错,还要把原有方式中的等待、遗漏和返工,以及Agency带来的改善、新错误和恢复成本,一起放进真实业务中比较。

二|公司要同时看业务结果和错误后果

一次上线中,客户调整了生产环境的访问权限,新的状态却没有进入项目系统。Agency仍然读到此前“权限检查已通过”的记录,于是继续安排数据迁移,并向客户更新了上线时间。

真正迁移时,系统无法访问生产环境。数据没有按计划完成迁移,客户原定的上线时间也被推迟。

06页.png

延期影响的不只是一项系统任务。客户已经按照新的日期安排使用人员和内部切换,公司则需要重新组织迁移支持、并协调新的上线时间。这些都是AI错误进入真实业务以后产生的后果。

07页.png

这就是本文所说的AI风险:AI进入真实业务以后,Agency依据过期的权限状态作出了错误安排,给客户交付和公司经营带来不利结果。公司不能因为这次错误就立即认定AI不适合上线服务,也不能拿其他项目推进更快来淡化这次延期。

公司需要回到一批相似的上线业务,看客户是否更顺利地启用了软件,等待和返工是否减少,公司为此付出的支持与维护成本是否合理。如果只是推进更快,客户却没有更顺利地完成上线,也没有更愿意继续购买,这种变化就不能算真正的改善。

同时,公司还要单独判断错误后果。如果某类错误难以及时发现,发生后业务无法恢复,造成的影响公司也承受不起,相应行动就不能交给AI。一次能够查清并修正的延期,不能否定整套运行方式;但多数项目进展顺利,也不能抵消一次公司无法承受的严重后果。

08页.png

权限检查环节可以保留人工确认,但多一个点击未必更安全。项目经理如果只是打开同一个页面,看见同样的“权限已通过”后再点一下确认,并没有补充新的信息,问题仍然会发生。只有重新核验生产环境权限,或者向客户取得最新状态,人工参与才真正改变了判断依据。

三|能处理错误,AI才具备长期承担业务的条件

权限问题出现后,公司首先要告诉客户发生了什么,重新确认生产环境的访问条件,安排新的迁移和上线时间,让停下来的项目继续往前走。

恢复这一次上线还不够。整体需要改进的是:权限变化必须及时更新到项目系统;在Agency安排迁移和上线时间前,也必须核对权限是否仍然有效。此后,如果客户再次调整生产环境权限,Agency要先取得最新状态,或者让项目经理重新核实。

09页.png

这不只是事后补救,也决定相应业务今后还能不能继续交给AI。

AI会犯错,不等于它不能承担核心业务。企业要看AI是否比现有方式带来更好的客户与经营结果,也要看错误发生后公司能否恢复业务、改掉同类问题;两项都成立,AI才具备成为核心业务主力的条件。

ANC视角

对AI原生企业来说,让Agency成为主力,并不等于把业务后果也交给AI。公司选择了新的核心业务运行方式,也必须同时具备发现问题、恢复交付和改进Agency的能力。只有把这些能力一起建立起来,AI才有条件长期承担核心业务。

12页.png

写在最后

企业不必等待一个永不犯错的AI,但必须建立一种既能让AI成为主力,又能处理错误后果、避免问题重复的经营方式。


来源与限制

  1. NIST《Artificial Intelligence Risk Management Framework (AI RMF 1.0)》是一套自愿使用、面向不同领域的AI风险管理框架,强调在AI系统的设计、开发、部署、使用和评估过程中管理风险。它只用于支持“风险需要结合实际使用持续管理”的背景,不证明本文关于核心业务资格的ANC经营判断。
  2. 文中的软件服务公司、企业客户、上线方式、权限状态错误和人工核验均为综合设想,不对应任何真实企业、项目、AI产品或事故,也不包含真实错误率、上线时长和成本收益数据。
  3. “客户与经营结果更好,并且错误发生后业务能够恢复、同类问题能够避免重复,是AI成为核心业务主力的两项经营条件”是ANC原创判断,不是上述来源已经验证的普遍定律。

感谢你看到最后,如果你觉得有启发,随手点个赞、在看、转发吧,如果想第一时间收到推送,也可以给我加个星标⭐我们下期见。

我是「AioGeoLab」主理人塔迪Tardi,AioGeoLab是深度洞察AI第一性原理和应用实践的前瞻性研究实验室,目前有两个主要研究方向:
塔迪AI工程系列」FDE落地工程、ANC:AI Native Company未来公司系列、GEO、AI判断工程。
塔迪硅基禅心」是传统东方智慧、未来AI前沿、当下应用实践,深层共鸣的探索。不是用AI解读经典,也不是用经典指导AI。 这是一场跨越2500年的对话,在算法与古老智慧之间,照见意识、智能与存在的本质。
塔迪的微信 - tardyai2025