第 7 章 · 当软件开始采取行动

以前做系统，遇到一个很难写清的判断，最常见的处理方式是留给人。

合同条款是不是有风险，客户这句话是不是在投诉，设备声音听起来正不正常，一封邮件应该归到哪个部门。规则能列一些，例外总比规则多。

系统负责把材料收过来，人在页面上看完，再点一个按钮。

大模型出现以后，这块边界松了。

它能读合同、邮件、图片和聊天记录，也能根据上下文给出一段看起来像样的判断。接上工具以后，它还可以继续往下做：查系统、填工单、生成回复、修改状态。

很多过去必须由人守着的缝，第一次有机会被软件接过去。

这当然是进步。

也是麻烦的开始。

过去的软件，错法比较老实

传统程序也会出错。

代码有缺陷，数据有脏值，接口会超时，配置也可能写错。只是这类错误通常能找到比较明确的原因。相同输入走同一段程序，大体会得到相同结果。

工程团队因此发展出一整套办法：测试、代码审查、权限、监控、回滚。问题虽然不会消失，至少知道该往哪里查。

大模型的错法不太一样。

同一句话换个上下文，答案可能变化；材料里缺信息，它有时会老实说不知道，有时会补出一段很顺的解释。输出不是从一组人工写死的分支里挑出来，而是根据概率生成。

这不等于大模型不可控。它只是提醒我们，不能把验证普通软件的办法原样搬过来，然后假设一切照旧。

更要命的是，人很容易高估一段流畅文字。

报错信息看上去像报错，大家会检查；一段语气笃定、结构完整的建议，更容易被直接采用。模型不需要每次都错，只要在关键动作上偶尔错一次，就足够让企业紧张。

从“它说了什么”到“它做了什么”

只聊天时，模型的错误主要停在屏幕上。

接上工具以后，错误开始进入现实。

可以把 Agent 的权限大致分成几级。

最轻的一层是读。它查资料、汇总信息，不改任何东西。

再往前是建议。它判断问题、生成草稿，由人决定是否采用。

然后是准备动作。它把工单、邮件、订单修改内容都填好，只差授权人确认。

最后才是自主执行。它直接调用系统完成动作，并在事后留下记录。

很多演示会故意把最后一层拿出来，因为画面最好看。你说一句话，系统自己把活干了。

到了企业上线时，顺序通常应该反过来。先证明它会读，再证明建议有用，然后才逐步开放动作。

这不是保守。一个新员工入职，第一天也不会拿到付款、删库和对外发信的全部权限。

风险不只叫“幻觉”

大家谈大模型风险，最爱说幻觉。

企业里的麻烦远不止一个词。

模型可能读到不该读的数据，员工也可能通过一句自然语言绕过原有查询权限；外部邮件和网页里可能藏着恶意指令，诱导 Agent 调用工具；同一条客户信息可能在不同系统里互相冲突，模型为了给出答案，反而把矛盾抹平。

还有一些风险更像管理问题。

业务人员发现模型大多数时候都对，慢慢不再认真审核；系统不断积累临时提示词，却没人负责版本；模型供应商升级以后，原来通过的流程悄悄变了。

所以，AI 风险管理不能只在上线前做一次。

NIST 的 AI 风险管理框架把工作分成治理、识别场景、测量和管理几个持续环节，强调风险管理贯穿系统生命周期。它没有给出一张万能清单，原因也很实际：贷款审核、客服草稿和设备控制，不能使用同一套容忍度。

企业必须先知道，模型参与的是哪一种任务，错误会伤到谁，能不能撤回。

不是所有判断都应该交给 AI

大模型能处理模糊信息，不代表模糊工作都适合自动化。

有些任务虽然复杂，结果却容易检查。比如从合同里提取付款条件，模型先做，人再核关键字段，能省不少时间。

有些任务结果很难验证，出错又不可逆。比如决定是否拒绝理赔、是否停掉关键设备、是否对外做出法律承诺。即使模型平均表现不错，也未必应该直接放权。

判断一项工作能自动到哪一步，可以先问四件事：

错误多久能被发现？
错了能不能撤回？
单次错误的损失有多大？
有没有一个明确的人可以接管？

这四个问题比“模型准确率多少”更接近生产现实。

准确率 95% 听起来不错。若剩下 5% 都发生在高金额订单上，系统仍然不能用。准确率只有 80%，但它只负责给人工排优先级，也可能很有价值。

模型能力没有脱离业务风险独立存在的意义。

软件往前走，责任也得往前走

过去的 BI 项目可以在报表交付处停下。报表有没有被采用，数据团队还可以说那是管理问题。

Agent 不能这么轻松。

一旦软件参与行动，工程团队必须理解业务后果。为什么这封邮件可以自动发，那一封必须审批？什么金额以上要二次确认？连续出现几次异常应该熔断？

这些答案不在模型文档里。

它们来自业务规则、历史事故、监管要求和企业愿意承担的风险。工程师要把这些东西写进权限、评估和运行机制，还要在真实使用中继续调整。

这就是 AI 把软件往前推以后带来的新工作。

它没有消灭旧系统，也没有绕开数据治理。相反，模型越能行动，企业越需要知道数据从哪里来、规则由谁定、过程怎样留下证据。

最后十米不再只能靠人走了，但也不能让机器蒙着眼睛跑。

谁来把模型能力、业务现场和生产责任接起来？

传统岗位都能接一部分。下一章要看的，是这些部分为什么会在 FDE 身上汇合。

本章资料

场景说明：本章合同、工单、理赔与设备动作均为风险分级示例，不对应具体客户系统。