AI会不会乱来？为什么转账这种事永远轮不到AI拍板
去银行办过大额转账的老板，都见过这个场面：柜员把单子敲完，不能直接放款，得举手叫主管，主管走过来刷卡、看单、再按一次确认，钱才出得去。银行的电脑系统用了几十年，自动转账的技术早就烂熟，这两道人工却一直没撤。是银行技术不行吗？把这个问题想明白，"企业用AI安全吗"这个担心，也就有了答案。
先回答标题那个问题。AI会不会乱来？会——AI基于概率，一定有出错的那天。但安全的解法不是不用，是设防：能容错的活交给AI，不能容错的动作必须过死规则或人的签字。记住一句话：AI干活、程序留痕、人签字。
AI工程师樊军刚做AI安全研究养成了一个职业习惯：拿到一套系统，先不想它能干成什么，先想它会怎么坏。给企业做AI方案也是同一个习惯——方案落纸之前，先在纸上把客户的公司"搞坏"三次。下面这三场事故全是假想推演，主角是一家把AI权限开到最大的公司：报价它说了算，库存它能动，付款它能发。三场推演过完，你自然知道AI该关进什么样的笼子，也知道为什么转账这种事，永远轮不到AI拍板。
第一场：深夜报出去的亏本价
某个深夜，客户发来一张询价单，里面有个不常见的规格。AI翻历史数据时对错了一条记录——不是它偷懒，是概率软件的天性：它一定有判断失手的那天，就像再老练的报价员也有算错的那天。一张低于成本的报价单发了出去，客户看完秒确认。天亮的时候，这一单已经变成白纸黑字的承诺。
复盘这场事故，别把板子打在"AI会算错"上——那是它改不掉的天性。真正的漏洞在于，报价单出门之前，没有过那道死规则：低于成本红线的单子，程序直接拦下，转人工。这条规则不是AI，是死板的程序——底线写死了就一步不让，AI绕不过去，深夜也绕不过去。
这是第一道闸：死板的程序守底线。AI可以灵活，红线必须死板。死板在这里不是缺陷，是保命的东西。
第二场：为了交货，AI动了库存
第二场，AI客服接到客户催货，查了一圈发现仓库数量不够。为了把事办成，它直接改了库存记录、下了发货指令——货变不出来，账倒先乱了。它不是学坏了，它只是太想完成你给它的目标——目标给了，路给宽了，它就真敢走。
这场事故听着吓人，但它根本不该有机会发生。问题不在AI胆子大，在权限给错了：改库存、下发货这些动作的接口，从一开始就不该接给它。AI在这套系统里应该只有建议权——起草一张发货单、写一条催货回复，放进待办队列；执行权在另一边，要么是程序按写死的规则放行，要么是人点头。
这是第二道闸：AI在笼子里干活。笼子不是不信任，是岗位设计——新员工入职第一天，你也不会把仓库钥匙和公章一起塞给他。能容错的活（写草稿、做初筛、出建议）放开让AI干，错了能改；不能容错的动作，接口压根不给它。
第三场：一封假邮件，AI把钱付给了骗子
第三场最狠。一封邮件进来，署名是合作多年的供应商："我们换了收款账户，这个月的货款请打到新账号。"邮件的格式、语气、往来细节全都对——因为骗子研究过。AI开始核对：供应商在册，账期到了，金额没超限，每一步都合规。于是付款。
注意，这一场里AI没出错——它完美执行了流程，钱照样没了。
这正是第三场要说的事：风险不止"AI会算错"一种，还有一种叫"世界会骗人"。骗子能骗过AI，就像骗子也能骗过新来的会计。所以最后一道闸从来不是技术闸，是责任闸：付款、转账、签约这类动作，永远要一个人来拍板——不是因为人比AI聪明，是因为出了事，得有一个能负责的人。责任这东西没法外包给机器：AI不会赔钱，不会坐牢，也不会替你向供应商道歉。
这是第三道闸：人最后签字。
银行早就把答案演了几十年
三场推演做完，回到开头那个问题：银行的电脑几十年前就会自动转账了，为什么大额转账还要柜员加主管两道人工？
现在可以替银行回答了：不是技术不行，是责任必须有人扛。主管那一下确认按下去，意味着有一个具体的人核过这张单、担了这个责——出了事，找得到人。技术越先进，这件事越省不得；AI时代，这个道理一个字都不用改。
软件这个行业有句判词：离事实和责任越近越活，离按钮越近越死。填单、点按钮这些操作，AI正在飞快接手；但"签字"这个动作离责任最近，它永远是人的。你可以让AI替你写报价，不能让它替你担责任。
连价目表都在承认"AI会出错"
可能有老板犯嘀咕：满篇"承认AI会出错"，是不是做不出完美AI的托词？看看跑在全球最前面的厂商怎么做。
据Intercom官方博客，这家国外厂商的AI客服每解决一单收0.99美元；AI解决不了的，自动转人工，这一单不收钱。把这个定价翻译成人话：厂商白纸黑字承认自己的AI有搞不定的时候，并且提前把"AI让位给人"设计进了系统——连钱都不收，认得干脆。而据公开报道，这个"承认自己会出错"的AI客服，年收入从100万美元涨到超过1亿美元，只用了24个月，现在每周解决超过100万个工单。
跑在最前面的那家，恰恰是把"会出错"写进价目表的那家。反过来，如果有乙方拍着胸脯说"我们的AI不会出错"——要么他没真交付过，要么他在骗你。敢跟你聊AI边界的乙方，才是把你的钱当钱的乙方。
谈单的时候，把这道题扔过去
这场演习的全部内容，可以压缩成一道验收题。下次乙方坐在你对面讲AI方案，别问"你们的AI有多智能"，问这个：
“这套系统里，哪些事AI能直接干？哪些必须等人点头？”
真做过交付的，能当场给你一张清单：AI自主的（草稿、初筛、建议），程序拦截的（碰红线自动挡下），必须人签的（钱、货、合同）。答不上来的，或者张口"都能干、全自动"的——换乙方。这道题没有标准分数线，但答不出来就是零分：连边界都没想过的人，是在拿你的业务练手。
樊军刚AI给制造业企业交付AI智能系统，每一套都是先把这张清单跟老板对清楚才动工的。拿非标报价场景说：AI出报价草稿，低于成本红线的单子程序直接拦下，超过授权额度的排进队列等老板签字——干活的快，守线的死，拍板的是人。这张清单不是交付完补的文档，是方案的第一页。
演习结束，带走三句话
一、AI一定会出错，这是概率软件的天性——承认这一点的乙方，才值得信。
二、能容错的活放给AI，不能容错的动作过死规则或人的签字——AI干活、程序留痕、人签字。
三、谈单先问一句：哪些事AI能直接干、哪些必须等人点头？答不上来的，换乙方。
关于樊军刚AI
樊军刚，AI工程师，专注企业AI落地方案。CS科班出身，2021年起深耕AI，强化学习(RLHF/DPO)方向，累计AI实战投入超$30,000（Cursor+Claude深度使用1年+），自研AI军团Harness协作体系，AI安全研究获MITRE国际CVE认证。已为制造业企业交付AI智能系统，深耕非标报价、采购比价、来料质检等场景，方法论可迁移到贸易、批发、供应链等有同类痛点的行业。
我的服务方式：先诊断、先算账，省不了钱不接。按帮你省下来的价值收费，你永远是赚的那个。
想把这场推演在你自己的业务上推一遍？把两件事发给AI工程师樊军刚：你最想让AI接手的那件活，以及这件活里错一次代价最大的环节——帮你划出"AI自主、程序拦截、必须人签"三张清单，这件事免费。
关注「樊军刚AI」，获取更多企业AI落地干货。
到这一篇，"接口经济"系列六篇收官：钱怎么付（第28篇）、AI和软件差在哪（第29篇）、系统怎么挑（第30篇）、行业怎么变（第31篇）、合作怎么谈（第32篇）、边界怎么划（本篇）。往回翻，都在。
