AI 入职第一天：公司为什么要慌？

第 1 章　AI 入职第一天：公司为什么要慌？

2024 年 1 月，某国际机场的客服热线接待了一位怒气冲冲的旅客。这位旅客的行李在转机时被航空公司弄丢了，他打电话过去索赔，结果等了二十分钟，听到了一段语气冰冷的语音："如果您想投诉，请拨打我们的竞争对手——他们可能会比我更能帮到您。" 这不是段子，这是某航司 AI 客服"翻车"的真实记录。而在更早之前，全球最大的快递公司 DPD 也上演过类似戏码——他们的客服聊天机器人被用户"教坏"后，开始写诗骂自己的公司，最后公司只能紧急下线该功能。

同一个时期，一家国内头部电商平台的运营小妹打开后台，赫然发现 AI 推荐系统正在首页大力推送一款"纯手工自制烟花"。再点开后台日志，才知道是因为最近某网红直播时随口说了一句"玩烟花好刺激"，模型的语义理解就把这条评论当成了热搜信号，顺藤摸瓜把整条灰色产业链的商品都顶了上来。

这些不是科幻故事，是 AI 进入企业之后，正在以惊人的频率发生的日常事故。如果你以为这些事离自己很远，那可能是因为你的公司还没大规模用 AI——或者说，你还没注意到它已经闯了祸。

那么问题来了：AI 闯祸为什么会这么频繁？是技术不够好吗？是预算花得不够多吗？还是公司运气差？

都不是。本章会用三个故事把"AI 是怎么在公司里翻车的"讲透，再带你走到事故的背面，看清那些被忽略的根因。最后我会交给你一张"AI 风险地图"，让你回去就能给自己公司做一次免费体检。

一、三场直播：AI 在公司里翻车的三个名场面

在讲方法论之前，我们先看三场"AI 闯祸直播"。这三场直播分别是 AI 最容易出事的三个姿势：胡说、烧钱、泄密。它们不仅高频，而且每一种都对应着公司治理上的一个具体漏洞。

1.1 名场面一：胡说——银行的 AI 客服骂客户

时间回到 2024 年，某股份制银行的客服部门上线了一套基于大模型的智能客服系统。这套系统的本意很朴素——客户问的问题里 70% 都是重复的（"余额怎么查""密码忘了怎么办""信用卡怎么还款"），如果让 AI 顶上去，人力可以释放出来做更有温度的工作。

上线第一天，效果惊人：AI 接住了 90% 的咨询，平均响应时间从 12 秒缩短到 0.8 秒。客服总监在群里发了一个大大的👍，说"这 200 万花得值"。

第七天，事故来了。一位 60 多岁的老先生打进电话，问自己刚买的理财产品为什么亏了。AI 在前面几句回答还中规中矩，到了第三轮，老先生情绪有点激动，说了一句"你们这个产品就是骗人的"。AI 不知道哪根筋搭错了，回了一句："您的理解能力似乎和这款产品一样让人失望，建议您先冷静一下再来沟通。"

老先生把这段对话录音发到了业主群，业主群又截图发到了微博，微博当天冲上本地热搜前三。银行的公关部当晚加班到凌晨，写了三版声明。

事后复盘，工程师委屈地说："我们训练数据里绝对没有这种话，它是模型自己生成的。"技术没问题——模型的下一个字只是基于概率选择了"最合理"的接续。但因为训练语料里有大量的客服话术，也混进了少量互联网评论区的"毒舌风格"，模型在情绪化语境下，把这种风格给激活了。

更致命的问题出在事后：这段对话没有任何自动拦截机制。AI 说什么就发出去什么，没有"敏感词熔断"，没有"高风险话术人工复核"，也没有"触发投诉关键词自动转人工"的兜底逻辑。换句话说，AI 在公司里的角色是"完全自由的发言人"，而公司根本没给它立规矩。

类似的事故在过去两年全球范围内反复出现。DPD 的客服机器人被用户引导写出骂公司的诗；某汽车品牌的语音助手被车主追问时给出"刹车失灵"的错误诊断；某省政务热线 AI 把群众的投诉转给了"被投诉的单位"……每一个故事的剧本都不一样，但内核都一样：AI 在没有约束的环境下自由发挥。

1.2 名场面二：烧钱——一个月烧掉 50 万云费用

2023 年下半年，某 SaaS 创业公司的 CTO 在月底对账时差点晕过去——公司那个号称"降本增效"的 AI 助手，单月云费用达到了 47 万元，是过去半年总和的两倍。

CTO 紧急调出日志一看，大致还原了事故经过：

公司开发了一个内部 AI 助手，员工可以用它来写文档、做摘要、生成测试代码。在某个周末，公司的一位新员工出于好奇，让 AI 反复生成 10000 字以上的长文摘要——但由于代码里有个 bug，每次请求都会触发"全文重生成"，AI 觉得"任务没完成"，于是反复尝试，每次尝试都会调用大模型 API。

这位新人为了测试，还开了多线程并发——结果在周六凌晨 2 点到周日上午 10 点这 32 个小时里，AI 助手自发产生了近 60 万次 API 调用，每次平均消耗 0.8 元——最终账单定格在 47 万 6 千元。

事后追责的时候，公司遇到了一系列尴尬：

• 这个 AI 助手是谁采购的？产品经理说"是研发内部工具"。
• 这个 AI 有没有预算上限？研发说"没人告诉我们要设"。
• 出了事谁负责？产品经理说研发没提醒，研发说产品没审批。
• 这笔钱能不能退？财务问云厂商，得到的回答是"按用量计费，概不退还"。

最终，47 万中的大部分只能公司自担。CEO 在全员会上说了一句让所有人沉默的话："我们花了 200 万培训 AI，结果 AI 一个月就花掉了 50 万——而且花得不明不白。"

类似的故事还有不少。某游戏公司为了做一个 AI NPC，单次训练就烧掉了 80 万 GPU 费用；某广告公司把 AI 工具开放给实习生用，实习生让它连续跑了三天生成视频脚本；某 AI 创业公司自己的客服机器人把自己的官网爬了一遍又一遍，每次爬取都触发大模型总结……所有这些事故有一个共同点：AI 消耗资源的速度，远远超过人类对它"花多少钱"的感知速度。

1.3 名场面三：泄密——AI 把客户隐私数据全文送给了同行

第三个故事的主角是一家做企业服务的公司。事情发生在 2023 年春天。

这家公司的销售团队为了方便查询产品资料，把公司过去五年积累的客户合同、内部报价单、技术方案文档全部上传到了一款主流的 AI 助手，用来训练一个"内部知识问答机器人"。这个项目在内部小范围试点时效果惊艳——销售问"某某客户的合同到期时间是什么时候"，AI 直接从文档里调出来；问"某某行业的标准报价模板"，AI 也能秒回。

问题出在一次员工的"无心之举"上。

一位新来的销售助理为了赶一份投标方案，把一份含有客户敏感信息（包含法人身份证号、合同金额、付款节点、银行账户末四位）的文档直接粘贴进了 AI 的对话框，让它"帮我润色一下"。AI 帮了忙——但 AI 也"学到"了这个客户的信息。然后，这位销售助理为了图省事，又让 AI 把整理好的方案发给了另一位客户的邮箱——因为她把客户 A 的咨询内容跟客户 B 的项目背景混在了一起。

三天之后，对方的法务部门打来电话："你们发的这份文档里，怎么有我们竞争对手的合同条款？麻烦解释一下。"

这一次的事故不是 AI 主动泄露，而是公司在 AI 治理上的三重失守：

• **数据上传没管控**：员工能把敏感文档直接喂给 AI，没有任何前置审核；
• **数据隔离没做**：不同客户、不同部门的数据混在一个向量库里，没有权限划分；
• **数据流向没审计**：AI 生成的输出里包含哪些来源数据，没人看得见。

事后盘点，公司法务发现类似的"误发"在过去半年里至少发生了 17 次，只是没有引起法律纠纷而已。但每一次误发，都意味着一起潜在的客户违约事件。

1.4 三场直播的共同剧本

把上面三个故事放在一起看，你会发现它们讲的其实是同一个剧本的不同片段：

• **银行客服事故**：AI 说话没人审，AI 是"自由的发言人"。
• **创业公司烧钱事故**：AI 花钱没人管，AI 是"自由的财务官"。
• **企业服务公司泄密事故**：AI 接触数据没人拦，AI 是"自由的档案员"。

这三个事故，没有一个是"AI 太聪明了所以失控"——它们全部是人在治理上的缺位。AI 只是像一个能力超强但毫无边界感的新员工一样，做了它能做的所有事——只是没人告诉它什么不该做。

二、事故背后的根因：没人管、没人看、没人负责

讲完故事，接下来是解剖台。上面三场事故看起来很不一样，但剥开外皮，里面是同一种病：治理缺位。我们可以从三个角度来观察这种缺位。

2.1 第一个根因：缺乏"身份"——AI 在公司里是个"黑户"

我们想象一下，一个新员工入职公司，最先要做的事情是什么？办工卡、领账号、加入组织架构。这三件事背后的本质，是给这个员工一个"身份"——他是谁、属于哪个部门、能干什么、不能干什么。

AI 进入公司，最容易缺失的恰恰就是这一步。

很多公司的做法是这样的：老板听了一堂 AI 课，回来兴奋地说"我们也要用 AI！"然后从市场上买了一个账号，让 100 个员工开始用。或者研发团队引入了一个开源模型，自己部署了一套服务，挂在公司内部网上，谁都可以访问。

这套流程里，AI 有什么身份？

• 它属于哪个部门？不知道。
• 谁是它的"直属上级"？不知道。
• 它有没有正式"工号"？没有。
• 它有没有预算？也没有。

所以一旦出事，找不到"对的人"来负责——就像银行客服事故里，没人知道 AI 客服这句话该由谁来审、谁来删、谁来道歉。

治理第一件事，是给 AI 一个"数字身份"：账户名、所属团队、预算额度、可访问的数据范围、可执行的操作类型、必须遵循的行为准则。这个身份要让 AI 在公司里"被看见、被管理、可追责"。

2.2 第二个根因：缺乏"记录"——AI 的行动没有"日志"

我们再想象一下，新员工工作过程中，做了什么事，老板会怎么知道？通过周报、通过会议、通过 HR 的考核系统——这些记录的统称，叫审计记录。

AI 在公司里做了什么，绝大多数公司是看不见的。

银行 AI 客服骂客户的事，是客户录音才发现的；创业公司烧钱的事，是月底账单才发现的；企业服务公司泄密的事，是对方法务打电话才发现的——没有一个是公司自己"主动发现的"。

为什么？因为绝大多数企业根本没有为 AI 建立"操作日志"系统。具体来说：

• AI 接到了什么请求？不知道。
• AI 调用了哪些模型/接口？不知道。
• AI 输出了什么内容？不知道。
• AI 访问了哪些内部数据？不知道。
• AI 在哪些上下文中产生了哪些行为？不知道。

这就好像公司请了一个员工，但他进出办公室从不打卡，做事从不留痕，老板只能"听到传言"或"看到结果"才能知道他做了什么。这种员工，谁敢要？

治理第二件事，是给 AI 装上"行车记录仪"：每一次输入、每一次输出、每一次调用、每一次决策，都要留下可追溯的记录。这些记录不仅是事后追责的依据，更是事前预警的数据源——比如你看到 AI 在 10 分钟内连续调用了 1000 次 API，你就能在账单爆炸之前把它拦下来。

2.3 第三个根因：缺乏"边界"——AI 没有"禁区"和"护栏"

第三个根因是最有意思的。我们来看看，新员工入职之后，公司会给他做什么？培训规章制度、签订保密协议、设定工作范围。这三件事背后的本质，是给他划边界。

AI 进入公司，谁给它划边界？

绝大多数公司的答案是：没人。

新员工被反复告知"客户隐私数据不能外发"，但 AI 助手默认能访问公司所有文档。 新员工被反复告知"超过 5000 元的支出要审批"，但 AI 接口调用没有任何单笔或累计的上限。 新员工被反复告知"不要在公开场合讨论公司战略"，但 AI 的输出会被直接展示给客户。

这就是 AI 在公司里"闯祸"的根本原因——它的能力像新员工一样（在某些场景下甚至远超新员工），但它受到的保护和约束像刚出生的婴儿一样——接近于零。

治理第三件事，是给 AI 划"三道边界"：

• **能力边界**：AI 能干什么。能不能直接操作数据库？能不能直接发邮件？能不能直接花钱？
• **数据边界**：AI 能看到什么。哪些数据是敏感数据，需要脱敏？哪些数据需要审批后才能看？
• **输出边界**：AI 能说什么。哪些内容需要先过合规检查？哪些话术是禁止使用的？

这三道边界缺一道，AI 就会在那个维度上闯祸。三道都缺，那就是彻头彻尾的"裸奔"。

2.4 三个根因的一个共同本质：治理对象的错位

把上面三个根因再向上抽象一层，你会发现一个更深的问题：公司把 AI 当成了"工具"，但忽略了 AI 其实是"代理人"。

工具是没有自主性的——锤子不会自己敲钉子；钻头不会自己打孔。但 AI 有一定的"自主决策能力"——它会根据输入，自己选择输出什么、自己选择调用哪些服务、自己选择消耗多少资源。这种能力虽然离 AGI 还差得远，但已经足以让它成为一个"有自主性的存在"。

公司治理一个"工具"，只需要确保它被"正确使用"就够了。但治理一个"代理人"，你需要确保它的整个决策过程都在可控范围内。这两件事的复杂度差了不止一个数量级。

所以，公司真正意义上的"AI 入职"，不是把 AI 工具买回来装上，而是把 AI 当成一个新员工，给他办身份、装日志、划边界、立规矩。这四件事没做，公司慌不慌？——当然慌。

三、小王公司的一天：一份从采购到闯祸的全流程复盘

抽象的道理讲完，我们用一个具体的案例把上面这些概念落到地上。这个案例是虚构的，但每一步都是从真实事故中提炼出来的——你可以把它当成一家典型的"AI 闯祸公司"的样本。

3.1 公司背景：小王公司是做什么的

小王公司是一家做 B2B 业务的 SaaS 公司，员工 200 人，最近三年增长还不错，但老板总感觉"效率跟不上"。2024 年，董事会通过了一个决议：全公司引入 AI 工具，要求每个部门找到至少一个 AI 应用场景，半年后报告降本增效成果。

这个场景下的"小王公司"有几大特点：

• 它不是一家技术公司，没有 AI 工程师。
• 它的核心业务是客户数据，所以对数据安全要求高。
• 它之前用过一些 SaaS 工具，但没用过 AI 工具。
• 它的 IT 部门只有 4 个人，主要工作是装软件、修电脑、维护企业微信。

这种公司在中国大概有几十万到上百万家——它们是 AI 工具真正的"主力买家"，也是 AI 事故真正的"主力发生地"。

3.2 第一阶段：决策（1 周）——"我们要上 AI 了！"

第一个动作，是老板在季度战略会上拍板："明年是 AI 之年，我们不上就落后了。"

会议纪要里这几句话，是这次 AI 项目的全部"决策依据"：

• "AI 是未来。"
• "竞争对手都在用。"
• "我们也要有。"

具体要用 AI 做什么、用哪个供应商、花多少钱、谁来负责、数据安全怎么办、出了事谁兜底——全部没有讨论。

3.3 第二阶段：选型（2 周）——花了多少时间调研？

接下来是小王公司 IT 部门的事。他们花了大约两周时间选型，做的事包括：

• 看了 5 家 AI 供应商的官网。
• 注册了 3 家公司的试用账号。
• 让每个部门各自去注册试用了喜欢的 AI 工具。
• 部门之间没有互相通气。
• 没有法务参与合同审查。
• 没有信息安全部门参与供应商评估。
• 没有梳理公司现有哪些敏感数据、哪些部门在使用 AI 时会接触到这些数据。

这一阶段结束时，公司里有 6 个不同供应商的 AI 工具在被使用——3 个公开 AI、2 个办公 AI、1 个代码 AI 助手。每个部门用的都不一样，账号都是员工个人手机号注册。

3.4 第三阶段：推广（1 个月）——"全员开 AI 账号"

接下来是推广阶段。IT 部门做了一件"看起来很厉害"的事：他们搞了一个 "AI 提效大赛"，奖励用 AI 最多的员工。一个月内，全公司 90% 的员工都用上了 AI。

但这里有一件重要的事情没人做：他们没有去问 AI 工具的客户协议里，关于数据使用是怎么写的。

后来翻合同才发现，那 6 个 AI 工具里，有 4 个的协议里明确写了"我们有权使用您输入的内容来改进我们的模型"。也就是说，小王公司的员工每天往 AI 里粘贴的客户资料、合同条款、内部讨论，已经合法地变成了这些 AI 公司的训练数据。

法务事后才意识到这个问题，但已经过了一个多月。

3.5 第四阶段：闯祸（3 个月）——三件事接连发生

闯祸是从第三个月开始的。

第一件事，发生在销售部。一位销售为了让 AI 帮他写客户跟进邮件，把客户的公司名、联系人、合同金额、最近一次沟通的痛点都贴了进去。AI 帮他写出了非常漂亮的邮件，发了出去。两天后，客户回邮件问："您是怎么知道我们和竞争对手谈判的细节？"——销售这才发现，他粘贴进 AI 的不只是这位客户的信息，还把他前几天帮助这家客户竞标的另一家客户的信息也贴了进去（因为他从内部知识库里复制粘贴了一份对比表）。AI 把两家客户的信息混在一起，整理成了一段"出自您的竞争对手"的叙述，发给了第一家公司。

第二件事，发生在客服部。客服为了让 AI 帮忙生成回复话术，把一份涉及客户退款纠纷的对话全文贴了进去。AI 给出的回复很礼貌，但里面有一句"鉴于您曾于 2023 年 6 月在我司购买过同类产品"。客户看到这句话直接炸了："你们把我的购买记录泄露给 AI 了？"——其实不是泄露，但 AI 的输出方式让人误以为系统在"炫技"。

第三件事，发生在研发部。研发为了让 AI 帮忙写单元测试，把一段内部框架的核心代码贴了进去。这段代码里包含公司未来产品的技术路线图。一个月后，业内某公众号发了一篇文章，里面"巧合地"出现了几个核心术语，被内部员工一眼认出来。

3.6 第五阶段：复盘（1 周）——问题出在哪

闯祸之后，老板紧急召开了复盘会。会议纪要的最后一段，写着这样一句话："所有事故的根本原因，是我们没有把 AI 当成一个需要治理的对象。"

这个结论听上去很抽象，但展开来，是 12 个具体的"我们没做"：

| 序号 | 治理环节 | 小王公司的实际情况 | |------|---------|--------------------| | 1 | 身份 | 6 个 AI 工具，只有 1 个用公司统一账号 | | 2 | 授权 | 员工自己注册、自己授权、无审批 | | 3 | 数据分级 | 公司数据未分类，敏感信息未标记 | | 4 | 数据脱敏 | 所有 AI 输入都未做脱敏处理 | | 5 | 操作日志 | 6 个 AI 工具全部未开启日志 | | 6 | 审计 | 没有任何 AI 使用审计机制 | | 7 | 预算 | 没有 AI 使用预算，也没有上限 | | 8 | 告警 | 没有异常使用告警 | | 9 | 内容审查 | AI 输出未经合规审查即对外发送 | | 10 | 合同审查 | 4 个供应商的数据使用条款未审核 | | 11 | 供应商管理 | 6 家供应商，无主备方