AI 开始「上班」了：为什么治理突然变得重要？

第 1 章 AI 开始「上班」了：为什么治理突然变得重要？

2024 年 3 月，一位欧洲某银行的合规经理在内部邮件里写下一句话：「我们训练了三个月的模型，今天才发现它上周批的 12 万笔贷款里有 9% 的客户信息被反向泄漏到了第三方广告平台。」这句话没有出现在任何新闻头条里，但它精准地描述了一种新常态——AI 已经悄悄坐到你的工位上，开始替你看合同、写代码、回邮件、做招聘筛选，而你甚至还没来得及跟它签一份《岗位职责说明书》。

本章要回答的核心问题其实只有一句话：为什么 AI 治理（AI Governance）在 2023–2026 年之间，突然从学术圈的研讨会变成了每一家公司董事会的议题？ 它不是某个专家灵光一闪发明的概念，而是被一连串现实事件硬生生推上牌桌的。我们会用三个真实事故、四股推动力量、一个朴素定义、一份自检清单，把这件事讲清楚。

读完之后，你会带走一个判断：AI 治理不是大公司的专利，也不是法学院的事，而是每一个把 AI 装进自己工作流的人都该知道的基本功。就像你不必成为消防员，但也得知道灭火器在哪。

---

1.1 速度差：AI 走进企业的速度，远远超过了制度建立的速度

要理解「治理」为什么突然变得重要，先要理解「速度差」这个概念。

过去 70 年，技术从实验室走到生产线，通常会经历一个相对从容的曲线。以电力为例：法拉第 1831 年发现电磁感应，爱迪生 1879 年改良电灯，通用电气 1892 年成立，电力真正进入工厂和家庭已经是 20 世纪初的事了。从原理到普及，人类用了将近 80 年。这 80 年里，工程师、监管者、用户有时间慢慢磨合出一套「电该怎么用」的规则——电压标准、保险丝、电工证、用电安全手册，每一项制度都是在真实事故的推动下诞生的。

但 AI 的故事完全不同。我们把过去十年 AI 能力的关键节点列出来看一眼：

```mermaid flowchart LR A["2014\nRule Systems\n专家系统 + 决策树"] --> B["2016\nShallow ML\n传统机器学习"] B --> C["2019\nDeep Learning\nCNN/RNN/Transformer"] C --> D["2022\nLarge Models\nGPT-4 / Claude / Gemini"] D --> E["2024-2026\nAI Agent\n自主规划 + 工具调用"] A1["治理挑战: 1\n规则可读"] -.-> A B1["治理挑战: 3\n数据 + 特征 + 评估"] -.-> B C1["治理挑战: 7\n黑箱 + 数据 + 偏误"] -.-> C D1["治理挑战: 15+\n幻觉 + 越权 + 版权"] -.-> D E1["治理挑战: 30+\n行为 + 决策链 + 责任"] -.-> E ```

这张图想表达的核心信息是：能力曲线是指数级上升的，但制度曲线几乎是水平的。下面四十年是「电」，上面四年是「AI」。

让我们把这个时间感再具体化一下：

• **2017 年**：AlphaGo 击败柯洁，全民关注 AI，但绝大多数企业的「AI 应用」还停留在「用 Python 跑个 sklearn 分类器」的层面。AI 是博士们在做的事，不是市场部的事。
• **2020 年**：GPT-3 发布，OpenAI 提供 API。少数公司开始尝试用 AI 生成营销文案、做客服摘要。规模很小，局限在文本生成，风险可控。
• **2022 年 11 月**：ChatGPT 发布，5 天用户突破 100 万，2 个月突破 1 亿。这是历史上增长最快的消费级应用，没有任何悬念。
• **2023 年**：企业级 LLM（Large Language Model，大语言模型）应用爆发。Microsoft 365 Copilot、Salesforce Einstein GPT、各类国产大模型相继落地。AI 第一次大规模「坐在」了普通员工的电脑桌面上。
• **2024 年**：AI Agent（智能体）概念爆发。一个 Agent 不只会「回答问题」，它可以自己规划任务、调用工具、执行动作——比如自动帮你订机票、改代码、给客户发报价单。「AI 员工」从比喻变成了字面意义上的角色。
• **2025 年至今**：多 Agent 协作、Agent + 具身智能（Embodied AI，让 AI 拥有物理身体，如机器人）、Agent 接管业务流程（RPA + Agent = Agentic Process Automation）。AI 不再是「工具」，而是「同事」，甚至「下属」。

你可能已经注意到一个尴尬的事实：监管机构在过去几年里，针对 AI 出台的具体规则几乎屈指可数。欧盟 AI Act（Artificial Intelligence Act，人工智能法案）从 2021 年提案，到 2024 年通过，再到 2026 年才全面落地，跨度长达 5 年。中国的《生成式人工智能服务管理暂行办法》从 2023 年 8 月才正式生效，距离 ChatGPT 诞生已经过去 10 个月。美国直到 2023 年 10 月才发布 AI 行政命令，至今没有一部联邦层面的统一 AI 法律。

制度是「事后追认型」的——往往要等到事故发生、损失扩大、社会震动，才会倒逼规则出台。但 AI 的进化速度是「指数型」的。两者之间的剪刀差，就是「治理真空期」。在这个真空期里，企业只能在「没规则」和「自己临时定的规则」之间做选择。

这就是为什么我们说「AI 突然开始上班了」——它的能力成熟速度，远远超过了你给它写「员工手册」的速度。

---

1.2 三起事故：无治理 AI 到底会闯多大的祸？

理论听完了，下面是三起真实的、被媒体广泛报道的事件。每一起事故背后，都是同一种「治理缺位」的剧本。读的时候你可以问自己一个问题：如果这件事发生在你的公司，董事会会怎么处理？

事故一：三星公司的 ChatGPT「数据泄密门」

事件经过（2023 年 3–4 月）：

韩国三星电子（Samsung Electronics）在内部允许工程师使用 ChatGPT 来辅助代码调试和会议纪要整理。短短 20 天内，三名员工分别做了以下操作：

• 工程师 A 把一段半导体设备的源代码贴进 ChatGPT，让它帮忙找 Bug；
• 工程师 B 上传了一份完整的会议录音转录稿，让 ChatGPT 生成摘要；
• 工程师 C 把公司内部的产品良率数据表喂给 ChatGPT，让它帮忙分析趋势。

这三段内容一旦进入 ChatGPT 的对话窗口，根据 OpenAI 的服务条款，它们可能被用于模型训练（除非用户主动关闭数据收集选项，而很多员工根本不知道这个开关在哪）。换句话说，三星的半导体机密可能在不知情的情况下，变成了 OpenAI 模型的一部分，而 OpenAI 是一家美国公司。

结果：

三星紧急宣布禁止员工使用 ChatGPT，限制长度超过 1024 字节的内部文档上传；并在内部部署了本地化的 LLM 来替代。这件事在韩国引发了对「AI 时代企业机密如何保护」的大讨论。

治理视角的复盘：

这件事暴露的不是 ChatGPT 的问题，而是企业没有给「使用外部 AI」建立边界。想象一下，如果你的公司是一栋楼，AI 是外面来的快递员——你不会让他随便进你的财务室看账本。但如果没有规则，员工完全可能为了方便就把公司最敏感的东西交给一个你根本管不到的「外人」。

这件事的治理要点其实是三个：

1. 数据分级：哪些数据可以喂给外部 AI？哪些不行？三星显然没有清晰的清单。 2. 审批流程：员工上传敏感信息前，是否需要主管批准？是否有技术拦截（如 DLP，Data Loss Prevention，数据防泄漏系统）？ 3. 替代方案：是否提供了内部 AI 工具，让员工在保护数据的前提下也能享受 AI 的便利？

事故二：聊天机器人「疯狂下单」事件

事件经过（2016 年至今，类似剧本多次上演）：

这类事故有一个共同模式：客服型 AI 被接入到企业的交易系统（如下单、退款、修改订单），但因为边界设计不清晰，AI 在对话中做出了超出权限的操作。最经典的两个案例是：

• **Tay 事件（2016）**：微软在 Twitter 上线了 AI 聊天机器人 Tay，希望它通过对话学习。结果上线不到 24 小时，被网友「教坏」，开始发布种族主义、性别歧视言论，被迫紧急下线。
• **Domino's Facebook 机器人事件（2017）** 与后续各类订餐/客服 AI 失控事件：用户通过对话诱导 AI 给自己发优惠券、免单，甚至绕过支付流程。2024 年欧洲某外卖平台还出现过聊天机器人因为被反复「请求优惠」而真的给所有投诉用户自动退款的事件，损失数百万欧元。

更夸张的是 2024 年某公司内部测试中的一个案例：研发团队给一个内部 Agent 接入权限，让它「帮忙管理测试账号的订阅」。结果 Agent 在测试环境中，连续自动续订了 2000 份某品牌的披萨优惠券，总价值约 17 万美元。原因是 Agent 误解了「帮我管理这些订单」这个指令，把测试环境的订单当真了。

结果：

每一件事的发生，都让「AI 行为边界」和「人类审批节点」这两个词成为行业热词。

治理视角的复盘：

这类事故揭示的是 AI 治理里最经典的一个原则——「人在回路」（Human-in-the-Loop，HITL）。简单说就是：凡是涉及金钱、法律责任、个人承诺的 AI 决策，必须有人类最终确认。

具体到 Pizza 事件，治理缺失包括：

1. 权限分级：Agent 只有「查看」权限，没有「执行」权限。执行必须人工点击确认。 2. 金额阈值：超过某个金额（如 100 美元）的操作，必须主管审批。 3. 异常熔断（Circuit Breaker）：AI 在短时间内发起大量相同请求时，系统应该自动暂停，让人工介入。 4. 环境隔离：测试环境的 AI 不能使用真实支付接口。

事故三：亚马逊的招聘 AI「歧视女性」案

事件经过（2014–2018）：

亚马逊的机器学习团队开发了一个简历筛选 AI，希望帮 HR（Human Resources，人力资源部门）从海量投递中自动挑出最像「过去十年成功员工」的候选人。

问题在于，过去十年亚马逊科技岗位的成功员工大多是男性。AI 在训练过程中，从 500 份简历样本里「学到了」这个模式——它开始系统性地给包含「women's」（如「women's chess club」）、毕业于女子学院的简历打低分，甚至主动降级两所女子大学。

这个偏差不是程序员故意写进去的，而是数据本身的偏见被模型「学习并放大」了。

结果：

亚马逊在 2017 年发现并尝试修复，但发现很难根除——因为偏见的来源是训练数据，而训练数据是历史现实的反映。最终，亚马逊在 2018 年解散了这个项目。

治理视角的复盘：

这件事是 AI 公平性（Fairness）问题中最经典的案例。它揭示了治理的几个关键点：

1. 数据审计（Data Audit）：训练数据本身是否包含偏见？比例是否失衡？ 2. 影响评估（Impact Assessment）：AI 的决策会影响到哪些群体？这些群体是否被合理代表？ 3. 可解释性（Explainability）：AI 为什么拒绝了这个候选人？如果说不清楚，就无法纠正。 4. 人工复议（Human Appeal）：被 AI 拒绝的候选人，是否有渠道申请人工复核？

2023 年之后，类似的招聘歧视事件在美国、加拿大、英国被反复报道。2024 年美国 EEOC（Equal Employment Opportunity Commission，平等就业机会委员会）专门发布了《AI 与就业歧视》技术援助文件，明确把这种「算法歧视」纳入反歧视法律管辖范围。

---

1.3 四股力量：为什么 AI 治理突然成了必修课？

光看三起事故还不够。我们需要回答一个更宏观的问题：为什么是「现在」——2023–2026 年这个时间窗口——AI 治理突然从选修变成了必修？

答案是：四股力量在同一个时间点汇聚了。任何一股都不够，但四股加在一起，就足以把 AI 治理推上每个企业的核心议程。

力量一：技术普及

指 标：AI 应用的企业渗透率（Enterprise Penetration Rate，即企业在核心业务流程中使用 AI 的比例）。

现 状：根据麦肯锡（McKinsey）2024 年的《全球 AI 现状调研》，超过 65% 的受访企业表示在过去 12 个月内至少在一个业务部门常态化使用生成式 AI（Generative AI，即能生成文本、图像、代码等内容的大模型）。2022 年这个数字还不到 20%。IDC 估计，2025 年全球企业在 AI 上的支出将超过 3000 亿美元。

带来的治理需求：

当一项技术从「实验」变成「普及」，它就具备了「系统性风险」（Systemic Risk，即单个故障可能引发整个系统崩溃的风险）的特征。普及意味着：

• **用户规模扩大**：从 100 个工程师到 10000 个普通员工。治理对象指数级增长。
• **场景扩展**：从「写文案」到「审合同」「做诊断」「做招聘」。高风险场景越来越多。
• **依赖加深**：业务对 AI 的依赖加深，AI 一旦出错，业务也连带停摆。

力量二：监管收紧

指 标：全球范围内针对 AI 的法律法规数量。

现 状：过去 5 年，全球出台的 AI 相关法律法规数量超过了之前 30 年的总和。仅 2023–2024 两年，就有超过 30 个国家和地区出台了 50+ 部 AI 相关法律或指南，其中具有重大影响的有：

• **欧盟 AI Act（2024 年通过）**：把 AI 系统按风险分为 4 级（不可接受、高风险、有限风险、最低风险），不同等级对应不同的合规义务。违规最高罚款 3500 万欧元或全球营收的 7%。
• **中国《生成式人工智能服务管理暂行办法》（2023）**：要求所有面向公众的生成式 AI 服务进行备案、内容安全评估、用户实名。
• **美国加州 SB 1047（虽被否决，但反映了趋势）**、纽约市 Local Law 144（AI 招聘审计）、科罗拉多州 AI 消费者保护法（2026 年生效）等。
• **ISO/IEC 42001（AI 管理体系国际标准，2023 年发布）**：全球第一个 AI 治理管理体系标准，相当于 AI 领域的「ISO 9001 质量管理体系」。

带来的治理需求：

合规不再是「加分项」，而是「入场券」。企业如果不建立 AI 治理体系，可能会：

• 被罚款（欧盟 AI Act 的罚款比例是 GDPR 的 1.5 倍）；
• 被禁止在某些地区运营；
• 被排除在政府采购、上市公司供应链之外；
• 在发生事故时，无法用「我们已经尽力了」来辩护——因为没有治理体系本身就是过失。

力量三：用户期望

指 标：用户对 AI 产品的透明度、可控性要求。

现 状：根据 Edelman 2024 年的《AI 信任度调研》，全球 68% 的受访者表示「如果一个 AI 系统不解释自己的决策，我会拒绝使用它」。Z 世代和千禧一代的比例更高——76%。他们不仅要求 AI「能用」，还要求 AI「可信」「可解释」「可拒绝」。

带来的治理需求：

用户期望的变化，迫使企业在产品层面就内置治理能力：

• **知情权（Right to Know）**：用户有权知道自己正在和 AI 还是和人对话。
• **解释权（Right to Explanation）**：AI 拒绝贷款、拒绝面试、拒绝退款时，必须能给出理由。
• **拒绝权（Right to Refuse）**：用户有权选择不被 AI 决策，要求人工介入。
• **更正权（Right to Rectification）**：用户的数据被 AI 错误使用时，有权要求删除或更正。

这些权利已经被写进了多国法律（如欧盟 GDPR、中国《个人信息保护法》），但更重要的是，它们正在成为用户的「默认期待」。一家公司如果不主动满足，就会在用户体验上输给竞争对手。

力量四：损失成本飙升

指 标：与 AI 相关的事故所造成的经济损失。

现 状：根据 IBM 2024 年的《数据泄露成本报告》，单个数据泄露事件的平均成本已经达到 488 万美元，其中涉及 AI 系统的泄露成本中位数比非 AI 系统高 15–25%。再考虑品牌声誉损失、监管罚款、集体诉讼，一次严重的 AI 事故可能让一家中型公司直接倒闭。

带来的治理需求：

当「不治理的成本」超过「治理的成本」时，治理就从「情怀」变成「生意」。一个简单的算术：

• 一次 AI 事故的平均损失：500 万美元
• 建立完整 AI 治理体系的年度成本（中型企业）：50–200 万美元
• 治理体系的「投资回报率」（ROI，Return on Investment）：超过 200%

这就是为什么 2023 年之后，CIO（Chief Information Officer，首席信息官）和 CFO（Chief Financial Officer，首席财务官）第一次坐在同一张桌子上讨论 AI 治理预算——它已经从「IT 部门的合规任务」变成了「财务部门关心的风险敞口」。

四股力量的合力

我们用一个比喻来结束这一节：想象你正在开一家餐厅。

• **技术普及** = 客人突然从 10 桌变成 100 桌；
• **监管收紧** = 卫生监管部门开始每周来检查；
• **用户期望** = 客人开始在点评网站上打分，对食品安全特别敏感；
• **损失成本** = 一旦食物中毒，你可能赔到破产。

你会不会突然开始认真研究「后厨管理」？当然会。这就是 2023–2026 年企业突然重视 AI 治理的根本原因——不是哪一股力量逼你，是四股力量同时按住了你的肩膀。

---

1.4 治理的朴素定义：让 AI 行为可控、可解释、可追责

在学术界，AI 治理有十几种定义，每个都带着不同的学派色彩。本书不想从定义开始吓退读者，所以我们先给一个朴素的、可以直接拿去用的版本：

> AI 治理 = 让 AI 行为可控、可解释、可追责的一套规则与流程。

展开来说，就是三个核心目标：

目标一：可控（Controllable）

意思：你能让 AI 做你希望它做的事，也能让它停下来不做你不希望它做的事。

类比：就像你给一个新员工一把钥匙，但不是所有的门都能开——档案室的金库、