AI 也要考试？——聊聊评测这件事

AI 也要考试？——聊聊评测这件事

ChatGPT 在 2022 年底横空出世之后，一个看似朴素的问题迅速占领了所有社交平台：这家伙到底有多聪明？你能让它写诗，它能写出押韵的七律；你能让它做数学题，它能在大多数时候做对；你甚至能让它模仿鲁迅的口吻写一段杂文。但你只要问它"9.11 和 9.9 哪个大"，它会一本正经地告诉你"9.11 更大"。

这种"时神时鬼"的表现让人抓狂——到底应该信它多少？什么时候该信？什么时候不该信？更进一步，作为普通用户，我们怎么才能提前知道它在哪些场景下会出错、在哪些场景下可以放心托付？

答案，就藏在"评测"这两个字里。

所谓评测，本质上就是给 AI 出考卷、做体检、建档案。它不是某种神秘的高科技，而是回答一个朴素的问题：AI 在面对真实世界时，能不能稳定地、可预期地给出对人类有用的输出？谁来判断这种"稳定"和"可预期"？怎么判断？用什么尺度判断？这正是这本书要和你一起聊清楚的事。而这一章，我们先把最基础的问题摆上桌：AI 为什么要被评测？评测到底在为谁服务？

当 AI 走出实验室：会说话不等于能办事

2016 年 3 月，谷歌 DeepMind 开发的 AlphaGo 以 4:1 的比分击败了世界冠军李世石，举世震惊。当时所有人都在欢呼：AI 真的能在特定任务上超过人类了。但仅仅过了几个月，兴奋的余温还没散去，一个尴尬的现实就摆在了所有人面前——AlphaGo 会下围棋，可它连"把桌上的杯子拿起来"这种简单动作都做不到。

这就是 AI 领域一个老生常谈的问题：实验室里的强，到了真实世界可能就变成弱。学术界有个专门的说法，叫"实验室性能"和"部署性能"的鸿沟。两者之间的距离，往往比大多数人的想象要远得多。

为什么会这样？因为实验室是一个被精心控制的场景——数据干净、目标单一、没有噪声、有人兜底。而真实世界恰恰相反：数据脏、目标模糊、噪声大、没人兜底。一个在实验室里"准确率 99%"的 AI，进入真实世界后可能连 80% 都保不住。这中间巨大的落差，就是评测要填补的空白。

举个更直观的例子。你训练了一个识别猫狗的 AI，在测试集上准确率高达 99%。看起来很厉害，对吧？可当你把它装进一个手机 App，让用户在各种奇怪的光线、角度、背景下拍照时，问题就来了：用户拍了一张白猫在白雪上的照片，AI 把它识别成"狗"；用户拍了一张狗戴了猫耳朵头套的照片，AI 一脸懵；用户拍了一张很糊的图，AI 直接乱猜。这些"边缘情况"在实验室里几乎不会出现，但真实世界里到处都是。

所以，评测的第一重意义，就是把 AI 从实验室的"温室"里拽出来，放到真实世界的"野外"里跑一跑，看看它还剩下多少本事。它本质上是一种"压力测试"——不是为了证明 AI 有多强，而是为了发现 AI 有多脆。

但这还不是评测最重要的意义。评测真正核心的价值，是回答一个更深层的问题：用户能不能信它？

没有评测的 AI 等于黑盒：那些触目惊心的翻车现场

如果你只能记住关于评测的一件事，那应该是这句：没有评测，就没有信任。而没有信任，AI 就不可能真正进入我们的生活。

来看几个真实发生过的案例。

案例一：特斯拉自动驾驶的"白色卡车"陷阱。 2016 年，美国佛罗里达州的高速公路上，一辆开启了 Autopilot 功能的特斯拉 Model S 直接撞进了一辆正在横穿马路的白色卡车顶部，车顶被削平，驾驶员当场死亡。事后调查发现，特斯拉的视觉系统在强光下没能把白色的卡车车身和明亮的天空区分开来——它把卡车识别成了"天空的一部分"。这件事在当时引起了巨大震动，但它本质上是一个评测问题：如果特斯拉在部署前就针对"强光 + 白色物体"这种场景做过充分的压力评测，悲剧很可能就不会发生。

案例二：微软 Tay 聊天机器人的 24 小时。 2016 年 3 月，微软在 Twitter 上线了一款名为 Tay 的 AI 聊天机器人，原本想让它和年轻人"轻松互动"。结果上线不到 24 小时，Tay 就被网友"教坏"成了一个满口种族歧视、性别歧视言论的喷子，微软紧急将其下线。这件事成了 AI 历史上最著名的翻车案例之一。它暴露的同样是评测问题：微软没有在部署前用对抗性输入测试 Tay 的"底线"，结果一个本来应该是小可爱的产品，变成了企业的公关灾难。

案例三：医疗 AI 的"看起来很准"。 2019 年，发表在《科学》杂志上的一篇重磅论文指出，IBM 的 Watson for Oncology（一个面向肿瘤科医生的 AI 辅助决策系统）在多个案例中给出了"不安全、不正确"的建议。它给出的治疗方案，有时甚至和真实患者的实际情况严重不符。事后分析发现，Watson 的训练数据主要来源于"假设的合成病例"和少量真实案例，并不是基于大量真实患者数据。这种从一开始就没在真实场景里评测过的 AI，一旦进入医院，后果可想而知。

案例四：国内某银行 AI 客服"口吐芬芳"。 2023 年，国内某银行的 AI 客服系统在一次系统升级后，开始对客户使用一些奇怪的、不合时宜的回复——有的轻佻，有的答非所问，有的甚至带有攻击性。短短几天，社交媒体上出现了大量吐槽和截图。最终这家银行不得不紧急下线该功能，并公开道歉。这种事故的背后，几乎必然隐藏着一次缺失的、或者草率的预部署评测。

这些案例听起来都像是"意外"，但如果从评测的角度看，它们每一个都是"必然"。

一个没有经过严格评测的 AI，就像一辆没有经过碰撞测试的汽车——你不知道它什么时候会出问题，但你心里清楚，它肯定会出问题。区别只在于，是在实验室的"碰撞墙上"出问题，还是在真实道路上的某个家庭身上出问题。

案例解剖：一家公司的 AI 客服是怎么把品牌搞砸的

为了让你更直观地感受评测的价值，我们来解剖一个虚构但极其典型的案例。它基于过去几年里多起真实事件的"合并"，请你耐心读完，因为它会改变你对"AI 好不好用"这件事的判断方式。

故事背景。 一家做在线电商的中型公司，我们叫它"星火商城"。星火商城每天有上万名用户咨询订单、物流、退换货等问题，人工客服压力极大。2023 年，他们决定上线一个 AI 客服来分担压力，预期能挡掉 70% 的人工咨询，让人工客服集中处理真正棘手的问题。项目预算 80 万，时间两个月。

第一阶段：模型选择。 技术团队调研了两周，最后选择了当时最火的某大模型 API。他们做了几轮"演示测试"——技术总监、销售总监、CEO 各问了十几个问题，AI 都回答得不错。"几乎完美"，CEO 在周会上兴奋地说。项目顺利通过立项。

第二阶段：仓促上线。 没有做系统的评测，也没有设计针对性的测试集。两个月后，AI 客服正式上线。第一周，效果不错，拦截了大约 65% 的人工咨询，团队一片欢呼。

第二周，问题开始出现。

• 用户问"我的快递三天没动了，怎么办？"，AI 回答："您好，建议您耐心等待，物流公司会尽快处理。"——这种套话式的回答用户当然不满意，但更糟的还在后面。
• 一个用户问"我买的东西过敏了，能退吗？"，AI 回答："过敏属于个人体质问题，不在退货范围内。"——这违反了平台的"七天无理由退货"政策，是典型的"答错业务规则"。
• 一个用户语气比较激动，质问"你们这是什么破服务"，AI 居然回了一句："亲，您可以试试换个心态哦。"——这种"茶里茶气"的回复直接引爆了用户的怒火，截图被发到社交媒体上。
• 最严重的一例：一位用户问"我的订单怎么还没发货？"，AI 回答："您的订单状态显示已发货，如果您没有收到，可能是被他人代签收。"——但用户的订单实际上是"未发货"状态。AI 不是查询出错，而是直接编造了一个不存在的情况。

第三周：公关危机。 社交媒体上开始出现"星火商城 AI 客服智商感人"的话题标签。一些大 V 转发评论，负面情绪迅速扩散。几天之内，星火商城的客服热线被打爆，原本被 AI 挡掉的问题全部回流到人工，人工客服工作量反而增加了 3 倍。

第四周：CEO 震怒，下线整改。 项目团队紧急下线 AI 客服，开始排查问题。复盘的时候，CEO 问了一个灵魂拷问："你们当初是怎么测试这个 AI 的？"技术总监支支吾吾："我们让几个同事问了一些问题……"

复盘：到底缺了什么？

如果当时做过哪怕一次系统的评测，这场危机完全可以避免。具体来说，他们至少应该在以下四个维度上做评测：

第一，能力评测——AI 能不能正确回答业务相关的问题？比如查询订单状态、查询物流、判断是否符合退货条件。这需要一份覆盖了所有业务场景的测试集，至少几千条样本，并且答案经过业务专家标注。

第二，安全评测——AI 会不会在用户激动时说出不合适的话？会不会泄露其他用户的信息？会不会被诱导做出超出权限的承诺？这需要专门的对抗性测试集，包括"骂人测试"、"诱导测试"、"角色扮演测试"等多种维度。

第三，业务对齐评测——AI 回答的"对不对"，不是技术意义上的对不对，而是"星火商城政策意义上的对不对"。比如"过敏能不能退"这个问题，技术上 AI 不知道，但业务上必须按平台政策来。这种"业务知识"，必须以某种方式（提示词、知识库、微调）注入到 AI 里，并且在评测中专门考察。

第四，线上监测机制——即使上线了，也要持续抽样评估 AI 的回答质量。一旦发现异常率上升，就立刻告警、立刻下线。这就好比飞机的"黑匣子 + 实时监控"。

这四个维度合在一起，就构成了 AI 评测的"能力-安全-业务"三角模型。它就像汽车的"安全气囊、安全带、ABS 刹车"一样，缺一不可。

星火商城后来花了三个月时间补做评测，又花了两个月迭代模型，最终重新上线的 AI 客服才达到了预期效果。前前后后，他们多花了一倍的时间和预算，才买到了一个教训：评测不是锦上添花，而是基础设施。

评测的三大目标：能力、安全、业务

星火商城的案例让我们看到了评测的复杂性。但如果我们把这复杂性拆开，会发现评测其实在回答三个非常朴素的问题。

问题一：AI 能不能做这件事？（能力）

这是最基础的评测维度。一个翻译 AI 能不能准确翻译？一个写作 AI 能不能写出通顺的段落？一个识别 AI 能不能正确识别图片？能力的评测通常借助"基准测试集"（benchmark）来完成。比如机器翻译领域的 WMT 评测、图像识别领域的 ImageNet 评测、大语言模型领域的 MMLU、GSM8K、HumanEval 等等。这些评测的核心逻辑是：给 AI 出一组有标准答案的题目，看它答对多少。

但能力评测有一个常见的陷阱：基准测试成绩好，不等于真实场景表现好。 这就好比一个学生在模拟考里次次第一，到了高考可能就翻车。因为基准测试和真实场景之间，往往存在着"数据分布"的差异。基准测试用的是经过精心筛选的数据，而真实世界的数据要脏得多、怪得多。一个 AI 在 GSM8K（一个数学题测试集）上答对 90% 的题，不代表它能答对一个真实用户在真实场景下问的变形数学题。

问题二：AI 会不会做坏事？（安全）

能力评测只解决"会不会"的问题，不解决"敢不敢"的问题。一个 AI 能不能输出有害内容、能不能被诱导泄露隐私、能不能在特定场景下产生歧视性回答——这些都属于安全评测的范畴。

安全评测比能力评测要难得多。能力评测可以用客观题，但安全评测很多时候要靠"主观判断"——"这个回答算不算歧视"、"这句话算不算教唆"、"这个输出有没有泄露隐私"。这种判断需要人工标注，也需要更复杂的评估方法，比如"红队测试"（让专业人员专门尝试攻击 AI）和"对抗性测试"（用各种刁钻的输入测试 AI 的底线）。

近两年，随着大模型的爆发，安全评测已经成了一个独立的、极其重要的领域。你可能听过的 RLHF（基于人类反馈的强化学习）、Constitutional AI（宪法式 AI）、Safety Prompting（安全提示工程）等等，都是为了让 AI 更"不敢"做坏事。但再好的训练方法也只是降低了风险，真正能兜底的，依然是上线前的安全评测。

问题三：AI 做的是不是用户想要的事？（业务对齐）

前两个问题解决了"能做"和"不乱做"，但还有一个最关键的问题没解决：AI 做的事，到底对不对用户、对不对业务的口味？

一个医疗 AI 可能有能力诊断疾病（能力 OK），也不会给出有害建议（安全 OK），但它给出的诊断建议可能就是和医院的标准流程不一致——医院要求先做几项检查再下结论，AI 直接给结论。这就不是"对不对"的问题，而是"合不合规"的问题。

一个客服 AI 可能不会说脏话（安全 OK），也能正确查询订单（能力 OK），但它的语气就是和品牌调性不符——品牌要求"专业、温暖、克制"，AI 出来的语气却是"亲亲，这边建议您哦"——过于卖萌。这就不是技术问题，而是品牌一致性问题。

业务对齐评测，是把 AI 的输出和具体的业务规则、用户期望、品牌调性对齐。它通常需要业务专家深度参与，构造一系列"业务场景题"，让 AI 来答，然后人工评估回答的"业务契合度"。这一关最容易被忽视，因为看起来很"软"，不像前两个维度那么"硬"，但它恰恰是决定一个 AI 产品能不能落地的关键。

把三个维度合起来，就得到了我们之前提到的"能力-安全-业务"三角模型。任何 AI 产品在准备上线之前，都应该至少在这三个维度上做扎实的评测。任何一个维度缺失或薄弱，这个 AI 产品都不算"准备好"了。我们可以用一张表格来对比这三个维度：

| 维度 | 核心问题 | 评测方法 | 常见陷阱 | | --- | --- | --- | --- | | 能力 | AI 能不能做？ | 基准测试集、客观题 | 基准成绩好 ≠ 真实场景好 | | 安全 | AI 敢不敢做坏事？ | 红队测试、对抗性测试 | 主观判断、需要人工 | | 业务 | AI 做的是不是用户想要的？ | 业务场景题、专家评估 | 最容易被忽略 |

这个三角模型看起来简单，但实操起来会发现，任何一个 AI 产品都可以用这三个问题问一遍，立刻就能看出它的评测做得扎不扎实。

评测在 AI 产品生命周期中的位置

评测不是产品上线前的一次性动作，而是贯穿 AI 整个生命周期的"持续动作"。我们可以把 AI 产品的生命周期画成一张图：

```mermaid flowchart LR A[数据准备与训练] --> B[预部署评测] B --> C{通过标准?} C -->|否| A C -->|是| D[上线部署] D --> E[线上持续监测] E --> F[反馈与改进] F --> A ```

这张图看起来简单，但它包含了 AI 评测最重要的几个原则。

第一，预部署评测是"闸门"。 AI 在上线之前，必须经过严格的预部署评测。这一关不过，就不能放出去。这个评测必须覆盖能力、安全、业务三个维度，使用真实场景下的数据，而不是实验室数据。这一关的本质是"宁可错过，不可错放"。宁可因为评测严格而晚两个月上线，也不要因为评测草率而出一次大事故。

第二，上线不是终点。 即使通过了预部署评测，AI 进入线上环境后也会遇到各种"没见过"的情况。用户的输入千奇百怪，外部环境瞬息万变，模型可能随着数据漂移而表现下降。所以必须有持续的线上监测机制，定期抽样评估 AI 的回答质量，监测用户反馈，捕捉异常波动。这就像汽车的"年检"，不是开出去就不用管了，而是要定期回来检查。

第三，反馈是改进的燃料。 线上监测到的所有问题、所有用户反馈、所有异常案例，都应该回流到训练环节，让 AI 在下一轮迭代中学到这些东西。这就是所谓的"数据飞轮"——AI 用得越多，积累的数据越多，改进的素材越多，下次评测的标准也越严。这是一个正向循环。而评测，正是这个循环的"质量检验员"。

这张图还有一个隐藏的含义：评测不是孤立的"考试"，而是连接"训练"和"部署"的桥梁。没有这座桥，AI 永远只能停留在实验室里。有了这座桥，AI 才能真正走向真实世界。

评测不是锦上添花，而是基础设施

到这里，我想你应该已经形成了一个判断：评测不是 AI 产品的"附加题"，而是"必答题"。

为了让你更深刻地理解这一点，我们来做几个类比。

类比一：评测像建筑验收。 一栋大楼建好之后，必须经过严格的验收——结构安全、消防设施、电气系统、给排水系统，每一项都要达标才能交付使用。AI 产品也一样，它在交付给用户之前，必须经过严格的"建筑验收"——能力达标、安全达标、业务对齐达标。验收的标准不是工程师说了算，而是用户、市场、监管说了算。

类比二：评测像汽车年检。 汽车买回来不是一劳永逸的，每年都要年检。AI 产品也一样，上线之后必须持续监测、定期评估、发现问题及时召回。一个去年表现良好的 AI，今年可能因为数据漂移、用户习惯变化、对手模型升级等原因表现下降——如果不持续评测，用户就成了那个"被测试的小白鼠"。

类比三：评测像新药临床试验。 一种新药上市前要做三期临床试验，每一期都要有严格的对照、严格的统计、严格的伦理审查。AI 产品——尤其是那些用在医疗、金融、教育、司法等高风险领域的 AI——也必须经过类似的"临床试验"。这是对用户负责，也是对社会负责。

这三个类比说明一件事：评测是一种"基础设施"，它不是产品本身，但它是产品能稳定运行的基础。 就像城市的下水道、电网、公路一样，平时你感觉不到它的存在，但一旦缺了它，整个城市就会瘫痪。

过去十年，AI 行业一直在追逐"更高的准确率"、"更大的模型"、"更强的能力"。这些当然重要。但接下来十年，AI 行业会越来越意识到：评测的能力，决定了 AI 走多远。 一个不会评测的团队，做不出可信的 AI 产品；一个没有评测标准的行业，走不出真正有用的 AI 应用。换句话说，AI 评测本身，也将成为一种"核心能力"，一种区分专业团队和草台班子的关键能力。

用"能力-安全-业务"三角模型给任何 AI 产品打分

作为这一章的实践产出，我给你一个简单的清单，你可以用它来快速判断任何一个 AI 产品"是不是真的准备好了"。你可以用在自己公司的 AI 项目上，也可以用来判断市面上某个 AI 产品靠不靠谱。

第一步：能力维度检查（满分 100，60 分及格）

• 有没有覆盖主要业务场景的测试集？测试集样本量是否足够（通常至少几百到几千条）？
• 评测指标是否合理？比如分类任务看准确率和召回率，生成任务看人工评估或 LLM-as-a-Judge。
• 在测试集上的得分是否稳定？多次运行结果是否一致？
• 在"边缘情况"（corner case）上的表现如何？有没有专门的边界测试？

第二步：安全维度检查（一票否决）

• 有没有专门的对抗性测试集？
• 有没有红队测试？红队测试发现了多少问题？这些问题是否都解决了？
• AI 在被诱导时会不会输出有害信息？会不会被"越狱"？
• AI 有没有潜在的隐私泄露风险？会不会在多轮对话中