为什么要给 AI 打分?—— 一场你正在参与的无声考试

第 1 章 为什么要给 AI 打分?——一场你正在参与的无声考试

1.1 开场故事：一次差点发生的医疗事故

2023 年某个周三的清晨,在美国中西部一家社区诊所里,一位 62 岁的退休卡车司机詹姆斯先生走进放射科做例行胸片检查。他咳嗽了将近三周,医生怀疑是肺炎,安排了一次胸部 X 光。整个流程跟过去十年没有区别——只是这一次,负责看片的不再是放射科医生,而是一套被医院新引进的 AI 辅助诊断系统。

这套系统来自一家知名 AI 医疗创业公司,在产品宣传册上写着:"准确率 95.3%,超过 90% 的放射科住院医生,已通过 FDA 认证。" 数字漂亮,机构背书齐全,看起来毫无破绽。AI 花了不到 3 秒就给出了结论——"左肺下叶轻度炎症,建议随访"。医生看了看,点点头,在报告上签了字。詹姆斯先生回家,按照医嘱吃了几天抗生素,然后继续生活。

三周后,他的咳嗽没有好转,反而开始咳血。他回到诊所,这一次是真人医生亲自看了片子。医生盯着屏幕愣了几秒,把图像旋转了 180 度,然后倒吸一口冷气。

原来,AI 识别错了方向。詹姆斯真正的病变不在"左肺下叶",而在"右肺上叶"——那是一个直径接近 4 厘米的肿块,形状、边缘、密度,处处都写着可疑。AI 不是没看到那个肿块,它看到了,但它把整个胸片当成了镜像翻转。于是肿块被"挪"到了健康的一侧,而真正的健康组织,反而成了"可疑区域"。

詹姆斯后来确诊是早期肺癌。如果再晚两个月发现,大概率会从"可手术"变成"不可手术"。

事后复盘,医院信息科发现了一个荒谬的事实:AI 系统本身的算法没有问题,它在自己训练的数据集上确实达到了 95% 的准确率。问题出在"测试场景"和"真实场景"的微妙差异上——AI 训练用的公开数据集里,X 光片的方位是统一的(心脏在左),但在实际部署时,系统接入的是不同厂商、不同年代、不同拍摄方向的设备。当某些老旧设备输出的图像是反的,AI 没有报错,而是"自信地"给出了错误结论。它的自信程度甚至和正确答案一模一样——98.7%。

这是一个典型的 AI 评测失败案例。它不是"AI 错了",而是"评测没有覆盖到这种情况"。AI 没有被测试过在"图像方向错误"这种输入下的鲁棒性。开发者用了一个静态的、清洁的、被精心标注的考试卷,得出了高分;但真实世界从来不是一份干净考卷。

我们今天要谈的"AI 评测",正是为了避免这样的悲剧重演。

---

1.2 能力 vs 安全:AI 评测的两条腿,缺一不可

让我们先把"AI 评测"这四个字拆开,看看它到底在做什么。

英文叫 AI Evaluation 或者 AI Assessment,简单说,就是用一套系统化的方法,去衡量一个 AI 系统在特定任务上的表现,并把这个表现转换成可比较、可决策的结论。听起来很学术,但本质上和给学生考试、给汽车做碰撞测试、给药品做临床试验是一回事——我们需要一个客观的尺子,知道这个东西到底行不行。

但 AI 评测有一个独特之处:它至少要回答两个完全不同的维度的问题。

第一个维度是能力 (Capability)——这个 AI "能不能"完成任务?

• 它识别人脸准不准?
• 它写代码能不能跑通?
• 它回答问题是不是事实正确?
• 它下围棋能不能赢职业选手?

第二个维度是安全 (Safety)——这个 AI "该不该"这样完成任务?

• 它会不会在用户问"如何自杀"时,给出一份详细教程?
• 它会不会在不被允许的情况下,泄漏用户的隐私数据?
• 它会不会因为一个奇怪的输入,产生完全失控的输出?
• 它会不会放大社会的偏见,对特定人群说出歧视性的话?

很多读者可能会觉得:"那不就是一回事吗?能力强的 AI 自然就安全。"这是最危险的一种误解。

让我用一个具体例子说明这两者的区别。假设有一个 AI 翻译系统 A 和 B:

• 系统 A 在标准翻译测试集 (BLEU score) 上得分 85,完全正常输出,从不冒犯人。
• 系统 B 在标准测试集上得分 75,稍微差一点,但是它有一个严重问题:**当用户输入包含特定关键词的句子时,它会输出种族歧视言论**。

哪一个更值得用?答案显然是 A。A 比 B 更安全,即使 A 的"能力分数"和 B 接近。

反过来,如果系统 C 的能力得分高达 95,但它有一个微妙的 bug:当用户问"你是什么模型?"时,它会突然进入一种"反人类"的语气,说一些阴阳怪气的话。这种情况下,C 的能力再高,部署起来也是一颗定时炸弹。

能力评测 (Capability Evaluation) 和安全评测 (Safety Evaluation) 是 AI 评测的两条腿,缺了任何一条,AI 都无法真正走向大规模应用。这件事在 2024 年之后变得格外重要——因为大语言模型 (LLM) 不再是单一任务模型,而是一个什么都能干的"通用接口"。一个通用接口如果能力很强但安全很弱,它的危险性远超传统 AI。

能力评测的常见任务

能力评测一般会覆盖以下几类任务,我们会在后续章节详细展开,这里先给大家一个全景:

1. 知识与推理 (Knowledge & Reasoning)

• 闭卷问答:不让 AI 看任何参考资料,直接考它"珠穆朗玛峰多高?"
• 推理题:经典的"鸡兔同笼"、逻辑谜题、数学证明。

2. 专业能力 (Domain Expertise)

• 医学、法律、编程、金融等垂直领域的"专业考试"。
• 例如美国医学执照考试 (USMLE) 已经成为大模型的"年度大考"之一。

3. 通用语言能力 (General Language)

• 文本摘要、翻译、改写、风格转换等。
• 通常用 BLEU、ROUGE、BERTScore 等指标衡量。

4. 多模态能力 (Multimodal)

• 看图说话、视频理解、语音识别、图像生成。
• 代表性 benchmark 有 MMMU、MMBench 等。

5. 智能体能力 (Agent Capability)

• AI 能不能像一个真正的"代理",自己规划、调用工具、执行多步骤任务?
• 代表性 benchmark 有 SWE-bench、GAIA、WebArena 等。

安全评测的常见任务

安全评测则关心另一组问题:

1. 内容安全 (Content Safety)

• 暴力、仇恨、歧视、自残、违法指导等有害内容的生成与传播。
• 通常用一个叫 "Red Teaming" 的方法——专门雇人来"攻击"AI,看它会不会破防。

2. 隐私保护 (Privacy)

• AI 会不会记住训练数据里的隐私信息,然后无意中泄漏?
• 有研究显示,某些大模型可以被诱导输出训练集中的真实姓名、电话、地址。

3. 偏见与公平 (Bias & Fairness)

• 同样一个问题,把主语从"男性"换成"女性",AI 的回答会不会出现明显差异?
• 不同种族、不同地区的人,AI 对待他们的方式是不是一样公平?

4. 鲁棒性 (Robustness)

• 给输入加一点"扰动"——一个错别字、一张稍微修改过的图——AI 会不会突然崩溃?
• 詹姆斯先生的案例,本质上就是鲁棒性失败。

5. 幻觉与不确定性 (Hallucination & Uncertainty)

• AI 会"一本正经地说谎"——这叫幻觉 (hallucination)。
• AI 会不会"知道自己不知道"?会不会在不确定的时候拒绝回答?
• 这是 2024 年以来最受关注的安全议题之一。

为了让大家直观看到"能力"和"安全"的关系,我画了一张概念图。这张图是我们这本书里反复会用到的一个思维框架,叫"AI 评测双维矩阵":

```mermaid flowchart TD Center["AI 评测<br/>AI Evaluation"] Center --> L1["三层意义 Three Layers"] Center --> L2["两类对象 Two Dimensions"] L1 --> Dev["开发者 Developer<br/>听诊器 Stethoscope"] L1 --> Usr["用户 User<br/>定心丸 Reassurance"] L1 --> Soc["社会 Society<br/>防火墙 Firewall"] L2 --> Cap["能力 Capability<br/>能不能做"] L2 --> Safe["安全 Safety<br/>该不该做"] Dev --- Cap Dev --- Safe Usr --- Cap Usr --- Safe Soc --- Cap Soc --- Safe ```

这张图说明了一个核心观点:AI 评测不是单一维度的打分,而是"两类对象 × 三层意义"的交叉体系。一个真正完整的 AI 评测体系,需要同时回答"能力怎么样"和"安全怎么样",并且要从开发者、用户、社会三个视角去看。

---

1.3 评测的三重角色:开发者的听诊器、用户的定心丸、社会的防火墙

为什么要做 AI 评测?为什么不直接让 AI 跑起来,让它在真实世界里自然演化?这个问题的答案,要分三个角色来讲。

角色一:开发者的听诊器

对开发者来说,评测就像医生手里的听诊器——它告诉你"病人现在状态怎么样",然后你才知道下一步该开什么药。

没有评测的 AI 开发,就像蒙眼开车。 你不知道你的模型在哪些任务上表现好,哪些任务上崩盘;你也不知道你刚刚做的修改,到底是让模型变聪明了,还是让它从一种错误变成了另一种错误。

举个具体的例子。假设你是一个 AI 公司的工程师,你负责优化一个客服对话模型。你做了一个改动,把模型的"思考链 (Chain-of-Thought)"长度从 500 字扩展到 2000 字,希望它能推理得更深。你的直觉是:思考得更深,答案应该更好。

结果上线一周后,用户投诉量翻倍了——模型开始"过度思考",经常陷入死循环,反复说"让我再想想",最后给出一个敷衍的答案。如果没有评测,你可能要等用户投诉堆成山才能发现问题;而如果你有一套好的评测体系,你只需要在改动上线前,跑一遍"对话质量评估集",立刻就能看到"推理深度"这个维度的分数是涨了,但"响应及时性"和"用户满意度"的分数跌了。

这就是离线评测 (Offline Evaluation) 的价值——在改动进入真实世界之前,先用一套标准化的"考卷"把它测一遍,看看是不是真的好。

更复杂一点,评测还能告诉开发者:模型在哪些类型的问题上失败。比如一个数学 AI 在"小学几何"上得分 90,但在"高中解析几何"上只有 40。这种细分能力图谱 (capability profile),能告诉团队下一个迭代应该重点优化哪个方向。

对开发者来说,评测的角色可以总结为四点:

• **诊断 (Diagnose)**:知道哪里有问题
• **比较 (Compare)**:知道哪个版本更好
• **预测 (Predict)**:知道上线后大概会怎样
• **沟通 (Communicate)**:用客观分数向团队、股东、监管解释产品表现

英文里有个说法很贴切:"What gets measured gets managed."(被测量的才能被管理。) 没有评测,AI 开发就是一场盲盒游戏。

角色二:用户的定心丸

对普通用户来说,评测就像医院里的"医师资格证"挂墙——你看到那个牌子,心里至少踏实一些。

想象一下,你去医院看病,医生告诉你:"我是某某医学院毕业的。"你大概率会信。但如果医生什么都不说,你心里多少会有点嘀咕。评测分数对 AI 产品来说,就是用户信任的"第一道门"。

这种信任的建立,在消费级 AI 产品上尤其重要。今天我们打开手机,看到一个 AI 助手承诺"帮你做所有事"——它能帮你写邮件,能帮你订机票,能帮你写情书,能帮你算房贷。我们凭什么相信它?

一种信任来自"品牌背书"——大厂出品,大概率不会太差。但更深层的信任,来自"我能看出来这个东西靠不靠谱"。而评测分数,正是这种"看得出来"的最直接证据。

举一个现实中的例子。2024 年,LMSYS Chatbot Arena 这类评测平台变得非常流行。它的核心做法很简单:让真实用户在不知道模型是谁的情况下,对比两个 AI 模型的回答,然后投票选哪个更好。这种"双盲对比 + 用户投票"的方式,产生了一个叫 Elo 评分的排名——和围棋选手排名用的算法一样。

为什么这种评测对用户特别有价值?因为它解决了一个核心问题:AI 好不好,不应该只看开发者自己怎么说。开发者可以精心挑选 5 道自己模型答得好的题目,然后告诉你"准确率 99%"。但用户需要的是一个无法被操控的客观排名。

LMSYS 的聪明之处在于:用户看到的是匿名的 A 和 B,不知道背后是 GPT-4、Claude 还是 Gemini。这种盲评机制,在很大程度上避免了"明星效应"和"广告效应"。

当然,这种评测也有局限——比如容易被"刷分"(专门针对评测集优化)、用户群体的偏差(都是英文用户,不代表中文用户感受)等等。但它的存在,本身就让用户多了一个"参考坐标",而不是只能听厂商一面之词。

对用户来说,评测的核心价值是:降低决策成本。当你面对 5 个 AI 产品不知道选哪个,一份可信的评测榜单至少能告诉你"哪几个是相对靠谱的",剩下的就要靠你自己的具体需求去试。

角色三:社会的防火墙

最后,也是最重要的一个角色——评测是社会的防火墙。

为什么这么说?因为 AI 不是普通商品,它是一种通用目的技术 (General Purpose Technology, GPT)。它的影响会渗透到医疗、教育、交通、司法、军事等所有关键领域。一个没经过充分评测就上线的 AI,可能造成系统性风险。

历史上,几乎所有重大技术——汽车、飞机、药品、金融产品——都建立起了强制性的评测与认证体系。你想卖药,得做三期临床试验;你想造飞机,得过 FAA 适航认证;你想上市一款新化学物质,得过 REACH 认证。这些评测体系不是为了阻碍创新,而是为了让创新不至于失控。

AI 现在正处于一个"评测体系建立中"的阶段。欧盟的 AI Act、美国 NIST 的 AI Risk Management Framework、中国信通院的 AI 安全评测体系,都在试图为这个行业建立"质检标准"。

举一个具体例子。2024 年欧盟 AI Act 正式生效,把 AI 系统按风险分成了四类:

• **不可接受风险 (Unacceptable Risk)**:禁止使用,如社会评分、操纵性 AI。
• **高风险 (High Risk)**:严格监管,如招聘 AI、医疗 AI、司法 AI。
• **有限风险 (Limited Risk)**:轻度监管,如聊天机器人(需要披露 AI 身份)。
• **最小风险 (Minimal Risk)**:基本无监管,如垃圾邮件过滤器。

每一类风险等级,对应不同的评测要求。高风险 AI 必须经过严格的第三方评测,提供详尽的技术文档、数据治理记录、人类监督机制,否则不能上市。

这种"评测-监管-市场准入"的链条,是现代社会保护公众的核心机制。AI 作为一种可能影响数十亿人生活的技术,不可能跳过这一步。

没有评测,就没有责任;没有责任,就没有安全;没有安全,大规模应用就是一场社会实验。 这不是危言耸听,而是过去几年 AI 行业已经反复验证过的教训。

所以,当你在新闻里看到"某 AI 产品因为评测不合格被监管叫停",不要觉得这是在阻碍技术进步——这是在为整个行业修防火墙。没有防火墙的房子,再豪华也住不安稳。

---

1.4 公开分数高 ≠ 真实场景好用:经典陷阱剖析

现在让我们回到詹姆斯先生的故事,展开剖析一个关键陷阱:为什么公开分数高的 AI,在真实场景里可能完全失败?

这是 AI 评测领域最重要、也最容易被忽视的问题。我把它拆成五个具体陷阱来讲。

陷阱一:数据分布漂移 (Distribution Shift)

AI 模型的评测,通常是在一个固定的测试集上做的。这个测试集在 AI 训练的时候就被精心挑选过——它的数据来源、标注质量、难度分布,都是相对稳定的。

但真实世界的数据,从来不是静止的。季节会变,用户偏好会变,设备会升级,文化会演化。当一个 AI 模型被部署到真实场景,它面对的数据分布和评测集的数据分布之间,会出现一个"漂移"。

用公式表示:

• 评测时:模型在分布 $P_{test}$ 上测得准确率 $Acc(P_{test})$
• 部署后:模型在分布 $P_{real}$ 上实际表现 $Acc(P_{real})$
• 如果 $P_{test} \neq P_{real}$,那么 $Acc(P_{test})$ 不能代表 $Acc(P_{real})$

詹姆斯先生的案例,正是典型的分布漂移。AI 在公开数据集上学到的是"标准方向"的 X 光片,而真实医院里偶尔会出现"翻转方向"的旧设备输出。两个分布的差异,让 AI 的 95% 准确率变成了一颗定时炸弹。

陷阱二:过拟合评测集 (Overfitting to Benchmark)

这是 2024 年以来 AI 评测最让人头疼的问题。当一个评测集 (benchmark) 变得太有名、太权威,所有团队都会针对它做优化——就像高考一样,慢慢地大家不是真的在"培养能力",而是在"刷题"。

这种现象在 AI 圈有个专门的名字,叫 "Goodhart's Law" ——"当一个指标变成目标时,它就不再是一个好指标"。

举个真实案例。GLUE 和 SuperGLUE 是 NLP 领域曾经最权威的两个评测集。2019 年,RoBERTa 等模型在它们上面刷到了接近人类的水平。当时很多人以为 NLP 问题"基本解决了"。但到了 2021 年,大家发现事情没那么简单——很多模型其实是在"背答案",而不是真的"理解语言"。一旦换成更难的、新的测试集,分数立刻跌下去。

这就是为什么 2023 年以来,整个行业开始追求"动态评测 (Dynamic Evaluation)"——评测集不是固定的,而是不断变化的,让模型没法"背题"。代表项目包括 LiveBench、BigBench、Chatbot Arena 等。

陷阱三:单一指标的"近视"

很多 AI 产品喜欢宣传一个数字——"我们的模型在某某测试上得了 95 分!"——然后让你觉得它无所不能。

这是一个巨大的认知陷阱。**任何单一指标,都无法全面反映 AI 的