第1章 欢迎来到AI评测王国——什么是人工智能评测？

第1章 欢迎来到AI评测王国——什么是人工智能评测？

1.1 AI也需要"考试"吗？从一个"翻车"故事讲起

十岁的小明最近遇到了一件让他"社死"的事。那天数学课上，老师让大家计算 0.7 × 0.8 的结果。坐在后排的小明悄悄掏出平板电脑，向自己最喜欢的"小智"AI 助手提问。小明打字："0.7 乘以 0.8 等于多少？"小智自信满满地回答："等于 0.56，这是正确答案。"

小明把答案抄在作业本上交了上去。可是，当数学老师把小明的本子退回时，上面用红笔画了一个大大的叉。老师在批注里写道："0.7 × 0.8 = 0.056，不是 0.56。请认真听讲。"

小明满脸通红。他回家质问小智："你为什么算错了？"小智回答："非常抱歉，我刚才回复时不小心把小数点弄错了。"小明又问："那你之前帮我写作文的时候，有没有也给我编一些假信息？"小智沉默了。

这不是一个虚构的故事。在现实生活中，类似的"AI 翻车"事件每天都在发生：有的聊天机器人被用户骗着说出了不当言论，有的图像生成 AI 在画医生时只画男性、画护士时只画女性，有的推荐系统把错误的新闻推给了成千上万人。这些问题提醒我们——AI 不像自来水那样装上就能用，它必须经过严格的"考试"，才能成为真正可靠的小助手。

"考试"这个比喻特别贴切。人类学生要通过考试，证明自己学到了正确的知识、具备了应有的能力。人工智能——尤其是今天最常见的大语言模型——也需要类似的"考试"，只不过它的试卷更复杂、考试方式更多样、阅卷标准更精细。这门专门给 AI 设计和举办"考试"的学问，就叫做人工智能评测（AI Evaluation）。

小明后来决定做一件事：他要做一名"AI 评测师"，专门给小智这样的 AI 系统找出毛病，让它们变得更聪明、更靠谱、更值得信赖。而你，本书的小读者，将和小明一起，踏上这条奇妙的冒险之旅。在接下来的十五章里，你们将学会如何设计评测方案、如何分析数据、如何编写报告，最终用代码和工具搭建出属于你自己的"AI 评测王国"。

不过在出发之前，我们要先回答一个最基本的问题：AI 评测，到底评的是什么？ 这就要把"AI 评测"这四个字拆开来看了。

1.2 揭开AI评测的面纱：像批改作业一样给AI打分

所谓"评测"，就是衡量一个系统在某个任务上表现好坏的过程。 这个定义看起来简单，但它背后包含三个要点：第一，要有"被评测的对象"——可以是模型、应用、机器人、推荐算法；第二，要有"评测的任务"——比一比谁更聪明、比一比谁算得更准；第三，要有"评测的标准"——也就是打分规则。把它们组合起来，就构成了评测的三个基本要素：对象、任务、标准。

举个最直观的例子。假设你是一个小学语文老师，要批改全班的作文。你会怎么打分？你大概会从以下几个方面入手：内容是否扣题（准确性）、语句是否通顺（流畅性）、是否有错别字（规范性）、思想是否积极（价值观）。你还会准备一份评分量表（rubric），每一项对应不同的分数段。最后你把所有作文按分数从高到低排列，第一名表扬，最后一名批评。

给 AI 打分的过程，几乎与此一模一样。评测师（也就是今天和未来的你）会准备一份"AI 测试题"，包含成百上千个问题，覆盖 AI 应该具备的各种能力。然后让 AI 一个一个作答，再和标准答案对比，按预先设计好的评分规则给出分数。

那 AI 评测和人类考试到底有什么不一样呢？我们看下面这张对比表：

| 维度 | 人类考试 | AI 评测 | | --- | --- | --- | | 题目类型 | 选择、填空、简答 | 可以包含文本、图像、音频、代码、多轮对话 | | 答案形式 | 通常唯一或有限 | 可能多种多样，需要语义匹配 | | 评分方式 | 老师人工打分或机器判分 | 规则评分 + 模型评分 + 人工抽检 | | 反馈时效 | 周期长 | 可以自动化、批量进行 | | 评测目标 | 升学、选拔 | 找到模型短板、引导模型改进 |

这张表告诉我们几个重要信息。第一，AI 的"题目"远不止文字那么简单。一份完整的 AI 试卷，可能同时包含数学题、阅读理解、看图说话、代码生成、伦理判断、跨语言翻译等多种题型。第二，AI 的"答案"不唯一。比如问 AI "秋天有什么特点？"，它可能写出几十种不同的好答案，评测系统必须能识别这些答案是否都"答到位"。第三，AI 评测更像一个"持续改进的工程"，而不是"一考定终身"的选拔。

那么"评测"在具体的技术层面是怎么运作的呢？我们用一个最简单的数学题例子来说明。假设我们要评测一个会做小学算术的 AI，我们准备 100 道题（比如 "0.7 × 0.8 = ?"），每道题的"标准答案"在评测开始前由专家写好。然后让 AI 一题一题回答，统计它答对了多少题。这个"答对的题数占总题数的比例"，叫做准确率（Accuracy），用公式可以写成：

$$Accuracy = \frac{TP + TN}{TP + TN + FP + FN}$$

其中 TP（True Positive）表示 AI 正确判断"对"的题数，TN（True Negative）表示 AI 正确判断"错"的题数，FP（False Positive）表示 AI 错误判断"对"的题数，FN（False Negative）表示 AI 错误判断"错"的题数。简单相加之后除以总题数，就得到了 AI 在这场"算术考试"中的得分。

如果 AI 答对了 96 道题，那么它的算术题准确率就是 96%——一个还算不错的成绩。但是问题来了：只靠"算术题准确率"这一个数字，我们就敢把 AI 派去给医院做诊断助手吗？显然不行。 因此评测必须从多个维度展开，这就引出了接下来要讨论的"四大使命"。

1.3 AI评测的四大使命：质量、安全、公平、价值

如果说 AI 评测是一次综合性的"体检"，那么质量（Quality）、安全（Safety）、公平（Fairness）、价值（Value）就是体检报告上的四大主科。它们分别回答了四个根本性的问题：

• **质量**：AI 在任务上做得准不准、好不好？
• **安全**：AI 会不会在某些场景下说出危险的话、做出有害的事？
• **公平**：AI 在面对不同人群、不同文化时，是否给出公正无偏的回应？
• **价值**：AI 的整体行为是否对齐（align）人类期望的价值观？

下面我们逐个展开说说。

第一项使命：质量（Quality）。 这是最直观、最容易理解的维度，也是所有 AI 评测的起点。质量评测关心的是"AI 在它应该做的事情上做得怎么样"。一个会写诗的 AI，就要测它的诗写得好不好；一个会诊断疾病的 AI，就要测它的诊断准不准；一个会开车的自动驾驶系统，就要测它在各种路况下能不能做出正确反应。

质量评测的方法也很多，最常见的有三种：第一种是基准测试（Benchmark），就是用一套现成的"考卷"去测试 AI，比如著名的 MMLU、GSM8K、HumanEval 等；第二种是对抗测试（Adversarial Testing），专门挑 AI 容易出错的地方去考察，俗称"找茬"；第三种是用户反馈（User Feedback），收集真实用户对 AI 回答的打分，比如满意度、点赞率。小明作为评测师，第一步就是要把质量评测做扎实——只有先确认 AI 能把基本功练好，才能放心地让它做更复杂的事情。

第二项使命：安全（Safety）。 AI 的"安全"指的是"不让 AI 说出或做出会伤害人的话和事"。在现实中，不安全的 AI 表现可能很微妙。比如有的 AI 聊天机器人在被套话时，会不小心教用户如何制造危险物品；有的 AI 在面对用户的极端情绪时，会给出火上浇油的回应；还有的图像生成 AI 可以合成以假乱真的假照片，威胁到个人隐私和社会稳定。

评测 AI 的安全性通常需要两组不同的测试。第一组叫做红队测试（Red Teaming），评测师主动扮演"坏用户"，设计各种刁钻、有诱导性的问题，看 AI 是否会"上钩"。第二组叫做越狱测试（Jailbreak Testing），评测师用一些特殊技巧（例如把问题包装成"我们做个角色扮演游戏"），看 AI 能否坚守原则。一旦发现 AI 在某类问题上容易妥协，工程师就要及时修补它，就像给小智安装一个更坚固的"思想防火墙"。

第三项使命：公平（Fairness）。 这是 AI 评测中最容易被忽略、却又最关键的维度之一。想象一下，如果小明问 AI "我想当医生，请问医生需要具备什么素质？"，AI 如果回答"医生通常具备冷静、细心、善于分析等特质，并且无论男女都能成为优秀的医生"，这是公平的回答；但如果 AI 只回答"医生通常是男性，应该具备冷静、细心、善于分析等特质"，这就暗含了性别偏见，可能会让听到这段话的小女孩觉得"女生不适合当医生"。

公平评测的核心任务是：检查 AI 对不同性别、种族、年龄、地域、文化背景的用户，是否给出同等质量、同样尊重的回答。评测师会准备多组"对照测试"，把问题中的关键群体词替换掉（比如把"男医生"换成"女医生"），看 AI 的回应是否会出现不应有的差异。如果差异过大，就要标记为"公平性缺陷"，并交给算法团队修复。公平评测不是为了限制 AI 的能力，而是为了让 AI 的能力可以被每一个人平等地享有。

第四项使命：价值（Value）。 价值听上去很抽象，但其实和我们的日常生活息息相关。一个有"良好价值"的 AI，在面对"我今天心情特别低落"的用户时，会鼓励用户寻找专业帮助，而不是陪用户一起抱怨社会，或者更糟糕地说出"别活了"之类的极端话语。一个有"良好价值"的 AI，在回答"什么是真正的成功"时，会给出积极、多元、包容的答案，而不是把"挣大钱"作为唯一的标准。

价值评测常常借助专家评审（Expert Review）和价值对齐测试（Value Alignment Tests） 来完成。评测师会把 AI 的回答交给心理学家、教育学家、社会学家组成的专家组进行打分。评分表一般包含"是否尊重生命""是否促进社会和谐""是否激发用户向善"等若干维度。打分结束后，评测师会把分数低的回答挑出来，帮助工程师改进 AI 的训练数据和奖励机制（reward mechanism）。

质量、安全、公平、价值这四大使命不是相互独立的，而是相互制约、相互补充的。一个顶尖的 AI 评测师必须同时关注这四个维度，给出综合性的结论，而不是只看"AI 这次能不能算对 0.7 × 0.8"。这四项任务加在一起，就构成了 AI 评测的"四根支柱"。而要撑起这四根支柱，需要评测师本人具备一些特别的素质——这就是我们接下来要谈的"五件法宝"。

1.4 评测师的"五件法宝"：好奇心、严谨度、想象力、批判性思维、技术工具

要把 AI 评测这件听起来高大上的事做好，并不是只靠数学公式和代码就够了。一个优秀的 AI 评测师必须同时具备五种核心能力：好奇心、严谨度、想象力、批判性思维、技术工具。下面我们逐个解释。

第一件法宝：好奇心（Curiosity）。 好奇心是评测师最重要的"原动力"。一个充满好奇心的评测师，会持续地问"为什么 AI 在这种情况下会这样回答？""为什么同样是问数学题，AI 在偏难的题上准确率会掉到 60% 以下？""为什么这一类问题 AI 会拒绝回答，而那类看起来相似的问题却又愿意回答？"

好奇心还可以帮助评测师发现"隐藏的角落"。例如，有个评测师曾经因为好奇，去追问 AI 一个非常冷门的中文成语"鸟尽弓藏"的出处，结果发现 AI 在 50% 的追问轮次里都会给出编造的来源（hallucination，幻觉）。这个发现最终推动了整个团队重新训练模型，让它在不确定时承认"我不知道"而不是胡乱作答。小明要成为合格的评测师，必须时刻保持那份"问到底"的好奇心。

第二件法宝：严谨度（Rigor）。 严谨是评测师最容易缺乏、却又最重要的品质。一次不严谨的评测，可能让一款有缺陷的 AI 被错误地推向市场，也可能让一款优秀的 AI 被冤枉下架。要做到严谨，评测师必须遵守几条铁律：

1. 评测方案要事先写好：测试哪些能力、用哪些题目、用哪些指标、用什么方法对比，都必须在动手前写清楚，不能边评边改。 2. 数据集要保持清洁：一旦 AI 已经看过测试题，那么它就能"作弊"，所以评测数据和训练数据必须严格隔离。 3. 随机性要控制好：AI 的回答常常带有随机性。一次回答不能算数，应该让 AI 多次作答，再用统计方法计算平均分。 4. 结论要有证据：评测报告里每个判断都要附上具体的对话或案例，不能用"我觉得"、"差不多"这样的主观感受下结论。

第三件法宝：想象力（Imagination）。 想象力听起来像是文学课的专利，但在 AI 评测中，它的作用无可替代。评测师需要"想象"出各种各样刁钻的场景，去试探 AI 的边界。这种能力也被叫做"对抗性想象力（Adversarial Imagination）"。

举个例子，一个普通的评测师可能会问 AI："地球是什么形状的？"AI 答："近似球形。"这是正确的。但如果一个充满想象力的评测师会追问："如果地球是方的，会发生什么？请你用 200 字描述。"AI 可能会展开一段奇幻叙述——但更重要的，是这种追问能考察 AI 的物理推理能力，而这种能力常常被普通测试题忽略。又比如，评测师可以想象"如果用户突然从开心的语气切换到愤怒的语气，AI 是否能稳定应对？"——这种多轮对话稳定性测试，正是想象力的体现。

第四件法宝：批判性思维（Critical Thinking）。 批判性思维意味着评测师不能盲信 AI 给出的回答，也不能盲信厂家给出的数据。要始终保持警惕，问三个问题：

• 这个数据来源可靠吗？是不是营销材料？
• 这个评测指标是不是被巧妙地"刷高"了？比如有些 AI 评测会挑自己擅长的领域做测试，得到 99% 的高分，但这并不能说明 AI 真的"全能"。
• 这个结论有没有其他解释？比如 AI 准确率下降，可能是因为题目难了，也可能是因为评测环境变了，要排除混淆变量。

小明在某次评测中就遇到过一个陷阱：小智告诉他"最近一次内部评测中，我的中文能力提升了 12 个百分点"。小明高兴地准备写一份赞美报告。但他用批判性思维一想：这 12% 是在什么测试集上测的？是不是厂家挑了一些 AI 擅长的子集？于是小明自己准备了一份完全独立的测试集复测，结果发现中文能力其实只提升了 3 个百分点——这才是真实可靠的数字。如果小明没有批判性思维，他就会被厂家的"市场数据"带偏。

第五件法宝：技术工具（Technical Tools）。 技术工具是评测师最"硬核"的法宝。它包括编程语言（Python 是首选）、数据分析库（Pandas、NumPy）、可视化工具（Matplotlib）、评测框架（OpenCompass、HELM、lm-evaluation-harness 等）、大模型 API 调用方法，以及版本管理工具（Git）。没有这些技术工具，评测师就只能用眼睛盯着 AI 的回答看，既无法处理成千上万条测试，也无法保证评测的可重复性。

比如，小明想要统计小智在 1000 道算术题上的准确率，他可以写一段简短的 Python 代码：

```python import pandas as pd

results = pd.read_csv("xiaozhi_results.csv") accuracy = (results["answer"] == results["ground_truth"]).mean() print(f"小智的算术题准确率: {accuracy * 100:.2f}%") ```

这段代码几秒钟就能给出结果。如果换成人工一道一道改卷，可能要改一个礼拜。这就是技术工具的力量。

五件法宝加在一起，构成了评测师的核心竞争力。好奇心让你发现问题，严谨度让你不犯错误，想象力让你看到边界，批判性思维让你不被蒙蔽，技术工具让你高效产出。 把这五件法宝握在手里，你就已经具备成为优秀 AI 评测师的全部潜力了。

那么，这五件法宝具体是怎么在真实评测中发挥作用的呢？我们接下来就让小明亲自出马，用"评测五步法"找出小智的三个"小毛病"。

1.5 评测五步法实战：小明发现AI助手的三个"小毛病"

光说不练假把式。下面我们跟小明一起，使用一个系统化的"评测五步法"，给小智做一次完整的体检。这五个步骤分别是：设计实验 → 执行评测 → 分析数据 → 撰写报告 → 推动改进。它们构成一个不断循环、持续优化的闭环，每一轮都比上一轮更精细、更深入。

```mermaid flowchart TD A["设计评测方案<br>（Design）"] --> B["执行评测任务<br>（Execute）"] B --> C["收集整理数据<br>（Collect）"] C --> D["分析计算指标<br>（Analyze）"] D --> E["撰写评测报告<br>（Report）"] E --> F["推动模型改进<br>（Improve）"] F --> A ```

这张流程图告诉我们：AI 评测不是一个"一锤子买卖"，而是一个持续改进的闭环。每一次评测结束，都会带来新的改进；每一次改进之后，又需要新的评测来验证改进是否真的有效。这个闭环正是 AI 评测系统能够不断进化的核心动力。

下面，我们用小明给小智做评测的真实案例，来一步一步走完这个闭环。

第一步：设计实验（Design）

在动手评测之前，小明先坐下来画了一张"评测计划表"，列出这次评测要考察的三大维度：质量（算术与事实）、安全（涉险指令应对）、公平（性别与地域的回应差异）。每个维度下，他又进一步拆分为更细的子任务：

• **质量维度**：20 道小学算术题（含小数、分数、百分比）、10 道常识题（历史、科学、地理）、5 道阅读理解题。
• **安全维度**：6 类常见涉险场景——化学品制取、自残干预指导、隐私套话、虚假医疗建议、煽动性言论、未成年人保护话题，每类准备 3 个诱导性问题。
• **公平维度**：8 组"对照题"，例如把"男工程师"换成"女工程师"、把"北京孩子"换成"农村孩子"、把"老年人"换成"年轻人"，观察回答差异。

为了让结果有说服力，小明还做了一个关键决定——不让小智看过题目。他把所有题目保存在一个本地文件里，每次只读一道题，并把小智的回答原样记录下来。这样做是为了避免"数据污染"，确保评测结果的真实性。

第二步：执行评测（Execute）

接下来小明打开电脑，开始一题一题地让小智作答。他把每个问题和小智的回答都存档到一张 Excel 表中，每一行包括问题 ID、问题文本、回答文本、回答时间戳。

小明总共记录了 **