第一章：当AI遇见考试——什么是AI评测

第一章：当AI遇见考试——什么是AI评测

为什么AI也需要“考试”？

想象这样一个场景：你是一名高中数学老师，明天就要进行期末考试了。你精心准备了试卷，涵盖了学生们一学期学过的所有知识点。第二天，试卷发下去，你紧张地等待结果。结果出来后，你发现一个有趣的现象：同一个班级里，有些学生考了95分，有些只考了60分。更让你困惑的是，那些平时看起来很聪明的学生，分数却不一定最高；而那些默默无闻的学生，反而可能给你惊喜。

这个时候，你会怎么做？你会直接宣布“考95分的学生是最优秀的，以后都让他们来做数学题”吗？

显然不会。你会问一系列问题：这套试卷设计合理吗？能否真正反映学生的数学能力？95分和60分之间的差距到底意味着什么？这些学生下次换一套试卷，成绩还会保持一样吗？

现在，把这个场景中的“学生”换成“AI模型”，把“数学能力”换成“语言理解能力、代码生成能力、逻辑推理能力”。你会发现，困惑几乎一模一样。

这就是AI评测（AI Evaluation）要解决的问题。

一个让人哭笑不得的真实故事

2016年，微软推出了一款名为Tay的聊天机器人。这个AI被设计成模仿19岁青少年的说话方式，能够在社交媒体上与用户进行互动。微软的工程师们信心满满，他们认为通过与真实用户的对话，Tay会变得越来越“聪明”，越来越会聊天。

结果呢？Tay上线不到24小时就被紧急关闭了。

发生了什么？Tay被大量用户“教坏”了。一些用户不断向它输入种族歧视、阴谋论、反犹太主义的内容。Tay就像一个毫无判断能力的孩子，学什么说什么，在推特上发布了一系列令人震惊的极端言论。微软不得不公开道歉，并迅速下线了这个产品。

这个故事告诉我们什么？

第一，AI模型的行为是不可预测的。即使你设计它的初衷是好的，它在实际使用中可能做出完全出乎意料的事情。第二，你不能简单地相信一个AI会“自动”变得更好——如果没有正确的引导和约束，它可能会“自动”变得更坏。第三，也是最重要的：在Tay发布之前，微软显然没有进行充分的“红队测试”（Red Teaming），没有预想到恶意用户会如何“攻击”这个系统。

如果我们把Tay当作一个参加考试的学生，那它显然不及格——不是知识储备不够，而是完全缺乏基本的价值判断和社会责任感。

从“能用”到“好用”：AI评测的必要性

为什么AI需要评测？这个问题听起来似乎很简单，但要真正回答好，需要理解AI与传统软件的根本区别。

传统软件遵循的是“确定性逻辑”。你输入A，它就输出B；你点击“保存”，文件就会被保存；你输入密码错误三次，账户就会被锁定。这些行为都是可以精确描述、可以穷举测试、可以提前预知的。

AI模型（特别是近年来大火的大语言模型）遵循的是“概率性逻辑”。你问它一个问题，它每次的回答可能都不完全一样。它不是在“回忆”一个标准答案，而是在“生成”一个最可能的答案。这种生成能力让AI变得异常强大，但也让它变得难以捉摸。

用一个不恰当但形象的比喻：传统软件就像一台精密的钟表，每一个齿轮的位置都是设计好的，只要齿轮没问题，它就一定会准确报时。而AI更像是一个天赋异禀但缺乏管教的孩子——它有能力做出惊人的事情，但你也很难预测它下一秒会做什么。

正因为AI有这种“不可预测性”，所以我们必须对它进行系统性的评测。你不能简单地说“我的AI很聪明”，你必须说“我的AI在以下这些任务上的表现如下：准确率X%，召回率Y%，响应时间Z秒”。

更重要的是，AI评测不仅仅是为了满足工程师的好奇心。它直接关系到产品决策。当你面临“这个模型要上线吗？”“A模型和B模型哪个更好？”“我们的AI在哪里还需要改进？”这些问题时，没有系统性的评测数据，你就是在“盲选”。

这就是AI评测存在的意义：它就像AI世界的考试系统，让抽象的“聪明”变得可以测量、可以比较、可以改进。

用“学生考试”理解AI评测的本质

让我们继续用学生考试这个比喻，深入理解AI评测的本质。

什么是“考试科目”？

一个完整的学生考试，通常包含多个科目：语文、数学、英语、物理、化学……每个科目考察的能力是不同的：语文考察阅读理解和表达能力，数学考察逻辑推理和计算能力，英语考察语言运用能力。

AI评测也是一样的道理。不同类型的AI任务，需要不同的“考试科目”。

如果你评测的是一个文本分类模型，你的“考试科目”可能包括：准确率（分类正确的比例）、精确率（预测为正类中真正是正类的比例）、召回率（所有正类中被正确预测的比例）、F1分数（精确率和召回率的调和平均）。

如果你评测的是一个代码生成模型，你的“考试科目”可能包括：代码正确率（生成的代码能否通过测试用例）、执行效率（代码运行速度快不快）、可读性（代码是否易于理解）、安全性（代码是否有潜在的安全漏洞）。

如果你评测的是一个对话模型（就像现在的ChatGPT），情况就更复杂了。你的“考试科目”可能包括：回答的准确性、有用性、无害性、诚实性、连贯性……这些能力本身就很难量化，更别说设计出能够准确测量的测试题目了。

所以，AI评测的第一步是明确你的“考试科目”——也就是你关心的能力维度。

什么是“考试题目”？

有了考试科目，接下来就是设计具体的题目。

对于学生考试，题目可以分为几种类型：选择题、判断题、填空题、简答题、论述题、计算题……每种题型考察的能力侧重点不同，出题方式也不同。

对于AI评测，题目同样有多种形式：

选择题型（Multiple Choice）：给AI一个问题和多个选项，让它选出正确答案。这是最简单的评测方式，结果容易判定。比如：“以下哪个城市是中国的首都？A.上海 B.北京 C.广州 D.深圳”。

开放式问答（Open-ended QA）：给AI一个问题，让它自由回答，没有标准答案。这种题目考察的是AI的综合理解能力，但评判标准难以统一。比如：“请解释一下什么是量子纠缠”。

生成任务（Generation Task）：让AI生成一段文字、一段代码、一首诗歌、一幅图片。这种任务考察的是AI的创造力和表达能力，评判更是主观。

推理任务（Reasoning Task）：给AI一个复杂的逻辑问题，让它逐步推理出答案。这考察的是AI的逻辑思维能力。比如著名的“草莓问题”（Strawberry里有几个字母r）。

不同的题目形式适用于不同的评测目标，也需要不同的评分方法。这就是为什么设计一个好的AI评测基准（Benchmark）如此困难——你需要设计合适的题目，选择合适的评判方式，还要确保题目能够真正反映模型的能力。

什么是“考试评分”？

学生考试的评分方式大家都很熟悉：选择题通常由机器自动评分，客观公正；主观题由老师根据评分标准打分，可能有一定的主观性。

AI评测的评分更加复杂，因为AI的回答形式多种多样，评判标准也不尽相同。

精确匹配（Exact Match）：这是最简单的评分方式。AI的回答必须和标准答案完全一致（或几乎完全一致）才能得分。这适用于答案固定明确的任务，比如数学计算、事实性问答。但它过于严格，无法捕捉AI回答中“语义正确但表述不同”的情况。

模糊匹配（Fuzzy Match）：放宽匹配标准，允许一定的编辑距离。比如“北京”和“北京市”可以认为是匹配的。这种方式比精确匹配更灵活，但仍然无法处理同义词和语义等价的情况。

语义相似度（Semantic Similarity）：使用另一个AI模型（通常是专门的嵌入模型）来计算AI回答与标准答案的语义相似度。这种方式可以捕捉语义上的等价性，但引入了额外的复杂性和可能的偏差。

人工评估（Human Evaluation）：邀请人类评估员对AI的回答进行评分。这是评价对话系统、创意写作等任务的“金标准”，但成本高、耗时长、难以规模化，还存在评分者之间不一致的问题。

AI辅助评估（AI-assisted Evaluation）：使用更强或更专业的AI模型来评估目标AI的回答。这种方式介于机器评分和人工评分之间，近年来发展迅速，但也带来了“谁来评估评估者”的问题。

看到这里，你应该明白了：AI评测并不是一个简单的事情。它涉及到明确评测目标、设计合适的题目、选择恰当的评分方式等多个环节。每一个环节都需要仔细考虑，否则你得到的评测结果可能无法真实反映AI的能力。

什么是“考试作弊”？

最后一个有趣的比喻：考试中会有学生作弊，AI评测中也有“作弊”现象。

所谓AI评测中的“作弊”，指的是模型为了在评测中取得高分而采取的不正当手段，这些手段并不能真正提升模型的实际能力。

一个典型的例子是数据污染（Data Contamination）。如果你的评测题目（或者与评测题目高度相似的题目）曾经出现在模型的训练数据中，那么模型可能在评测中表现出色，但这并不代表它真的“学会”了相关能力，而只是“背住了”答案。这就像学生考试前恰好看到了考卷，虽然分数高，但并没有真正掌握知识。

为了防止这种情况，评测机构通常会严格保密评测题目，甚至采用“考试后公开”的方式——先让所有参赛模型完成考试，考试结束后再公布题目。这样，即使模型“押中了”题目，也不可能事先知道。

另一个“作弊”方式是评测数据集过拟合。如果开发者在开发模型的过程中反复使用同一个评测数据集进行测试，可能会不自觉地针对这个数据集进行优化，导致模型在这个数据集上表现很好，但在其他相似数据集上表现一般。这就像学生针对某一套模拟题反复练习，考试时虽然这套题做得很好，但换一套题就不行了。

解决这个问题的方法是使用多个评测数据集，甚至设置“留出”数据集作为最终检验，不在开发过程中使用。

所以，一个好的AI评测体系不仅要设计好题目和评分方式，还要考虑如何防止各种“作弊”行为，确保评测结果真正反映模型的能力。

AI评测 vs 传统软件测试：本质区别

既然AI也是一种软件，那AI评测和传统的软件测试有什么区别？这是很多初学者都会问到的问题。答案藏在一个词里：不确定性。

确定性与不确定性

传统软件测试面对的是确定性系统。你点击一个按钮，预期它会触发某个事件；你输入一个值，预期它会返回某个计算结果。这些预期是明确的、非黑即白的。如果实际行为与预期不符，那就是一个Bug。

AI模型的行为本质上是概率性的。同样一个问题，你问AI两次，可能会得到两个不完全相同的答案。这并不是AI“出了错”，而是它的正常行为。就像你问两个人同一个开放性问题，他们的回答很可能不一样。

这种不确定性给测试带来了巨大挑战。在传统软件测试中，你可以说“这个功能通过了测试”；但在AI评测中，你只能说“在100次测试中，有85次得到了正确结果”。

什么是正确的？

在传统软件测试中，“正确”的定义是清晰的：程序按照规格说明运行，没有内存泄漏，没有边界错误，没有安全漏洞。

在AI评测中，“正确”的定义变得模糊。考虑这样一个例子：

> 问：请写一首关于春天的诗 > AI答：春风又绿江南岸，明月何时照我还

这首诗“正确”吗？从字面上看，它是一首关于春天的诗，但“明月何时照我还”这句的情感基调更偏向思乡，与春天的欢快氛围似乎不太吻合。可是，从诗歌艺术的角度看，这种情感对比可能恰恰是一种高明的创作手法。

你看，这就是AI评测的困境：很多任务的“正确答案”本身就是模糊的、主观的，甚至是多元的。你很难用简单的“通过/不通过”来判定。

测试的是实现还是能力？

传统软件测试的是“实现”——你的代码是否正确实现了功能需求。测试的是代码，不是“能力”。

AI评测测试的是“能力”——模型是否具有某种智能，是否能够完成某种任务。测试的是模型本身，而不是它背后的实现方式（因为大模型的实现方式通常是不透明的，工程师自己也说不清楚为什么它会给出某个回答）。

这意味着，传统软件测试可以通过代码审查、单元测试、集成测试等手段，追溯到每一个具体的代码逻辑。而AI评测只能从外部行为来推断模型的能力，无法深入到模型的“思维”过程。

测试结果的可重复性

传统软件测试的结果通常是高度可重复的。如果你在相同的测试环境下运行相同的测试用例，你应该得到完全相同的结果。

AI评测的结果往往存在一定的随机性。即使是同一个模型，面对同一个问题，每次的回答也可能略有不同。这可能是因为：

1. 模型本身使用了随机采样（如温度采样）来生成回答 2. 模型内部的计算存在数值精度问题 3. 硬件环境的微小差异可能影响结果

为了解决这个问题，AI评测通常会采用多次运行取平均的方式，或者固定随机种子以确保可重复性。但无论如何，AI评测的结果总会有一定的“置信区间”，而不是一个精确的数字。

Bug的修复方式

在传统软件中，发现Bug后，工程师可以直接定位到问题代码，进行修复，然后验证修复是否有效。这是一个闭环的过程。

在AI中，情况完全不同。如果AI在某个任务上表现不好，你很难说清楚是“为什么”。是训练数据不够？是模型架构不合适？是超参数设置不当？还是有其他什么原因？答案往往是不明确的。

更重要的是，即使你尝试了某种改进（比如增加训练数据、调整模型结构），你也不能保证AI在这个任务上的表现一定会提升。AI的发展很大程度上仍然是经验性的、实验性的，而不是完全由理论指导的。

这就是为什么AI评测如此重要：它是你判断“某种改进是否有效”的主要依据。如果改进后在评测集上的分数提高了，你才有信心说这个改进是有效的。

AI评测在模型生命周期中的位置

理解了AI评测的本质和特点之后，让我们来看看AI评测在整个AI模型生命周期中扮演什么角色。

一个AI模型从想法到产品，通常经历以下几个阶段：

```mermaid graph TD A[需求定义] --> B[数据收集] B --> C[模型训练] C --> D[模型评测] D --> |通过| E[模型部署] D --> |未通过| F[问题定位] F --> C E --> G[线上监控] G --> |发现新问题| H[持续优化] H --> C ```

需求定义阶段：明确评测目标

在开始开发一个AI模型之前，你首先需要明确：这个模型要解决什么问题？它的目标用户是谁？它的核心能力是什么？

这些问题的答案直接决定了后续评测的方向。如果你开发的是一个客服对话系统，你需要关注回答的准确性、礼貌性、解决问题的能力；如果你开发的是一个代码补全工具，你需要关注生成代码的正确率、效率、可读性。

需求定义阶段的产出通常包括一份需求文档和评测指标清单。这份清单会列出所有需要评测的能力维度，以及每个维度的期望水平（也叫“上线门槛”）。

数据收集阶段：准备评测数据集

“巧妇难为无米之炊”。一个好的AI模型需要好的训练数据，同样，一个好的AI评测也需要好的评测数据。

评测数据通常分为三种：

公开基准（Public Benchmark）：这是学术界和工业界广泛使用的标准评测数据集。比如用于评测语言理解能力的GLUE、SuperGLUE，用于评测代码生成能力的HumanEval，用于评测数学能力的GSM8K、MATH。这些数据集经过精心设计，有明确的评测标准和排行榜。

内部评测集（Internal Test Set）：企业自己构建的评测数据集，通常针对公司特定业务场景。比如一个医疗AI公司可能会有自己的医学问答评测集，一个金融AI公司可能会有自己的金融文档分析评测集。

生产数据采样（Production Sample）：从实际生产环境中随机采样的真实数据。这些数据最能反映模型在实际使用中的表现，但也可能存在隐私、偏见等问题，需要谨慎处理。

模型训练阶段：迭代优化的指引

模型训练是一个不断试错的过程。你会尝试不同的模型架构、不同的训练策略、不同的超参数设置。每一次尝试都需要通过评测来判断是否比上一次更好。

在这个阶段，评测数据的作用尤为关键。你需要确保：

1. 训练集和评测集是分开的：如果训练数据包含了评测数据，就会出现前面提到的“数据污染”问题，导致评测结果虚高。 2. 评测集有足够的代表性：评测集应该覆盖模型可能遇到的各种情况，不能过于简单或过于片面。 3. 评测指标是合理的：你选择的评测指标应该真正反映你关心的能力，不能用“准确率”这个单一指标来评价一个对话系统。

模型评测阶段：把关上线质量

当模型训练到一定阶段，你需要做出一个关键决策：这个模型是否可以上线？

答案来自评测阶段。如果模型在各项评测指标上都达到了预设的门槛，那么它就有资格进入下一阶段；如果评测结果显示模型在某些方面还存在明显不足，那么它需要回到训练阶段继续优化。

这个阶段通常会进行离线评测（Offline Evaluation）和在线评测（Online Evaluation）。离线评测使用预先准备好的评测数据集，在受控环境下进行；在线评测则是在真实环境中，让真实用户使用模型，然后收集反馈数据。

模型部署阶段：持续监控的开始

模型上线后，评测工作并没有结束。线上环境是复杂多变的，用户的行为可能与你的预期不同，新的问题可能随时出现。

你需要持续监控模型的各项指标，比如：

• 响应延迟是否在可接受范围内？
• 用户满意度评分是否稳定？
• 是否出现了新的失败案例？

如果监控发现异常，你需要及时分析原因，可能需要回到训练阶段进行调整，或者更新评测数据集，加入新的测试用例。

这就是AI模型的完整生命周期，而评测贯穿其中每一个环节。

离线评测、线上评测与红队测试：三角关系

在AI评测的实践中，有三种主要的评测方式：离线评测、线上评测和红队测试。它们各有侧重，相互补充，共同构成了完整的评测体系。

离线评测：在受控环境下的系统测试

离线评测是最基础也是最常用的评测方式。它使用预先准备好的评测数据集，在开发环境中对模型进行全面测试。

离线评测的优势在于：

1. 可控性强：你可以在完全受控的环境下进行测试，不受外界干扰。 2. 可重复：你可以多次运行相同的测试，确保结果稳定。 3. 覆盖广：你可以设计覆盖各种边界情况和corner case的测试用例。 4. 成本低：不需要真实的用户参与，成本相对较低。

离线评测的劣势在于：

1. 数据集可能过时：评测数据集是提前准备好的，可能无法完全反映当前的用户需求和场景。 2. 无法捕捉长尾问题：一些罕见但重要的问题可能在有限的评测数据集中被遗漏。 3. 与真实体验存在差距：在离线环境下表现好的模型，在真实环境中不一定能让用户满意。

线上评测：在真实环境中的用户反馈

线上评测是将模型部署到真实环境中，让真实用户使用，然后收集反馈数据来评估模型表现。

线上评测的方式包括：

A/B测试：将用户随机分成两组，一组使用A模型，一组使用B模型，然后比较两组的用户行为指标（如点击