AI评测导论：当机器需要被'打分'时

第 1 章：AI评测导论：当机器需要被"打分"时

AI系统的行为是否"正确"，该如何判断？这个看似简单的问题，构成了本书的全部起点。当你在手机上看一段短视频推荐，在课堂里使用一个智能学习助手，向客服机器人询问退换货流程，或者让一个图像识别程序帮助你识别一株植物——这些场景的背后都存在一个无法回避的事实：系统的下一步输出并不确定，系统能否按预期完成任务也没有简单的"是"或"否"的答案。我们必须为这类系统建立一套专门的"打分"机制，才能让它走出实验室，进入真实世界，并最终被社会所接受。这就是AI评测工程要解决的核心问题。

1.1 当机器会"猜答案"：传统软件测试为何失灵

1.1.1 一个直觉性的对比

让我们先从一个贴近日常生活的例子说起。假设你正在使用一款计算器程序，输入"2 + 2"，它输出"5"。这是一个"错误"——传统软件测试会立刻把它标记为缺陷，因为输出与预期不符，整条流水线触发告警，工程师进入排查。传统软件建立在确定性逻辑之上：给定的输入对应的输出应当被精确指定。`if (a == b) return true; else return false;`——程序的行为由设计者明确规定、可以完全枚举。即使在涉及浮点数精度的极端边界，软件工程师也会通过等价类划分、边界值分析等方法，对每一条可能的执行路径进行验证。"通过/失败"（Pass/Fail）这种二元判定，足以描述绝大多数传统软件的质量状态。

然而，当同样的"二元判定"思路被机械地套用到AI系统时，会发生什么呢？我们以一个已经被广泛使用的大语言模型（LLM）为例。给定问题"请用一句话介绍爱因斯坦提出的相对论"，模型可能在不同的时间给出不同的回答：

> 回答A：相对论是爱因斯坦在 20 世纪初提出的物理学理论，分为狭义相对论和广义相对论，揭示了时间、空间与引力的本质关系。 > > 回答B：爱因斯坦认为，物体的运动会让时间变慢，这种现象在高速运动时尤其明显，这就是相对论的核心思想。 > > 回答C：相对论告诉我们，光速是宇宙中最快的速度，任何物体都无法超越它。

三段回答在内容正确性、表述精确性、信息密度上都存在差异，但都不能算作"错误"。如果用传统测试的二元判定，我们很难认定回答B"不及格"——它省略了广义相对论，引入了"时间变慢"这一可能让低龄读者混淆的不严谨表述，但本质上是合理的科普。这意味着，传统软件测试的"对错"框架无法完整描述AI系统的质量。

1.1.2 四个维度的本质差异

传统软件测试与AI评测之间的差异，远不止"概率性 vs 确定性"这一条。下面从四个维度展开分析，这四个维度共同回答了"AI评测为什么必须独立成学"这一根本问题。

第一，逻辑确定性 vs 概率输出。 传统软件的行为由离散的逻辑门构成，每一条指令的执行结果都可以在理论上事先枚举。AI系统的输出则来自概率分布——同一段文本、同一幅图像，经过无数次前向计算，可能落在分布的不同采样点上。这意味着评测对象不能被简化为"输出一致即正确"，而要刻画"输出落在合理分布内即合格"。

第二，测试用例可穷举 vs 输入空间开放。 传统软件的输入域可以通过等价类划分等技术被有效压缩，但开放域语言模型面对的可能输入是人类语言的全体——这是一个近乎无穷的集合。评测不可能去"穷举"所有输入，而必须依赖统计意义上的代表性样本，并对分布外（Out-of-Distribution，OOD）样本具有鲁棒的判断能力。

第三，规格可定义 vs 行为涌现。 一段普通的图像处理代码，其行为完全由开发者预先设计。AI系统的能力则常常在训练过程中"涌现"——开发者设定的目标函数里并没有显式要求模型学会某种能力，但模型在数据规模超过阈值后突然表现出这种能力。这意味着评测必须能够识别未曾预设的能力与失败模式，并对"未知能力"进行有意义的分级。

第四，单一系统 vs 多组件耦合。 传统软件的质量主要由自身代码决定，而现代AI系统往往涉及数据、训练框架、模型结构、提示工程、对齐策略、外部工具等十多个相互耦合的子模块。当下游表现不佳时，问题究竟出在数据噪声、训练不稳定、提示词设计，还是对齐偏差？这要求评测体系支持精细的归因分析，而不仅仅是给出最终的"及格分"。

1.1.3 一个延伸的类比：从PISA考试到ImageNet挑战赛

为了让这个抽象问题更具体，让我们引入两个跨领域的类比，它们都涉及"系统化的可比评分"这一理念。

国际学生评估项目（PISA）是经济合作与发展组织（OECD）发起的一项跨国学生评估计划。它不是简单地测试学生记住了多少知识点，而是考察 15 岁学生运用阅读、数学、科学知识解决现实问题的能力。每个学生被要求完成若干现实情境下的开放性问题，他们的回答由经过培训的评分员按照事先制定的"评分标准"进行打分。PISA 的成功告诉我们三件事：第一，复杂能力必须通过专门的测评工具来刻画；第二，评分标准必须足够详细，以使不同评分员之间的判断具备一致性；第三，测评必须定期重复并公开结果，从而让教育政策的迭代有据可循。

ImageNet 视觉识别挑战赛则展示了另一条路径。它通过构建一个大规模标注图像数据集，定义明确的分类任务（"图像中是否包含某个类别"），让来自全球的研究团队在统一规则下训练模型并提交结果，依据 Top-5 准确率排出名次。ImageNet 的成功提示我们：当评测基准（benchmark）足够大、足够标准化，它就能成为整个领域的"共同语言"，引导研究资源投入到真正有意义的方向。

PISA 侧重"人类开放式输出"的质量评估，ImageNet 侧重"机器封闭式输出"的能力比较。AI评测工程需要同时借鉴这两种思路，针对不同任务类型构建合适的评分体系。这是本书后续章节反复回到的一个主题。

1.2 AI系统的四大本质特征

理解了传统软件测试为何失灵之后，让我们把焦点转向AI系统本身。本节将系统性地提炼AI系统在评测视角下的四大本质特征：概率性、数据依赖性、开放性与涌现性。这四大特征并非互相独立，它们共同决定了一个AI系统为什么需要被以特殊方式"打分"。

1.2.1 概率性：分布而非单点

任何接触过现代深度学习模型的读者都会意识到，模型并非在执行确定性的查表操作，而是在对概率分布进行采样。以自回归语言模型为例，在生成下一个 token 时，模型输出的是整个词表上的概率分布，文本生成器从这个分布中选出一个 token 作为下一个字。这种机制带来了三个评测上的新挑战。

第一个挑战是单次评测的不稳定性。如果只用一道题目、一次提问来评估模型，那么任何一道题的随机性都将被放大到整个评估结论里。这就是为什么严肃的评测都会采用"足够多次重复"或"足够多样本"的原则，使用平均分、置信区间或自助法（bootstrap）等统计工具来表达结果。

第二个挑战是"幻觉"现象的检测。语言模型会"一本正经地胡说八道"——它的语气流畅自信，但内容在事实上是错误的。这种现象被称为幻觉（hallucination）。如何系统、自动化地识别幻觉，本身就是评测工程的一项核心难题。我们需要的不只是"它是否回答了问题"，更是"它的陈述是否可被外部知识所验证"。

第三个挑战是采样策略的可变性。即便使用同一模型，temperature、top-p、top-k 等采样超参数的微小调整，都会让同一个 prompt 生成截然不同的回答。评测必须明确锁定采样配置，或在多个配置下报告结果，否则评测结论将无法复现。这一点在第 3 章我们会再次回到。

1.2.2 数据依赖性：模型只是数据的一面镜子

数据是AI系统的"教材"，但与传统教材的不同之处在于：AI系统的"教材"数量极其庞大，且其误差、偏差与盲点会被系统以难以察觉的方式继承下来。

我们把这一特征拆成三个层面理解。

第一层是数量级。 一个具有 700 亿参数的现代大语言模型，训练数据量通常以万亿 token 计，这意味着评测不仅要关心"模型在特定问题上的表现"，更要关心"模型面对训练数据所代表的世界时，表现出的整体倾向"。

第二层是质量分布。 训练数据中混杂着错误标注、低质量文本、带有偏见的样本。模型在这些样本上训练后，可能会内化其中的偏差。一个典型的例子是图像分类器将某些族裔的脸部误判为"嫌疑犯"的概率显著高于其他族裔——这不是模型"主动歧视"，而是训练数据中存在的统计偏差被模型习得并放大。

第三层是分布漂移。 真实世界中，数据分布是随时间漂移的。今天流行的网络用语，明天可能已经过时；去年未被讨论的公共卫生事件，今年成为热点。AI系统在部署后，数据分布会发生持续变化，模型的表现也会随之变化。评测必须能够识别这种漂移，并给出明确的预警。

1.2.3 开放性：边界由谁来划定

传统软件的"合法输入"由 API 文档明确规定，越界输入会被系统拒绝。AI系统的输入边界则常常是开放的——一个客服机器人可能面对用户的各种刁钻问题：一个用户可能询问退货政策，另一个用户可能要求机器人"帮我写一首诗"，第三个人可能试探系统是否会给出危险信息。

这种开放性意味着评测者不能仅在"典型用例"上做评估，而必须主动覆盖典型用例 + 边缘用例 + 越界用例三大类。我们将在第 5 章专门讨论这一主题的红队测试（red-teaming）方法。

开放性还体现在任务本身的开放性。比如"将一段文字翻译得更通顺"，这句指令本身没有规定具体规则；"为这篇论文写一段摘要"，所要求的字数、风格、重点都可能因读者而异。评测这种开放式输出，需要评测体系具备灵活的尺度——既要能识别"基本未完成"的失败，也要能识别"完成度高但有瑕疵"的差异。

1.2.4 涌现性：能力在某个阈值上突然出现

"涌现"是当代AI研究中一个具有争议但无法回避的术语。它指：当模型规模、训练数据量或训练步骤超过某个阈值后，模型会突然表现出在较小规模下完全没有的能力。例如，一个小型语言模型可能只能进行简单的拼写检查，但当规模提升若干数量级后，同一架构的模型突然能够解出小学数学题、完成基础编程任务、进行多步推理。

涌现性为评测带来了双重难题。

正向的难题是"我们不知道模型会什么"。 一旦模型规模或训练范式发生变化，原本看似简单的任务可能突然从"不及格"跃升到"优秀"，而这种跃升很难事先预测。这要求评测体系保持开放性，定期重新评估，而不是固守陈旧的基准。

反向的难题是"虚假涌现的识别"。 一些看似涌现的能力，可能只是因为评测指标在某个尺度上的非线性设计造成的假象。在多选题上随机猜测也能得到 25% 的准确率，如果一个模型从 24% 跃升到 26%，看似"涌现"了，但如果我们把评分换为加权指标，跃升可能消失。严肃的评测必须警惕指标层面的伪涌现。

1.3 评测在AI生命周期中的位置

把AI评测看作一个"考试"是片面的。一个完整的评测体系应贯穿AI系统的整个生命周期——从训练尚未开始，到模型已经退役。下面我们把AI系统的生命周期划分为三个阶段，并分别讨论评测在其中的位置。

1.3.1 训练前：评测数据与基线

很多人以为评测是从模型训练完成后开始的，实际上，评测的第一项工作发生在模型训练之前。这一阶段评测的核心对象是数据。

对于一个有监督学习任务，评测者首先要回答的问题是：数据集是否值得信赖？ 这涉及若干子问题：

• 数据是否覆盖了目标应用场景的多样性？
• 标注是否准确、一致，是否存在系统性偏差？
• 是否存在敏感属性（性别、种族、地域）的统计失衡？
• 不同来源的数据之间是否协调一致？

回答这些问题需要一套专门的"数据评测"框架，包括数据卡片（Data Card）、数据营养标签（Nutrition Label）、可识别偏差的统计检测方法等。本书将在第 8 章专门讨论这一主题。

同时，训练前的评测还包括基线建立。基线（baseline）是后续比较的参照系——例如，对一个问答系统，其基线可能是一个最简单的"从训练集检索最相似问题并返回答案"的实现。一个新训练的模型如果不能显著优于最简单的基线，那么无论它在公开榜单上多么亮眼，在工程上都没有价值。基线的设定本身就是一种评测能力。

1.3.2 训练中：中间检查与信号捕捉

训练过程中的评测同样不可或缺。最常见的做法是在每个训练 checkpoint 上跑一次验证集，得到一条随训练步数变化的曲线。如果曲线呈现"先上升后下降"的形态，那么过早停止可以防止过拟合；如果曲线一直没有明显上升，则需要回溯检查训练超参数、数据质量或模型架构。

训练中评测的另一个用途是早停与模型选择。当存在多个候选模型时（例如不同的解码策略、不同的微调数据集），评测提供了客观选择的依据。

此外，训练中评测还需要捕捉一些"隐性信号"。例如：

• 模型在简单样本上的表现是否过早饱和？
• 模型在对抗样本上的表现是否出现急剧下降？
• 模型的输出多样性（diversity）是否随训练逐步降低？

这些信号往往不会体现在最终指标里，但能告诉工程师"模型正在以什么方式演进"。

1.3.3 部署后：持续监控与价值对齐

模型部署到生产环境，并不意味着评测工作的结束——恰恰相反，这是另一段长期、复杂工作的开始。部署后评测通常包含三类任务。

第一类是线上 A/B 测试。将新旧两个版本的模型同时在生产环境中对比，观察关键业务指标的变化。这类评测的最大挑战在于隔离变量，确保观察到的差异确实由模型引起，而不是由流量分布、季节性等因素引起。

第二类是用户反馈挖掘。用户对模型输出的点赞、点踩、纠错、举报都是隐性的评测信号。如何将这些非结构化反馈转化为可量化的指标，是评测工程的重要方向。

第三类是持续对齐校验。AI对齐（alignment）要求模型的行为符合人类价值观，而价值观本身是社会的、不断演进的。模型在上线时已经对齐的偏好，三个月后可能被视为不合时宜。评测必须定期重新审视：模型是否仍然符合当前社会的价值规范。

1.4 评测的五大基本原则

把上述讨论综合起来，本节提炼AI评测必须遵循的五大基本原则。这五条原则不是孤立的口号，而是相互制约、相互支撑的——任何一条被违背，都会让整个评测体系失去工程价值。

1.4.1 客观性

客观性要求评测的结果尽可能少地依赖评测者个人主观感受。一道题给三个评分者，他们应当给出大致一致的分数。客观性看似简单，实现起来却充满挑战——因为许多AI输出本身就是开放式的。提升客观性的常见做法包括：

• 对开放式输出设定明确的评分量规（rubric），把"好答案"分解为若干可独立评判的维度；
• 多人独立评分，去掉极值后取平均，或计算评分者间一致性（Inter-annotator agreement）；
• 引入大语言模型作为"自动评分员"，但保留人工审核作为抽样校准。

1.4.2 可重复性

可重复性要求相同的输入、相同的评测设置应当得出相同的结论。这一点对于AI评测尤为困难，因为模型本身可能存在版本变化——同一个名字的模型，今天与明天的实际表现可能不同。

可重复性的工程含义包括：

• 锁版本（pin versions）：包括模型权重、Tokenizer、推理框架、采样超参数；
• 锁环境（pin environments）：包括硬件、操作系统、深度学习库的版本；
• 提供完整复现脚本：让任何具备条件的研究者都能再现评测结果。

我们将在第 6 章详细讨论这一议题——它是离线基准可信度的基石。

1.4.3 可解释性

可解释性要求评测不仅给出分数，还要给出"为什么是这个分数"。一个模特的 60 分，如果用户只知道总分，不知道这个分是如何构成的，那么这个分数对工程改进的指导价值就接近于零。可解释性要求评测体系具备归因能力：

• 总分可以被分解到不同子任务、不同数据切片、不同难度等级；
• 模型的具体失败样本可被检索、分类、统计；
• 在条件允许的情况下，评测应指出"如果改进 X，预测得分会如何变化"。

1.4.4 安全性

安全性要求评测体系自身不成为风险的来源。一个常见的安全风险是评测数据泄漏：基准里的题目如果原封不动地出现在训练数据中，那么模型在测试时就是"作弊"，评测分数完全失去意义。

安全性还包括：

• 评测过程不应泄露用户隐私数据；
• 评测结果不应被用于歧视或不公平决策；
• 评测体系应识别模型在被越狱（jailbreak）时的脆弱性。

1.4.5 公平性

公平性要求评测体系对来自不同群体、不同语种、不同文化背景的用户具有同等的诊断能力。一个全部由英文语料构成的基准，无法可靠评估一个面向中文用户的模型。一个以某地高考题为主的数学评测，无法反映模型在全球背景下的数学能力。

公平性的具体含义包括：

• 数据覆盖多元：不同方言、不同年龄层、不同社会经济背景；
• 评测指标分群报告：相同指标在性别、地域、设备等切片上的差异；
• 减少评估偏差：避免评测方法本身对某些群体形成系统性的不对等。

这五大原则中，客观性与可重复性是评测体系成为"科学"的必要前提；可解释性是评测结论成为"工程指引"的必要前提；安全性与公平性是评测体系成为"社会基础设施"的必要前提。后续章节中，我们会反复看到这五条原则如何在具体场景中落地。

1.5 全书的四象限框架：从离线基准到业务闭环

在展开全书的方法论之前，本节先介绍贯穿全书的"四象限框架"。这一框架把AI评测工作归纳为四个相互独立又彼此互补的领域：

• **离线基准评测（Offline Benchmarking）**：在受控环境中对模型进行标准化评估，常用于模型选型与版本对比；
• **线上反馈评测（Online Feedback）**：在真实用户流量中收集反馈信号，常用于业务影响评估；
• **红队对抗评测（Red-teaming）**：主动寻找模型的失败与脆弱之处，常用于安全性与公平性评估；
• **业务指标评测（Business Metrics）**：把AI能力转化为商业价值指标，常用于投资决策与产品迭代。

四个象限并非互相替代，而是构成一个完整的闭环。下面用一张流程图展示AI评测在产品生命周期中的位置，以及四个评测方法的协同关系。

```mermaid flowchart TD A[数据准备] --> B[模型训练] B --> C[内部验证] C --> D{是否达到发布门槛} D -->|否| E[迭代改进] E --> B D -->|是| F[预发评测] F --> G[小流量上线] G --> H[全量发布] H --> I[持续监控] I --> J{指标是否出现漂移} J -->|是| K[触发告警与回滚] K --> B J -->|否| I

subgraph 评测体系 X1[离线基准] X2[红队对抗] X3[线上反馈] X4[业务