测度的危机：当AI走出实验室，我们如何知道它是否'好' / The Crisis of Measurement

第 1 章 测度的危机：当AI走出实验室，我们如何知道它是否"好"

The Crisis of Measurement: When AI Leaves the Laboratory, How Do We Know If It's "Good"?

---

引子：凌晨三点的故障复盘

凌晨 3:17，北京西二旗某栋写字楼的 17 层依然灯火通明。技术总监林舟盯着面前的 Grafana 面板——一次线上推理服务的 P99 延迟在过去 90 分钟内从 1.2 秒飙升到 8.7 秒，错误率从 0.3% 跳到 12.4%，而客服侧涌入的"模型答非所问"的客诉正在以每分钟 30 条的速度累积。

这是他们刚刚上线三周的"标杆版本"。在企业内部，所有"权威基准"——MMLU、GSM8K、HumanEval、MT-Bench——上，这个版本都跑出了发布前历史最高的成绩；外部榜单上，它也长期稳居中文模型 Top 3。Leaderboard champion,这就是它在团队内部的绰号。

但此刻，在 200 万真实用户的对话流里，它正在崩溃。

复盘会上，算法负责人提了一个让所有人沉默的问题："我们的评测体系，是不是在系统性地骗我们？"

林舟后来在一份内部备忘录里写下了这段话，被无数同行反复传阅——

> "我们花 6 个月训出的 SOTA 模型，跑赢了所有公开榜单，却在生产环境暴露出我们从未在任何评测集里看见过的能力盲区。我们不是在评测模型，我们是在用一张过期的地图导航一片陌生的海洋。评测 (evaluation) 这个动作本身，正在变成我们最大的认知陷阱。"

这不是某个团队的偶然失误。这是 2023-2025 年整个 AI 行业系统性的危机。本章要讨论的，正是林舟那个问题的完整版本——当 AI 的能力已经超过人类专家的直觉判断时，"评测"这个动作本身是否仍然成立？我们应当如何重新定义"好的 AI"？（*When AI capability has exceeded human experts' intuitive judgment, does the act of "evaluation" itself still hold? How should we redefine a "good AI"?*）

本章将围绕这条主线展开：我们会先回顾过去 70 年评测范式的三次重大跃迁，再剖析 2023-2024 年的"基准崩溃"事件，然后进入评测哲学的深层争论，最后用"免疫系统"这个隐喻和一张成熟度自评表，把这场危机翻译成可执行的工程动作。

---

1.1 三次范式跃迁：从图灵测试到现代基准，每一次跃迁都带来了新的盲区

Three Paradigm Shifts: From the Turing Test to Modern Benchmarks, Each Leap Brought New Blind Spots

评测，从来不是一个中性的"打分"动作。它是一面镜子，照出的不是模型有多强，而是我们当时对"智能"的理解有多深。（*Evaluation is never a neutral "scoring" act. It is a mirror that reflects not how strong the model is, but how deeply we understood "intelligence" at that time.*）回顾过去 70 年，AI 评测经历了三次范式跃迁，每一次跃迁都伴随着主流方法论的兴衰。

1.1.1 第一次跃迁：图灵测试与"模仿游戏"的兴衰

First Shift: The Turing Test and the Rise and Fall of the "Imitation Game"

1950 年，图灵在 *Mind* 杂志上发表那篇划时代的论文 *Computing Machinery and Intelligence*，提出了后来被称为"图灵测试"的思想实验：在不见面的文字对话中，如果人类裁判无法可靠地区分对话对象是人还是机器，那么这台机器就可以被认为是"会思考的"。

这个看似朴素的命题，实际上是第一次把"评测"从哲学思辨变成了可操作的判定程序（*the first time "evaluation" was converted from philosophical speculation into an operational decision procedure*）。它的隐含假设是：智能无法被直接测量，只能通过"行为等价"间接推断（*intelligence cannot be measured directly, only inferred through behavioral equivalence*）。

这一立场统治了 AI 评测将近 50 年。直到 1990 年代，聊天机器人 ELIZA、A.L.I.C.E. 等通过精心设计的"模式匹配 + 关键词重定向"机制，在盲测中骗过了相当比例的非专业人类裁判——但没有人会把它们称作"智能"。图灵测试的最大问题是：它无法区分"理解"与"仿真"（*The biggest problem with the Turing test is that it cannot distinguish "understanding" from "simulation"*）。哲学家 John Searle 用"中文房间"（Chinese Room）论证精辟地指出：操控符号和真正理解符号，是两种根本不同的能力。

更深层的失败在于：图灵测试的评判者是人类，而人类的评判能力本身就是评测的天花板（*The judge in the Turing test is human, and human judgment capability itself is the ceiling of evaluation*）。一旦 AI 的语言流畅度突破了"看起来像人"的阈值，这个测试就饱和（saturated）了——这是我们要反复见到的现象的第一次预演。

1.1.2 第二次跃迁：ImageNet 与"可枚举任务"的黄金时代

Second Shift: ImageNet and the Golden Age of "Enumerable Tasks"

2012 年，AlexNet 以 15.3% 的 Top-5 错误率（比第二名低 10.8 个百分点）横扫 ImageNet ILSVRC 挑战赛，标志着深度学习的崛起，也标志着评测范式的第二次重大转折：从"行为等价"转向"任务精度"。

这一次跃迁背后的方法论假设是：智能可以分解成一系列可枚举、可标注、可量化的子任务（*intelligence can be decomposed into a series of enumerable, annotatable, quantifiable subtasks*）。ImageNet 提供了 1400 万张标注图像、1000 个类别、一个固定测试集和一份公开排行榜。这套"数据集 + 标签 + 测试集 + 排行榜"（*dataset + labels + test set + leaderboard*）的四件套，迅速成为整个 AI 领域的标准评测基础设施。

从 2012 到 2020，ImageNet 范式带来了 CV 领域空前的繁荣：物体检测、语义分割、姿态估计、行人重识别，一个个细分任务被分割、被标注、被刷榜、被超越。但问题也随之而来：

1. 可枚举意味着不完整——任何一个被精心定义的标注体系，都无法覆盖真实世界的全部变异； 2. 排行榜意味着过拟合——当一个测试集被反复使用 5 年、10 年，它必然从"未知样本"变成"已知样本"； 3. 精度意味着局部——Top-5 准确率衡量的是"模型是否在某张图上选对了前 5 个类别"，但完全不关心这个答案是不是用户真正想要的。

ImageNet 时代留下的最大遗产，不是那些具体的网络结构，而是一整套评测工程基础设施（evaluation infrastructure）：标注平台、众包流水线、训练-验证-测试的严格分离、公开排行榜、置信区间与显著性检验。这一套工程基建直到今天仍然支撑着大模型评测。

1.1.3 第三次跃迁：大模型基准与"能力即一切"的悖论

Third Shift: LLM Benchmarks and the Paradox of "Capability Is Everything"

2020 年 GPT-3 发布后，评测的对象从"专项任务模型"变成了"通用基础模型"（*the object of evaluation shifted from "task-specific models" to "general-purpose foundation models"*），评测范式也迎来了第三次跃迁。

这一次的代表作包括 GLUE/SuperGLUE（自然语言理解）、MMLU（多任务知识，57 个学科）、HumanEval（代码生成）、GSM8K（数学推理）、MT-Bench（多轮对话）、BigBench-Hard（极端推理）、AGIEval（人类考试题）等。它们的设计哲学可以概括为一句话：用多样化的固定测试集去逼近"通用智能"这个不可直接观测的总体（*use diverse fixed test sets to approximate the unobservable totality of "general intelligence"*）。

方法论上是进步的：从单一图像分类跨越到 57 个学科的选择题，从单轮生成跨越到多轮对话，从表面形式跨越到推理过程。但它也继承了 ImageNet 时代所有的脆弱性，并且因为规模更大、影响更广而将其放大到了前所未有的程度（*it inherited all the fragility of the ImageNet era and amplified it to an unprecedented degree because of its larger scale and wider impact*）。

具体而言，这一代基准存在五个系统性问题，我们将在 1.2 节展开：

• **分布漂移 (distribution shift)**：测试集来自的训练数据时空和现实部署时空严重脱节；
• **过拟合评估集 (overfitting to the evaluation set)**：随着基准被反复刷，模型在不知情的情况下已经"背过"了测试题；
• **训练-测试泄露 (train-test contamination)**：测试样本或其语义副本进入预训练语料；
• **能力单维化 (capability unidimensionalization)**：把多维智能压缩成单一分数；
• **缺乏价值维度 (absence of value dimensions)**：有害性、公平性、诚实性等关键维度要么缺失，要么严重滞后。

每一次跃迁都解决了上一代的部分问题，但又引入了新一代的盲区。这是评测史的一条铁律。（*Each leap solved some problems of the previous generation but introduced new blind spots. This is an iron law of evaluation history.*）理解这条铁律，才能理解我们今天站在何处。

---

1.2 基准崩溃：2023-2024 年的"测度失灵"事件

Benchmark Collapse: The "Measurement Failure" Events of 2023-2024

如果要为 2023-2024 年的 AI 评测找一个关键词，那一定是"饱和 (saturation)"。短短 18 个月内，几乎所有主流基准都被打成了高分游戏，迫使研究者一个接一个地推出难度更高的新基准——但新基准的寿命似乎也越来越短。

1.2.1 MMLU 的坠落：从 89 分到无聊

The Fall of MMLU: From 89 Points to Boredom

MMLU（Massive Multitask Language Understanding）涵盖 57 个学科、从抽象代数到世界宗教、近 16,000 道四选一，被设计者 Hendrycks 等人称为"接近人类博士水准"的考试。2020 年 GPT-3 在 MMLU 上仅得 43.9%；2022 年底 GPT-4 公布为 86.4%；2024 年 GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro 等模型普遍跨过 88% 的门槛；2025 年第一季度的领先模型已超过 90%——而人类专家基线大约在 89.8%。

当一个基准上最强模型的分数开始超过人类专家的中位数，这个基准就已经失去了区分度（*When the strongest model on a benchmark begins to exceed the median human expert, that benchmark has lost discriminative power*）。MMLU 的尴尬在于：它衡量"知识"的多选覆盖能力，但它无法判断这个"知识"是真正理解后的灵活运用，还是对训练语料的精细模式匹配。MMLU-Pro 应运而生，把题目从四选一扩展到十选一、加入需要多步推理的题目；MMLU-Redux 进一步清洗了噪声标签。但吊诡的是，就在替代版本发布的同时，社区报告 MMLU 测试样本已经被发现存在于多个模型的训练数据中——这是我们接下来要详谈的"污染 (contamination)"问题。

1.2.2 HumanEval 的命运：从 67% 到 95%，仅用了 24 个月

The Fate of HumanEval: From 67% to 95% in Just 24 Months

HumanEval 是 OpenAI 在 2021 年发布的代码生成基准，包含 164 道手写编程题，以 `pass@k`（生成 k 个解中至少有一个通过所有测试用例的比例）为主要指标。2021 年最强模型约 67% pass@1；2023 年 GPT-4 公布为 67%；2024 年开源模型如 Qwen2.5-Coder-32B-Instruct 跨过 88%；2025 年部分专有模型已突破 95%。

但代码评测的"刷分"问题比 MMLU 更严重，因为代码可以执行、可以自检、可以被强化学习直接优化。SWE-bench、LiveCodeBench、Codeforces Rating 等更接近真实工程环境的基准被相继推出，结果无一例外地在 12 个月内也被超越。这意味着：基于"题目 + 单元测试"的标准评测范式，在 AI 已经能写出自测代码、能在 ICPC 拿到金牌级别的时代，正在失效（*This means: the standard evaluation paradigm based on "problems + unit tests" is failing in an era when AI can write self-tests and achieve gold-medal performance at ICPC*）。

1.2.3 GSM8K 与数学评测的"军备竞赛"

GSM8K and the "Arms Race" of Math Evaluation

GSM8K 由 8500 道小学应用题构成，因难度适中、解题过程可被显式 chain-of-thought（CoT）监督，成为数学推理评测的代名词。2022 年 GPT-3.5 + CoT prompt 已经能跑出 70%+；2024 年主流模型普遍超过 92%。但很快学界发现，通过在训练数据里加入"我们自己的 CoT 解题样本 + 自训练的逐步推理"模型可以在 GSM8K 上取得虚假繁荣。MathBench、Putnam-AI、FrontierMath、AIME 2024 等难度更高的基准被推出。

特别值得注意的是 EpochAI 在 2024 年底发布的 FrontierMath，它由数学研究者手工构造、在发布时宣称"主流模型得分均低于 2%"。然而，仅在发布 4 个月后，多个团队反馈这一分数已经被刷到 30%+——而更令人震惊的是，其中相当一部分提升来自于训练数据与 FrontierMath 公开题目的语义重叠（*the semantic overlap between training data and FrontierMath's public problems*）。

1.2.4 一个核心问题：模型基准与生产表现的脱钩

A Core Question: The Decoupling Between Model Benchmarks and Production Performance

如果说"基准被刷到爆表"还只是学术问题，那"榜单冠军变成生产灾难"就是商业问题。这就是引子里林舟团队遇到的困境——这种现象不是孤例。

在 2024 年 Stanford AI Index 报告、多个 ML 社区调研、以及 OpenAI 内部公开访谈中，研究者反复观察到：公开榜单排名与下游业务指标之间的相关性，正在随着时间推移显著弱化（*the correlation between public leaderboard rankings and downstream business metrics has been weakening significantly over time*）。Yann LeCun、Andrej Karpathy 等人都公开指出过这一点。

这种现象背后的原因很复杂，但可以被工程化地拆解为四个机制，我们来看：

---

1.3 测度失灵的工程学解释：分布漂移、过拟合与数据污染

The Engineering Explanation of Measurement Failure: Distribution Shift, Overfitting, and Data Contamination

为什么好端端的评测会失效？不是模型不努力，而是评测系统本身在和模型玩一场不公平的游戏（*The evaluation system itself is playing an unfair game with the model*）。下面四个机制共同作