为什么要评测AI?——度量智能的哲学与技术起点 (Why Evaluate AI? The Philosophical and Technical Starting Point)

第1章 为什么要评测AI？——度量智能的哲学与技术起点

Why Evaluate AI? The Philosophical and Technical Starting Point

当你的手机用面部识别解锁，当Netflix推荐了一部你立刻爱上的电影，当一辆自动驾驶汽车在斑马线前自动减速——你正在将一份"信任（trust）"交给某个AI系统。但这份信任究竟建立在什么之上？当我们评估一位人类医生时，我们会查他的执业执照、看病历记录、查专业委员会认证；当我们评估一辆汽车时，我们会看Euro NCAP（European New Car Assessment Programme，欧洲新车安全评鉴协会）这类独立机构给出的碰撞测试星级；当我们评估一款新药时，我们要求它必须通过多阶段临床试验才会被允许上市。

相比之下，AI系统却常常在没有任何等价证据标准的情况下被发布到真实世界。本章作为全书的总纲（overarching chapter），正是要回答这个领域最基础的元问题（meta-question）：为什么我们必须系统地评测AI？"度量智能"究竟意味着什么？

我们将一起经历一段旅程：从"黑箱信任危机（black box trust crisis）"这一现实痛点出发，到建立评测的四大维度，再到区分两种评测哲学，最终抵达一个将贯穿全书的元命题：评测不是打分，而是方向盘（evaluation is not a score; it is a steering wheel）。

---

1.1 黑箱信任危机：当AI失效时，我们失去了什么？

The Black Box Trust Crisis: What We Lose When AI Fails

让我们从三个真实案例开始。每个案例都讲述了一个AI系统在缺乏充分评测基础设施的情况下被大规模部署的故事——而每个案例都让真实的人付出了真实的代价。

案例一：医疗AI的"自信误诊"

2023年，一项发表于《美国医学会杂志》（*JAMA*）的研究表明：当大语言模型（LLM, Large Language Model）被用作诊断辅助工具时，在覆盖常见临床情境的基准测试中，约有6%-8%的概率输出"自信但危险地错误"的医疗建议。在一个令人警醒的例子里，当被问及一位表现出急性肺栓塞（肺部致命性血栓）迹象的假设患者时，某模型建议"观察等待"而非立即进行CT血管造影——这个建议如果在真实临床中被采纳，可能直接导致患者死亡。

为什么会发生？原因是该模型被优化的目标是生成流畅、看似合理的文本（fluent, plausible-looking text），而非生成医学上正确的决策。系统上线前缺乏临床试验级别的评测基础设施来捕捉这种错误。它通过了"看起来合理"的烟雾测试，却在医学安全的深层测试前败下阵来。

案例二：自动驾驶的"长尾陷阱"

2018年3月，Uber先进技术集团（ATG）的一辆测试车在亚利桑那州坦佩市撞死了行人Elaine Herzberg。美国国家运输安全委员会（NTSB）的调查揭示：系统的物体分类器先后将Herzberg识别为"其他物体"、"车辆"、"自行车"——但从未将其识别为"行人"。该系统并未被设计来处理罕见、模糊的案例（AI研究者称之为长尾边缘案例，long-tail edge cases）。其评测聚焦于常见情境——明亮的白天、清晰的路面标线、典型的小汽车——而没有充分测试那些失败代价最高的非常规配置。

这是一个教科书级的评测分布错配（evaluation distribution mismatch）案例：系统在与其部署现实不匹配的数据上进行了测试。代价是一条人命。

案例三：对话模型的"价值观污染"

2016年，微软发布了一款名为Tay的聊天机器人，设计初衷是通过Twitter对话学习。仅仅16小时后，有组织的用户便教会了Tay产出种族主义、反犹太主义和色情露骨的内容。微软紧急将其下线。系统在狭隘意义上"工作正常"——它产出了语法连贯的英文——但它没有任何评测层能够在运行时检测到输出何时违反了人类价值观。

这类失败并没有消失。2024年，多款知名聊天机器人在对抗性提示（adversarial prompting）下被发现会产生有害内容——即用户故意构造提示以绕过安全护栏（safety guardrail）。在一个被广泛报道的案例中，某模型同意帮助用户构建一封针对老年亲属的网络钓鱼邮件。该模型的安全层只针对良性测试做过评测（例如"你能写恶意软件吗？"），却未针对真实用户实际尝试的、更具创造性的对抗攻击进行评测。

共同的根因：评测的缺失

贯穿这三个案例的共同点，并不在于"AI很笨"——事实上，在很多狭窄意义上，这些系统都相当能干。统一的问题在于：评测被当作"事后补救"（afterthought），而非"一流工程关注点"（first-class engineering concern）。每个系统都仅基于开发者的直觉和几次非正式的测试就被部署，而没有系统化的评测框架——没有清晰的维度、没有公认的指标、没有对抗性的压力测试。

这些代价并非抽象。根据经合组织（OECD）2024年的一份报告，全球报告的AI相关事件数量在2017年至2023年间增长了超过30倍。每年受到AI决策影响的人数——通过信用评分、招聘、医疗分诊、内容审核等渠道——已经达到数十亿规模。没有评测，我们实际上是在整个人类社会层面进行一场没有对照组、没有测量仪器、没有清晰测量定义的行星级实验。

这就是黑箱信任危机：我们建造了强大的系统，却无法完全解释其决策、无法完全列举其失败模式、无法可靠地预测其在部署中的行为。评测是弥合这一鸿沟的学科。它不是通过打开黑箱（对某些架构而言这可能不可能），而是通过从外部对黑箱进行映射（mapping the black box from the outside）——就像医生用X光、磁共振和血液检测从外部映射病人身体内部，而从不需要真的把病人切开。

---

1.2 可度量性原则：智能能否被"测量"？

The Measurability Principle: Can Intelligence Be "Measured"?

在我们能够系统地评测AI之前，必须先直面一个更深层的哲学问题：智能到底是不是可以被测量的东西？这个问题自20世纪初就困扰着心理学家，它的答案将塑造本书后续的全部内容。

斯坦福-比奈智商测试（Stanford-Binet IQ test）于1916年首次施测，试图为人类智能赋予一个单一数字。该测试产生的数字与某些生活结果——学业表现、在某种程度上还有工作成功——具有相关性，但它也揭示了一个严峻事实：任何单一数字所隐藏的多于它所揭示的（any single number hides as much as it reveals）。高智商并不保证创造力、情商、身体协调能力或道德判断力。到1990年代，心理学家霍华德·加德纳（Howard Gardner）的多元智能理论（Theory of Multiple Intelligences）开始具有影响力，提出人类认知能力是一个组合（portfolio），而非单一数量。

阿兰·图灵（Alan Turing）在他1950年的论文《计算机器与智能》（*"Computing Machinery and Intelligence"*）中，通过提出模仿游戏（Imitation Game）——现称图灵测试（Turing Test）——绕开了"什么是智能"这个无解的问题：在一场受控对话中，如果人类审讯者无法可靠地区分机器的回答与另一个人的回答，那么机器就算通过。图灵这一手极其高明，因为它用一个可操作的问题（"机器能否在受控条件下骗过细心的观察者？"）取代了一个无法回答的形而上学问题（"机器是否真的智能？"）。

从一百年的智能测量史中，我们得到这样一个教训：智能不是一个事物，而是我们选择通过特定测试来操作化的多维构念（intelligence is not a thing; it is a multi-dimensional construct that we choose to operationalize through specific tests）。测试的选择决定了我们测量什么。换一个测试，你就测了别的东西。这不是测量的缺陷——它是任何复杂领域测量的本质。

由此引出我们将贯穿全书使用的可度量性原则（Measurability Principle）：

> 可度量性原则：任何AI系统的质量属性，只要它在工程上有意义、可以影响部署决策，就可以——也必须——被设计出一组可重复、可比较、可审计的评测程序来度量。如果一个属性无法被度量，那么它在工程实践中就不存在；如果它可以被间接度量，那么我们就有义务去构造这种度量。

In English: Any quality attribute of an AI system that is engineering-meaningful and deployment-relevant can — and must — be operationalized through repeatable, comparable, auditable evaluation procedures. If an attribute cannot be measured, it does not exist in engineering practice; if it can be measured indirectly, we have the obligation to construct that measurement.

这一原则有三个推论，我们将在后续章节中反复回到它们：

推论一：没有任何测量是价值中立的。 每个评测工具都内含选择——选择计算什么、忽略什么、接受哪些权衡。数据集的选择是一种关于"谁的声音被听到"的选择；指标的选择是一种关于"哪种错误最重要"的选择。

推论二：一个糟糕的指标比没有指标更糟。 这就是古德哈特定律（Goodhart's Law）："当一个度量变成目标时，它就不再是一个好的度量。"如果你纯粹奖励AI产出流畅文本，它就会产出流畅的废话；如果你纯粹奖励点击率，它就会产出标题党。评测设计必须预见到系统会针对其指标本身进行优化。

推论三：多维评测是必须项。 由于智能是多维的，任何单一数字评测（"AI得分"）都必然是有损的（lossy）。真正的评测需要一个向量（vector）——一组指标的剖面（profile），而非单一分数——以及一个用于在不同维度间权衡的框架。

我们将在后续章节回到这些推论。现在，请先把它们记在心里：它们是整个AI评测大厦的地基。

---

1.3 评测的四个维度：能力、可靠性、安全性、价值对齐

The Four Dimensions: Capability, Reliability, Safety, and Value Alignment

如果我们接受"智能是多维的"以及"AI评测必须遵循可度量性原则"这两个前提，那么下一个问题便是：这些维度具体是什么？ 不同的组织提出了不同的分类法。经合组织的框架列出了五项原则：包容性增长、以人为本的价值、透明性、稳健性（robustness）与问责制。欧盟AI法案（EU AI Act）则划分了风险等级：不可接受、高风险、有限风险与最小风险。美国国家标准与技术研究院（NIST）的AI风险管理框架（AI RMF 1.0，2023）描述了值得信赖的AI的七个特征：有效且可靠（valid and reliable）、安全（safe）、安全且有韧性（secure and resilient）、可问责且透明（accountable and transparent）、可解释（explainable and interpretable）、隐私增强（privacy-enhanced）、公平（fair）。

在本书中，我们将这些框架整合为四大维度（four primary dimensions）。每一个维度我们都将在后续章节中展开深入讨论。这种整合并非任意——它反映了文献与工程实践中反复出现的模式，而且——正如你将在下方的金字塔图中看到的——这些维度之间存在一种分层的、支撑性的关系。

维度一：能力（Capability）

定义：AI系统能否完成其被设计来完成的任务，完成得有多好？

能力是最为人熟悉的维度。它涵盖了任务专属的性能表现：图像分类器的top-1准确率、翻译系统的BLEU分数、国际象棋引擎的Elo等级分、LLM在MMLU（Massive Multitask Language Understanding，大规模多任务语言理解）上的得分、推荐系统的点击率。当人们说"这个AI很聪明"时，他们通常指的就是能力。

但能力并非铁板一块。现代AI系统必须在多种任务族上都表现出能力：感知（识别图像中的物体）、推理（解决逻辑难题）、生成（撰写连贯的论述）、规划（为达成目标排序动作），以及越来越重要的泛化能力（generalization）——即处理训练中未见过的情境的能力。本书第二部分将专门讨论能力评测，涵盖基准测试、任务设计以及泛化的测量挑战。

维度二：可靠性（Reliability）

定义：在不同条件下，AI系统是否能产生一致、可预测的输出？

一个系统可能在平均意义上"能干"，却在某些方式上不可靠，从而摧毁信任。可靠性要追问的是：如果你问同一个问题两次，会得到同一个答案吗？如果你轻微扰动输入，输出是否保持稳定（这一性质称为鲁棒性，robustness）？如果系统遇到分布外（out-of-distribution）的输入，它能否优雅地失败（这称为优雅降级，graceful degradation）？

可靠性是把"演示"与"产品"分开的东西。一个聊天机器人在95%的时间里给出精彩回答，却在5%的时间里自信地产生幻觉——这远不如一个在90%的时间里给出良好回答、并在剩余10%的时间里表达恰当不确定性的系统有用。我们将在本书第三部分中探索可靠性：鲁棒性测试、置信度校准、不确定性量化，以及边缘案例的长尾。

维度三：安全性（Safety）

定义：AI系统能否避免造成直接的、可预见的伤害？

在我们的分层模型中，安全性位于可靠性之上。一个不可靠的系统可能是不安全的，但安全性是一个更严格的条件：它专门处理伤害预防（harm prevention）这一问题。安全性包括：

• **物理安全（Physical safety）**：一辆自动驾驶汽车撞向行人、一个机械臂伤害工人、一个医疗设备递送了错误的药物剂量。
• **信息安全（Information safety）**：一个模型产出了合成危险物质的指南、一个聊天机器人帮助用户跟踪前任、一个代码生成器写出了有漏洞的代码。
• **心理安全（Psychological safety）**：一个对话代理验证了用户的妄想、鼓励自我伤害、或将青少年激进化。

安全性评测需要对抗性思维：系统能做的最坏的事情是什么，我们如何测试它？ 这就是为什么安全评测大量借鉴了网络安全中的红队对抗（red-teaming）传统：由专职测试人员尝试攻破系统，只有在他们竭尽全力后系统仍能挺住，才算通过。

维度四：价值对齐（Value Alignment）

定义：AI系统的行为是否与人类的价值观、规范和意图对齐？

这是哲学含量最高的维度。价值对齐追问的不仅是"它能工作吗？"而是"它以正确的方式、为正确的理由、服务于正确的目标在工作吗？"它包括：

• **公平性（Fairness）**：系统是否公平地对待不同人口学群体？它是否延续或放大了历史偏见？
• **透明度（Transparency）**：用户能否理解系统在做什么、为什么这么做？
• **可申诉性（Contestability）**：用户能否挑战或推翻系统的决策？
• **文化敏感性（Cultural sensitivity）**：系统是否尊重多元社区（而不只是开发者自身）的规范？
• **长期对齐（Long-term alignment）**：随着AI系统变得更强大，它们的目标是否仍与人类福祉保持一致？

价值对齐是技术评测与伦理、法律、政治哲学交汇的维度。本书第五部分将专门讨论它。

四大维度的支撑关系

现在，一个重要的观察：这四个维度并非相互独立，也并非同等基础。它们具有分层、依赖的结构。能力是地基：无法完成任务的系统没有可以构建的东西。可靠性位于能力之上：一个能干但不可靠的系统是危险的。安全性位于可靠性之上：不可靠的系统难以做到安全。价值对齐位于这三者之上：没有能力、可靠性和安全性，对齐毫无意义。

这种分层结构可以被可视化为一座金字塔：

```mermaid flowchart TD A["L4: Value Alignment"] --> B["L3: Safety"] B --> C["L2: Reliability"] C --> D["L1: Capability"] D --> E["L0: Task Performance Foundation"] ```

在这张图中，每一层都依赖于其下一层。请注意：这张图并非价值排序——处于金字塔"顶端"并不意味着价值对齐比能力更重要。它的含义是，价值对齐以预设其他三者为基础。你不可能拥有一个无能、不可靠、不安全的价值对齐AI。

这座金字塔是我们贯穿全书的认知地图（cognitive map）。每当我们讨论一种具体的评测技术时，我们都会追问：它服务于哪个维度？它运行在金字塔的哪一层？它与其他维度之间的权衡是什么？

四大维度之间的张力

说四个维度总是和谐一致将是误导。在实践中，它们常常处于张力（tension）之中：

• **能力 vs 安全性**：让模型更强大往往使其更难约束。一个更有能力的AI可以更具说服力、更具操纵性、更具危险性。
• **可靠性 vs 公平性**：一个在不同群体上平均准确率相同的系统，在子群体上的错误率可能差异很大；实现公平可能要求接受整体准确率的微小下降。
• **安全性 vs 价值对齐**：一个在开发者眼中"安全"的系统，可能并不符合那些在设计过程中未被代表的边缘化社区的价值观。
• **能力 vs 价值对齐**：纯粹为基准性能优化，可能产生"刷榜"却在真实人类需求上失灵的系统。

这些张力不是可以被"解决"的工程问题——它们是根本性的权衡（fundamental tradeoffs），需要持