第一章 引言：给大模型的一场“全科目高考”

当2022年11月ChatGPT横空出世时，全世界第一次真切地感受到了人工智能的"智慧"光芒。这个能够写诗、编程、回答问题甚至通过美国律师资格考试的AI系统，让人们不禁产生了一个根本性的疑问：我们究竟该如何衡量这些大语言模型的真实能力？这个问题看似简单，实则触及了人工智能研究领域最核心、最复杂的命题之一——如何为一个"似乎什么都知道一点"的系统，建立一套科学、全面、公正的能力评估体系。

正是带着对这个问题的深度思考与探索热情，本书应运而生。我们决定不再满足于社交媒体上零星的"晒图"式测试，也不再轻信各大厂商精心挑选的评测报告，而是要亲手构建一套原创的、系统的、多维度的评测体系，用970道精心设计的题目，对当今主流大模型进行一场真正意义上的"全科目高考"。这场考试不设标准答案的捷径，没有应试技巧的取巧空间，唯有真实能力的硬碰硬较量。

评测的困境：为何现有方法难以令人信服

在深入介绍我们的评测体系之前，有必要先审视当前大模型评测领域面临的诸多困境。随着大语言模型技术的飞速发展，评测方法的研究却始终处于一种"追赶"的被动状态。这种滞后性导致了几个显著的问题，严重影响了评测结果的公信力和实用价值。

最突出的问题是"数据污染"现象。许多知名的公开评测集——如MMLU、HellaSwag、HumanEval等——已被广泛用于模型训练和调优过程。这就好比学生在考试前已经背下了试卷的答案，其高分成绩自然无法真实反映能力水平。研究表明，某些模型在这些"熟悉"的评测集上表现优异，但在全新的、从未见过的测试题上却大幅下滑，这种"过拟合"现象严重扭曲了我们对模型真实能力的认知。

```mermaid graph LR A[传统评测困境] --> B[数据污染] A --> C[维度单一] A --> D[文化偏差] A --> E[缺乏深度]

B --> B1[模型见过题目] B --> B2[成绩虚高]

C --> C1[偏重知识记忆] C --> C2[忽视综合能力]

D --> D1[西方中心主义] D --> D2[忽视本土语境]

E --> E1[浅层问答为主] E --> E2[缺乏推理挑战] ```

另一个深层次问题是评测维度的单一性。现有评测往往过度侧重于事实性知识的记忆和简单的模式匹配，而忽视了对逻辑推理、创造性思维、跨领域整合等高级认知能力的考察。这导致了一个悖论：模型在标准化测试中的得分节节攀升，但在实际应用场景中的表现却时常令人失望。用户真正需要的——比如解决复杂问题的能力、理解微妙语境的能力、进行长程推理的能力——恰恰是现有评测难以有效衡量的。

文化偏差同样是一个不可忽视的问题。主流评测集大多由西方研究机构设计，无论是题目内容还是价值取向，都深深植根于英语世界的文化背景。对于中文用户而言，这种评测的适用性显然存疑。一个对中国历史文化、社会现实、语言文字有着深刻理解的模型，可能在这些"洋考试"中表现平平；反之，一个对中国语境一知半解的模型，却可能因为擅长西方式的答题套路而获得高分。这种错位使得评测结果失去了指导实际应用的价值。

更深层次的挑战在于，大语言模型展现出的能力具有前所未有的广度和深度。传统的机器学习评测，通常针对特定任务设计特定指标——图像分类看准确率，目标检测看mAP，机器翻译看BLEU分数。但大语言模型是"通用"的，它们可以写代码、作诗歌、解数学题、分析法律案例、提供医疗建议……用任何单一维度的指标来衡量这种多面手，都难免陷入"盲人摸象"的窘境。

正是基于对上述困境的清醒认识，我们决定另起炉灶，构建一套全新的评测体系。这套体系需要具备几个核心特征：原创性，确保题目从未出现在任何模型的训练数据中；全面性，覆盖从基础知识到专业前沿的各个层面；本土化，充分考虑中文语境和中国用户的需求；深度性，不仅仅考察"知道什么"，更要考察"能做什么"和"怎么思考"。

970道题的诞生：一场评测集的设计工程

构建一套包含970道原创题目的评测集，绝非简单的"出题"工作，而是一项需要系统规划、反复打磨的工程。每一道题的设计，都承载着对特定能力的考察意图；每一道题的位置，都在整个能力图谱中扮演着独特的角色。让我们深入探讨这套评测集的设计理念和实现过程。

首先需要明确的是，为什么选择"970"这个数字，而不是更整齐的1000道或更精简的500道？这个数字并非随意确定，而是基于对评测覆盖度和可行性的综合考量。从统计学角度来说，要可靠地评估一个模型在某一特定维度上的能力，至少需要一定数量的样本作为支撑。样本过少，随机波动的影响会过大；样本过多，则评测成本（无论是人工出题还是模型推理）会显著增加。经过仔细测算，我们确定每个小维度至少需要8-12道题目才能获得具有统计意义的评估结果。考虑到我们的评测体系包含18个大维度、近100个小维度，970道题目恰好能够在保证统计可靠性的前提下，实现对所有关键领域的均衡覆盖。

```mermaid graph TD A[评测集设计原则] --> B[原创性] A --> C[层次性] A --> D[平衡性] A --> E[实用性]

B --> B1[全新编写] B --> B2[避免网络痕迹] B --> B3[独立知识产权]

C --> C1[难度分层] C --> C2[能力递进] C --> C3[知识关联]

D --> D1[领域均衡] D --> D2[题型多样] D --> D3[长短结合]

E --> E1[场景真实] E --> E2[问题有解] E --> E3[价值导向] ```

题目的原创性是我们最为重视的特征。为了确保评测的"公平"——即所有模型面对的都是从未见过的全新题目——我们的出题团队采取了严格的隔离措施。所有题目均由人工原创编写，不引用、不改编任何现存的公开题库或网络资源。在题目编写完成后，我们还使用多个搜索引擎和文本匹配工具进行核查，确保没有与网络上的既有内容产生意外重合。这种近乎偏执的原创性追求，使得我们的评测集成为一块"处女地"，任何模型在这里取得的成绩，都是其真实能力的反映，而非对训练数据的"回吐"。

题目设计的另一个核心原则是"层次性"。我们深知，不同用户对大模型的期待存在显著差异：有的用户只希望AI能帮忙写写邮件、总结会议纪要；有的用户期待AI能成为专业领域的助手，提供有深度的分析和建议；还有的用户探索着AI在科研创新、艺术创作等前沿领域的可能性。为了同时满足这些不同层次的需求，我们将题目按照难度进行了系统的分级。

最基础的层次是"中小学级"题目。这类题目考察的是通用知识和基本技能，难度大约相当于九年义务教育到高中阶段的水平。例如，让模型解释物理定律、解答代数问题、概括历史事件、分析文学作品等。任何声称具有"通用智能"的模型，都应该能够顺利通过这一层次的考验。这一层次的题目在评测集中占据了约30%的比例，构成了整个能力评估的"底线"。

中间层次是"大学级"题目。这类题目要求模型具备某一专业领域的系统性知识，能够进行较为复杂的推理和分析。题目难度相当于大学本科到硕士研究生阶段的水平。例如，让模型分析法律案例并给出判决建议、解读医学检验报告、设计软件架构方案、评估经济政策的影响等。这一层次的题目考察的是模型在专业场景中的实用价值，对于将AI应用于工作辅助的用户而言尤为重要。这一层次在评测集中占比最高，约达45%。

最高层次是"专家级"题目。这类题目挑战的是模型在深度专业领域的理解和创新能力，难度相当于博士研究生到资深专家的水平。例如，让模型提出前沿科学问题的解决思路、创作具有独特风格的艺术作品、进行复杂的跨学科综合分析等。需要强调的是，我们并不期待模型在这些题目上取得"完美"表现——实际上，许多专家级题目本身就没有标准答案，我们关注的是模型能否展现出接近专家水准的思维过程和见解深度。这一层次在评测集中约占25%，代表了AI能力探索的"前沿"。

```plantuml @startuml !define RECTANGLE class

package "难度金字塔" { [专家级\n25%\n前沿探索] as Expert [大学级\n45%\n专业应用] as University [中小学级\n30%\n基础能力] as School }

Expert -[hidden]--> University University -[hidden]--> School

note right of Expert 博士/专家水平 创新性思维 跨领域整合 end note

note right of University 本科/硕士水平 专业推理 系统分析 end note

note right of School 基础教育水平 通用知识 基本技能 end note

@enduml ```

除了难度层次，我们在题型设计上也力求多样化。传统的选择题虽然便于自动评分，但往往难以考察深度推理能力。因此，我们的评测集中包含了多种题型：开放式问答，要求模型生成完整的论述性回答；填空式任务，考察模型对特定信息的精确把握；纠错类题目，让模型发现并改正文本中的错误；续写类任务，评估模型的创造性和连贯性；代码编写，检验模型的编程能力和逻辑思维；多轮对话，测试模型的上下文理解和记忆能力……这种题型的多样性，确保了评测能够从多个角度揭示模型的真实能力。

十八般武艺：全维度能力图谱的构建

既然本书的标题提到了"十八般武艺"，那么这十八个维度究竟包含哪些内容？它们是如何确定的？彼此之间又有怎样的逻辑关联？这一节将为我们揭开这套全维度能力图谱的面纱。

维度的划分并非随意为之，而是基于对人类认知能力的系统性分析，以及对大语言模型实际应用场景的深入调研。我们从认知科学的经典理论出发，参考了布鲁姆教育目标分类法、加德纳多元智能理论等框架，同时结合大模型在实际应用中的主要用途，最终确定了18个核心维度。这些维度既相对独立——各自考察不同类型的能力；又相互关联——共同构成了一个完整的能力生态系统。

```mermaid graph ER A[语言文字能力] --- A1[文学创作] A --- A2[语言理解] A --- A3[文字游戏]

B[逻辑思维] --- B1[演绎推理] B --- B2[归纳推理] B --- B3[批判性思维]

C[专业知识] --- C1[自然科学] C --- C2[社会科学] C --- C3[人文艺术]

D[实践技能] --- D1[编程能力] D --- D2[数学计算] D --- D3[工具使用]

E[综合素养] --- E1[常识判断] E --- E2[价值观] E --- E3[创造力] ```

为了便于理解和记忆，我们可以将这18个维度归纳为五大类别。第一类是"语言文字能力"，包含文学创作、语言理解、文字游戏等维度，考察模型驾驭人类语言这一最基本交流工具的能力。第二类是"逻辑思维能力"，包含演绎推理、归纳推理、批判性思维等维度，考察模型进行理性思考和论证的能力。第三类是"专业知识储备"，包含自然科学、社会科学、人文艺术等维度，考察模型在各个知识领域的积累和掌握程度。第四类是"实践技能水平"，包含编程能力、数学计算、工具使用等维度，考察模型解决实际问题的操作能力。第五类是"综合素养"，包含常识判断、价值观念、创造力等维度，考察那些难以归类却至关重要的整体性能力。

每一个大维度下，又细分为若干小维度，形成了总计近百个细分评估点。以"自然科学"这一维度为例，它进一步划分为物理学、化学、生物学、天文学、地球科学等小维度；而"物理学"还可以继续细分为力学、热学、电磁学、光学、量子物理等更具体的领域。这种层层递进的分类体系，使得我们的评测能够精准定位模型的优势和短板。

值得特别说明的是，这18个维度之间并非完全正交——也就是说，它们之间存在一定的关联和重叠。例如，解决一道复杂的物理应用题，可能同时需要用到数学计算能力、逻辑推理能力和物理专业知识。这种关联性恰恰反映了真实世界中问题解决的特点：很少有哪个任务只涉及单一能力。因此，我们在设计题目时会有意识地控制"主考察维度"和"辅助考察维度"的区分，确保每道题目的评测指向足够清晰，同时不回避能力之间的自然关联。

在评测权重的分配上，我们采取了"基础普惠、重点突出"的策略。那些对于大多数用户都重要的基础能力——如语言理解、逻辑推理、常识判断——获得了更多的题目份额；而那些面向特定专业领域的维度——如自然科学中的前沿内容、特定的编程技能——则根据其目标用户群体的规模适当调整权重。这种权重分配策略确保了评测结果对普通用户具有参考价值，同时也没有忽视专业用户的深度需求。

从分数到洞察：评测结果的多维度解读

一套优秀的评测体系，不仅要能够给出一个"分数"，更要能够从分数中挖掘出有价值的"洞察"。这也是我们将本书定位为"评测实录"而非简单"评测报告"的原因——我们希望呈现的不仅仅是冰冷的数据，更是数据背后的故事、规律和启示。

在后续章节中，读者将会看到我们对各个维度的深度剖析。每一章都聚焦于一个或几个相关维度，从题目设计思路、典型试题分析、模型表现对比、能力边界探讨等多个角度进行详细阐述。我们不仅会告诉读者"哪个模型在哪方面表现更好"，更会深入探讨"为什么会这样"、"这意味着什么"、"对于用户选择有什么启示"。

```plantuml @startuml skinparam backgroundColor #FEFEFE skinparam handwritten false

skinparam componentStyle uml2

actor "普通用户" as User actor "开发者" as Dev actor "研究者" as Researcher

package "评测洞察层次" { usecase "表面分数" as UC1 usecase "能力画像" as UC2 usecase "深度归因" as UC3 usecase "应用建议" as UC4 }

User --> UC1 User --> UC4

Dev --> UC2 Dev --> UC3

Researcher --> UC3 Researcher --> UC2

UC1 <.. UC2 : 分析 UC2 <.. UC3 : 深挖 UC3 <.. UC4 : 转化

note bottom of UC1 总分、排名、 维度得分 end note

note bottom of UC2 能力雷达图、 优势/短板 end note

note bottom of UC3 技术原理、 训练数据影响 end note

note bottom of UC4 场景适配、 选型指南 end note

@enduml ```

我们采用的评测方法融合了定量分析和定性评估。对于有标准答案的题目（如数学计算、事实问答），我们采用自动化评分，确保客观性和一致性。对于开放性题目（如创意写作、观点论述），我们设计了多层次的评分标准，从准确性、完整性、逻辑性、创造性等多个角度进行人工评估。这种"人机结合"的评测方式，既保证了效率，又确保了对复杂能力的深入考察。

一个特别值得关注的视角是"能力边界"的探测。任何模型都有其能力范围，超出这个范围，再强大的模型也会"露怯"。我们的评测特意包含了一些"挑战题"——这些题目的难度超出了当前模型的预期能力范围，目的不是要让模型"出丑"，而是要探测其能力的边界在哪里。正如对人类智力的测评需要包含一些"超纲题"才能区分出顶尖人才一样，对AI模型的评测也需要这种边界探测才能真正了解其能力上限。

评测的另一个重要维度是"稳定性"评估。一个模型在某一道题上的表现可能具有偶然性，但在一类题目上的表现模式则更具诊断价值。我们会分析模型在不同题目上的表现波动，识别其"稳定发挥"的领域和"时好时坏"的领域。这种稳定性信息对于实际应用具有重要参考价值——用户可能更愿意选择一个"稳定良好"的模型，而不是一个"偶尔惊艳但经常失误"的模型。

本书的旅程：从评测到认知

本章作为全书的引言，旨在为读者建立一个大模型评测的总体认知框架。在接下来的十九章中，我们将带领读者深入到评测的每一个维度，细致地观察大模型在各类任务上的表现，揭示其背后的能力机制和局限。

第二章将聚焦于语言理解能力，这是大模型最基础也最重要的能力维度。我们将考察模型对字词、句子、段落、篇章各层次语言单位的理解深度，探讨其在语义消歧、隐含意义理解、跨语言处理等方面的表现。通过大量的实例分析，读者将能够清晰地了解当前大模型在语言理解方面的真实水平。

第三章和第四章将分别探讨文学创作和实用写作能力。前者关注模型的创造性和艺术表现力，后者关注其在工作场景中的应用价值。这两章的对比阅读将特别有趣——它们揭示了同一模型在"自由创作"和"规范表达"两种不同模式下的能力差异。

第五章至第七章构成了"逻辑思维"板块，分别探讨演绎推理、归纳推理和批判性思维。这三章将帮助读者理解大模型的"思考"过程——它是如何从已知前提推出结论，如何从具体案例总结一般规律，如何识别论证中的谬误和漏洞。这些能力直接关系到模型输出的可信度和实用性。

第八章至第十二章是"专业知识"板块，涵盖自然科学、社会科学、人文艺术等多个领域。在这些章节中，我们将看到模型在从物理公式到历史事件、从经济理论到艺术鉴赏的广阔知识版图上的表现。特别值得关注的是模型在不同领域之间的"知识平衡性"——是"全能选手"还是"偏科生"。

第十三章至第十五章聚焦于"实践技能"，包括编程能力、数学计算和工具使用。这些能力决定了模型在实际工作场景中的"生产力"价值。我们将通过具体的编程任务、数学问题解决、外部工具调用等案例，评估模型"动手做事"的能力。

第十六章至第十八章探讨的是更具挑战性的"高级能力"——创造力、长程推理和多模态理解。这些能力代表了AI发展的前沿方向，也是区分"好用"和"卓越"的关键维度。

第十九章将所有维度的评测结果进行综合分析，描绘出各个参评模型的"能力画像"。我们将采用可视化的方式呈现评测结果，让读者能够直观地比较不同模型的优劣势。

第二十章作为全书的结语，将从评测结果出发，展望大模型技术的未来发展趋势，并为不同类型的用户提供模型选择的实用建议。

在开始这段旅程之前，让我们先建立几点基本的认知。首先，评测是手段而非目的。我们的目标不是给模型贴上"好"或"坏"的标签，而是深入理解它们的能力特点，为实际应