范式转移：从模型中心到数据中心

深度学习在过去十余年的演进中，长期沿袭一种"双螺旋"上升的轨迹：模型参数与训练数据同步膨胀，能力边界随之扩展。然而自2022年前后开始，工业界与学术界不约而同地将资源重心从模型架构创新迁移至数据本身。这一迁移并非简单的资源再分配，而是涉及AI系统优化目标、评估范式与组织流程的整体范式跃迁。本章系统梳理这一跃迁的历史脉络、理论依据与实践形态，回答一个根本问题：当算力与参数的红利逐步衰减时，数据为何能重新成为现代AI系统进化的主驱动力，以及"数据飞轮"这一概念如何被严格定义、构造并工程化。

1.1 历史的钟摆：模型中心范式的兴起与瓶颈

1.1.1 ImageNet 时刻与模型红利时代

2012年AlexNet在ImageNet大规模视觉识别挑战赛（ILSVRC）中将Top-5错误率从26%骤降至15.3%，这一事件被广泛视为深度学习的复兴起点。值得注意的是，AlexNet的成功并非纯粹源于架构创新——ReLU激活、Dropout正则化、GPU并行训练等技术固然重要，但更关键的支撑来自ImageNet所提供的约128万张标注图像与1000个类别构成的大规模监督语料。此后从VGG、GoogLeNet、ResNet到EfficientNet，ImageNet榜单上的每一次刷新几乎都伴随模型深度与宽度的增加；研究者的注意力高度集中在"如何设计更深、更宽、更优的骨干网络"上，数据则被默认为可获取的常量。

这一阶段的隐含假设是：只要存在一个ImageNet规模的标注集，模型架构就是决定性能的主导变量。围绕这一假设，学术界产出了大量关于深度、宽度、跳跃连接、注意力机制、归一化策略的研究，形成了所谓"模型中心"（Model-Centric AI）的范式。其典型工作流是：固定数据集，迭代模型结构，通过公开榜单验证改进。这种范式在视觉、语音、自然语言处理等多个领域被反复验证有效，推动了2014—2020年间深度学习的爆发式发展。

1.1.2 自监督预训练与"规模即能力"的幻觉

2017年Transformer架构问世，并在2018—2020年间催生了GPT、BERT、RoBERTa、T5等一系列基于自监督预训练的大模型。其核心范式被Andrew Sutton称为"苦涩的教训"（The Bitter Lesson）：长远来看，能够利用算力规模化（scaling）的方法终将胜出，而试图通过人类先验知识内嵌到系统中的方法终将被淘汰。这一论断进一步固化了模型中心的视角——既然算力是核心约束，那么加大参数规模、堆叠更多层、训练更长时间就是通往更强智能的捷径。

OpenAI在2020年发布的GPT-3以1750亿参数规模展示了惊人的少样本学习能力（in-context learning），其能力曲线呈现明显的"涌现"（emergence）特征：当规模跨越某个阈值后，模型在算术、问答、翻译等任务上的表现急剧跃升。这一发现强化了"模型即产品"的产业逻辑：投入算力训练更大模型，再以API形式提供推理服务，几乎成为头部AI公司的标准战略。

1.1.3 模型红利的边际衰减

然而自2022年起，单纯堆叠参数的回报开始呈现明显的边际递减。一方面，预训练算力的边际收益曲线趋平：训练GPT-4级别模型所需的算力相比GPT-3增加约两个数量级，但在标准基准上的平均提升仅为几个百分点。另一方面，参数规模的扩张并未自动转化为对真实世界复杂分布的鲁棒性——大模型在长尾分布、罕见实体、文化特异性、反事实推理等场景中频繁失效，甚至出现"逆规模"现象（inverse scaling），即某些能力随规模增大而退化。

更关键的是，数据瓶颈开始浮现。即使是最激进的爬虫策略也只能从公共网页获得有限的高质量文本；多模态数据涉及版权、隐私与采集成本；专业领域（如医疗、法律、金融）的高质量标注数据近乎稀缺资源。当模型对数据的需求增长速度超过数据本身的供给速度时，模型中心范式遭遇了结构性的输入约束。

这些现象共同标志着"模型红利"时代的终结——单纯增加参数已无法带来可持续的能力跃升，必须从系统输入端寻找新的杠杆点。这一判断将视角重新拉回到数据本身，开启了数据中心范式的回归。

1.2 Scaling Law 的再审视：数据维度的边际收益

1.2.1 Kaplan 定律与早期 Scaling Law

2020年Kaplan等人发表的《Scaling Laws for Neural Language Models》首次系统量化了模型性能与训练资源之间的幂律关系。该研究表明，测试损失 $L$ 与参数规模 $N$、数据集规模 $D$、算力消耗 $C$ 之间存在如下近似关系：

$$L(N) \approx \left(\frac{N_c}{N}\right)^{\alpha_N}, \quad L(D) \approx \left(\frac{D_c}{D}\right)^{\alpha_D}, \quad L(C) \approx \left(\frac{C_c}{C}\right)^{\alpha_C}$$

其中 $\alpha_N, \alpha_D, \alpha_C$ 为幂律指数，$N_c, D_c, C_c$ 为对应的临界常数。在该研究中，Kaplan等人给出的经验值为 $\alpha_N \approx 0.076$，$\alpha_D \approx 0.095$，$\alpha_C \approx 0.050$。值得注意的是，$\alpha_D > \alpha_N$，即损失对数据量的弹性略高于对参数量的弹性，但二者在同一量级，且研究者将主要结论总结为"参数规模是主导变量"，建议研究者把资源投入到更大的模型中。

这一结论被业界广泛接受，并在2020—2022年间主导了大规模预训练的资源分配逻辑：堆参数、堆算力，数据被视为"足够多即可"的次要变量。

1.2.2 Chinchilla 反转：算力最优下的均衡

2022年DeepMind发布的Chinchilla论文对Kaplan定律提出了根本性修正。基于对400多个不同规模语言模型训练实验的系统拟合，Hoffmann等人发现Kaplan团队在数据规模上的拟合存在系统性偏差——他们使用了一个固定的早期停止（early stopping）机制，导致参数更多、数据更少的模型看起来"更高效"，但这一效率是优化目标错位下的假象。

Chinchilla通过正确拟合得到新的幂律指数 $\alpha_N \approx 0.34$，$\alpha_D \approx 0.28$，并据此推导出"算力最优"（compute-optimal）的训练策略：在给定算力预算 $C$ 下，最优的参数规模 $N_{\text{opt}}$ 与数据规模 $D_{\text{opt}}$ 应大致相等，且满足

$$N_{\text{opt}} \approx D_{\text{opt}} \approx \left(\frac{C}{6}\right)^{1/2}$$

换言之，每参数应配比约20个训练token（同一token在每个epoch计为一次）。这一结论意味着此前GPT-3等模型的训练是"参数过多、数据过少"的失衡配置——其性能可以通过减少参数、显著增加数据来获得更优的性价比。

Chinchilla定律的政策含义是颠覆性的：在算力约束下，数据与参数是替代品而非互补品，且数据替代参数的边际回报更高。这一发现为数据中心范式提供了第一块理论基石。

1.2.3 数据质量的弹性：超越token数量

Chinchilla纠正了"数据维度边际收益较低"的偏见，但仍未触及更深层的问题：相同数量的token，其价值并不等价。2023年以来的一系列研究显示，数据质量对模型能力的弹性远超数据数量。

例如，Min等人2023年的研究《Silo Language Models》表明，仅用100亿个经过严格质量过滤的token训练一个13亿参数的Pythia模型，就能在多数基准上超越用3000亿token训练的同规模模型。Gunasekar等人2023年的《Textbooks Are All You Need》进一步将这一思想推到极致：用约6GB高质量"教科书级"代码数据训练的Phi-1模型，在HumanEval代码生成基准上超越了用数千亿token训练的大模型。

从经济学角度看，这等价于以下修正的损失函数：

$$L_{\text{eff}} = f\left(N, \sum_{i} w_i \cdot D_i\right)$$

其中 $D_i$ 表示第 $i$ 类子语料（如高质量代码、数学推理、对话等），$w_i$ 为其相对于"平均token"的边际贡献权重。经验上 $w_i$ 在高质量子语料上可达5—50倍。这意味着如果能够识别并扩充高 $w_i$ 子语料，即便不增加总token数，也能显著降低有效损失。

更前沿的研究，如Muennighoff等人2023年的《Scaling Data-Constrained Language Models》以及Databricks的"数据质量定律"探索，将数据质量与数量的关系重新参数化为：

$$L(N, D, q) \approx \left(\frac{N_c}{N}\right)^{\alpha_N} + \left(\frac{D_c}{D}\right)^{\alpha_D} \cdot g(q)$$

其中 $q \in [0,1]$ 表示数据质量分数，$g(q)$ 为单调递减函数，典型经验形式为 $g(q) \propto q^{-\beta}$，$\beta \approx 0.4$—$0.6$。当 $q$ 从0.5提升到0.9（即从普通网页文本提升到教科书级内容）时，等价数据量可提升约3—6倍。

1.2.4 边际收益反转的工程含义

综合Kaplan、Chinchilla与后续质量弹性研究，可以得出三条对工程实践具有指导意义的判断：

第一，参数红利的衰减速度高于数据红利。当参数规模超过约 $10^{10}$ 后，每翻倍参数带来的损失下降已低于0.1个对数单位；而同样算力若投入到数据扩展上，对应的损失下降仍可维持在0.2—0.3个对数单位。

第二，数据质量红利的衰减速度最低。在固定token预算下，将质量分数 $q$ 从0.6提升到0.9通常可获得与扩展10倍以上token等价的损失下降，且不需要额外的算力成本。

第三，数据维度的边际收益存在"局部反单调"。某些类型的低质量数据（如随机抓取的广告、机器生成的文本）甚至会损害模型能力，导致损失上升。这意味着数据策略必须是有选择的"高纯度增长"，而非"低纯度堆量"。

这三项判断共同支撑了数据中心范式回归的理论合法性：当数据维度同时具备"高边际收益"与"低成本"两个特征时，将资源从参数转移到数据是帕累托改进。

1.3 Data-Centric AI 的核心主张与代表作

1.3.1 范式定义与组织级宣言

"Data-Centric AI"（数据中心人工智能）的概念在2021年前后被系统化提出。Andrew Ng在多个公开演讲中将这一范式与模型中心范式并置，并给出了简明的操作性定义：模型中心范式关注"如何用固定的数据训练更好的模型"，数据中心范式关注"如何用迭代优化的数据训练更好的模型"。这一定义虽简洁，却切中了研究焦点的本质转移：从结构设计转向数据治理。

更正式地，Data-Centric AI可被定义为以下方法论集合：

1. 系统性数据质量度量：建立可量化的数据质量评估指标，并将其纳入模型训练的反馈回路。 2. 迭代式数据工程：将数据处理视为可重复、可版本化、可A/B测试的工程对象，而非一次性的预处理步骤。 3. 以数据为中心的评估：评估指标不仅包含模型在固定测试集上的表现，还包含模型对数据扰动的鲁棒性、对长尾样本的覆盖度、对标注噪声的敏感度。 4. 工具链与平台化：构建支持数据标注、增强、合成、清洗、版本管理的端到端工具链。

1.3.2 学术代表作与里程碑事件

Data-Centric AI在过去三年内形成了若干具有标志性意义的学术与产业事件。

学术里程碑一：DataComp基准（2023）。MLCommons发布的DataComp基准首次将"数据集设计"本身作为竞赛对象，邀请参赛者在固定模型架构下竞争"谁的数据集能带来更优的下游表现"。DataComp提供从14M到39B不同规模的图像-文本对池，参赛者通过筛选、清洗、组合、增强等数据操作构造训练集。实验结果揭示了一个反直觉的结论：在固定模型下，仅通过优化训练数据的选取与组合，就能在ImageNet等基准上带来超过10个百分点的精度提升，且这种提升与模型架构无关。

学术里程碑二：高质量数据集的独立价值（2023—2024）。Dolma、RedPajama、FineWeb、The Pile v2等开源数据集在2023—2024年间陆续发布，其核心贡献不在于"更大"，而在于"更透明、更可控"。FineWeb数据集通过严格的URL黑名单、文本质量评分、去重与PII过滤等步骤，从CommonCrawl中筛选出1.3T高质量token，为社区提供了可复现、可审计的训练语料范本。这一趋势表明数据集本身正在从"副产品"升级为"一等公民"。

产业里程碑：合成数据的兴起（2023—）。随着大模型生成能力的成熟，"用模型生成数据，再用数据训练模型"的自举循环成为现实。Microsoft的Phi系列、Meta的Llama 2/3、Anthropic的Claude的训练流程中，合成数据占比从早期的接近零上升到显著比例。NVIDIA的Nemotron-4 340B专门设计用于生成高质量合成训练数据，标志着"数据生成器模型"成为独立的产品形态。

1.3.3 数据中心范式的批判性审视

数据中心范式并非没有争议。常见批评包括三类：

第一，数据质量度量的主观性。与模型损失这样的客观度量不同，数据质量度量高度依赖下游任务，跨任务的可迁移性有限。例如，对话流畅性评分高的语料未必有利于数学推理能力。

第二，数据治理的组织成本。迭代式数据工程要求建立标注、审核、版本管理、A/B测试等流程，组织开销显著高于"一次性爬取+训练"的传统流程。在小团队或学术环境中，这一开销可能成为阻碍。

第三，合成数据的"模型塌缩"风险。如果合成数据全部来自同一基础模型，可能引入系统性偏差，导致训练出的新模型在分布上趋近于父模型，丧失多样性与边缘能力（又称"模型自噬"或"model autophagy disorder"，MAD现象）。这一风险要求合成数据必须与真实数据混合使用，并维持严格的来源多样性。

理解这些限制有助于后续章节中更稳健地设计数据引擎。本书主张数据中心范式与模型中心范式并非互斥，而是协同演化——前者提供"质的提升"，后者提供"量的边界"。两者的耦合点正是本书核心主题"数据飞轮"。

1.4 数据飞轮的数学结构：状态空间、转移算子与不动点

1.4.1 飞轮作为动力学术语

"飞轮"（flywheel）一词源自机械工程，指具有较大转动惯量的轮状储能装置：短期输入能量难以直接驱动负载，但通过持续积累可使飞轮达到临界转速后释放出远超输入功率的输出能量。AI语境中的"数据飞轮"借用了这一隐喻，强调通过持续累积高质量数据与模型反馈，使系统在越过临界点后获得指数级而非线性级的能力提升。

但隐喻不足以支撑工程实践，必须将其形式化为可分析、可设计、可优化的数学结构。下面给出本书采用的形式化定义。

1.4.2 状态空间：数据 $D$ 与模型 $M$ 的二元组

数据飞轮的状态由两个核心变量定义：

• **数据集 $D \in \mathcal{D}$**：包含原始样本、标注、合成样本、用户反馈等所有可用于训练的信息。$\mathcal{D}$ 是所有可能数据集构成的空间。
• **模型 $M \in \mathcal{M}$**：在数据集 $D$ 上训练得到的模型（参数化形式如神经网络权重）。$\mathcal{M}$ 是所有可能模型构成的空间。

飞轮的完整状态为二元组 $(D, M) \in \mathcal{D} \times \mathcal{M}$。

为支撑后续分析，引入两个派生量：

• **性能度量 $P: \mathcal{M} \times \mathcal{T} \to \mathbb{R}$**：将模型在任务分布 $\mathcal{T}$ 上的表现映射为实数（如准确率、BLEU、人工评分等）。常见简化形式是 $P(M)$，隐含对任务分布的固定。
• **数据效用 $U: \mathcal{D} \times \mathcal{M} \to \mathbb{R}$**：衡量给定数据集在训练特定模型时的边际贡献，定义为 $U(D, M) = P(M(D)) - P(M_0)$，其中 $M_0$ 为参考基线。

1.4.3 转移算子：飞轮的演化方程

数据飞轮的演化由两类基本算子驱动：

训练算子 $\mathcal{T}_{\text{train}}: \mathcal{D} \to \mathcal{M}$：将数据集映射为模型。形式上 $M_{t+1} = \mathcal{T}_{\text{train}}(D_t)$，其中下标 $t$ 表示第 $t$ 轮迭代。

数据演化算子 $\mathcal{E}: \mathcal{D} \times \mathcal{M} \times \mathcal{F} \to \mathcal{D}$：根据当前数据集、当前模型以及外部反馈信号，生成下一代数据集。形式上 $D_{t+1} = \mathcal{E}(D_t, M_{t+1}, F_t)$，其中 $F_t \in \mathcal{F}$ 为第 $t$ 轮的反馈信号（如用户行为、错误样本、人工标注、合成样本等）。

组合两者，得到飞轮的一步转移算子：

$$\mathcal{F}: \mathcal{D} \times \mathcal{M} \times \mathcal{F} \to \mathcal{D} \times \mathcal{M}$$

其作用为：

$$(D_{t+1}, M_{t+1}) = \mathcal{F}(D_t, M_t, F_t) = \left(\mathcal{E}(D_t, M_t, F_t),\ \mathcal{T}_{\text{train}}(\mathcal{E}(D_t, M_t, F_t))\right)$$

这一递推方程是数据飞轮的核型——一旦给出初始状态 $(D_0, M_0)$ 与反馈生成器 $\{F_t\}$，整个系统的演化轨迹即被确定。

1.4.4 正反馈条件与临界点

数据飞轮的关键性质是正反馈：第 $t$ 轮产出的模