数据中心的 AI 范式：从模型驱动到数据驱动（Data-Centric AI: From Model-Driven to Data-Driven Paradigm）
第 1 章 数据中心的 AI 范式：从模型驱动到数据驱动
> Data-Centric AI: From Model-Driven to Data-Driven Paradigm
开篇：AI 研究重心为何转向数据工程
2023 年 7 月，Meta 在 Llama 3 的技术报告中披露了一个耐人寻味的细节：在 15 万亿 token（15T tokens）的训练语料背后，其数据团队投入的清洗、过滤、去重、配比工程量，已经超过了模型架构本身的探索工作量。同年，OpenAI 在 GPT-4 的技术报告与系统卡（System Card）中以专门的章节描述了其在数据侧的决策链条——从多语种配比实验、对抗样本采样（adversarial sampling）、专家标注一致性校验，到 RLHF（Reinforcement Learning from Human Feedback）阶段的多轮奖励建模与规则化过滤（rule-based filtering）。Sora 的技术报告同样用超过三页篇幅讨论视频-文本对的收集、片段切分、视觉质量过滤与重采样规则。这些来自不同组织的工业实践，并非孤立事件，它们共同指向一个正在发生的范式转移：当基础模型（foundation models）的参数规模跨过某个临界点，模型架构迭代的边际改进空间开始收窄；而数据侧的每一次精细化决策——一道过滤阈值、一条去重规则、一次分布重采样——都可能带来模型能力的非线性跃迁。
本章将围绕这一范式转移，沿着三条主线展开论证：第一，从基础模型的规模化定律（Scaling Laws）与"数据墙"（Data Wall）现象出发，解释为何靠"堆参数"已经无法稳定换来能力提升；第二，梳理 Data-Centric AI 的学术脉络，对照 Model-Centric AI 范式在评测指标、优化目标与迭代循环上的根本差异；第三，从真实数据获取的成本、合规与分布偏差三重约束出发，论证为何必须把"数据"作为一等公民进行工程化封装，并由此引出数据引擎（Data Engine）作为新一代 AI 基础设施的核心定位。
---
1.1 规模化定律的边际收益递减与"数据墙"现象
1.1.1 规模化定律：从经验曲线到可计算的工程预算
对基础模型而言，"规模化定律"描述的是模型损失 $L$ 与参数量 $N$、数据量 $D$、计算量 $C$ 之间的幂律关系。2020 年 Kaplan 等人在 *Scaling Laws for Neural Language Models* 中首次系统地刻画了这一关系，给出了参数规模主导的经验曲线：
$$ L(N) = \left(\frac{N_c}{N}\right)^{\alpha_N} + L_{\infty} $$
其中 $N_c$ 是常数阈值，$\alpha_N \approx 0.076$ 是损失对参数规模下降的幂律指数，$L_{\infty}$ 是理论上不可约的损失下界。这一结论在当时支持了一种激进的扩张策略：只要持续放大参数规模，损失就会持续下降，模型就能"涌现"（emerge）更强的能力。
2022 年 Hoffmann 等人在 *Training Compute-Optimal Large Language Models*（即 Chinchilla 论文）中给出了修正后的二维版本：
$$ L(N, D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}} $$
其中 $A, B, E, \alpha, \beta$ 为拟合常数。该式指出，给定固定的计算预算 $C \propto N \cdot D$，存在一个最优的 $(N^*, D^*)$ 配比，二者应当近似等比例扩张。换言之，参数与数据必须协同放大；当数据规模停止增长时，单纯放大参数将迅速触及算力-损失的死区。
Hoffmann 等人的实证显示，参数与数据失配会导致最优算力的 $60\%$ 以上被浪费。这一发现在工业界产生了深远影响——它本质上宣告：在没有高质量数据的前提下，再多的算力也无法"凭空"换来能力提升，规模化并非没有边界。
1.1.2 边际收益递减：从曲线斜率看收益悬崖
在工程语言里，我们更关心的是"再投入一份算力，能换来多少损失下降"。对 Chinchilla 形式的损失函数，关于参数量的边际收益可计算如下：
$$ \frac{\partial L}{\partial N} = -\frac{\alpha A}{N^{\alpha+1}} $$
直观上，由于指数 $\alpha + 1 > 1$，参数 $N$ 越大，每增加一个数量级参数所换来的损失下降就越小。当 $N$ 跨越 10B 之后，曲线斜率迅速趋近于零，进入所谓"参数墙"（Parameter Wall）。
更重要的是，数据侧的"质量墙"同样存在。Muennighoff 等人在 *Scaling Data-Constrained Language Models* 中证明，当训练 token 数接近语料库上限时，提高数据质量（如筛选出更高信噪比的子集）比扩大规模更有效。具体地，他们对比了"扩大 4× token 数"与"过滤掉 25% 低质量 token"两种策略，发现后者在多项下游任务上取得更优结果。这意味着，在高质量自然文本趋于枯竭的现实面前，数据质量的改进比数据规模的扩张更具杠杆效应。
1.1.3 "数据墙"：高质量自然语料的物理边界
Data Wall 这个概念之所以被反复提起，源自一组来自 Epoch AI、Allen Institute for AI 等机构的预测：以"可训练 token"（trainable tokens）口径估算，人类在 2024 年前后产出的高质量文本总量约在 4×10¹⁴ token 量级，而当前最大的语言模型训练目标已逼近 1.5×10¹³ token，再加上视觉-语言、视频、代码等多模态数据的并行吞噬，剩余可用增量已经从 TB 量级压缩到 GB 量级。
Villalobos 等人在 *Will We Run Out of Data?* 中模拟了多种情境：在乐观假设下，公网可获取的高质量文本将在 2026–2028 年间触及总量上限；在悲观假设下，这一时间节点甚至可能提前到 2024 年。无论哪种情境，当前的结论都一致——
> 如果继续沿用"采集公网文本 → 直接训练"的旧范式，单一维度的数据扩张将在数年内被物理边界锁死。
必须强调的是，Data Wall 并不意味着 AI 发展停滞。它意味着：当"数据量的免费午餐"结束，"数据质量、数据合成、数据反馈"的工程化与产品化将取代它，成为新的核心生产力。这一判断也是后文 Data-Centric AI 与数据引擎两节的立论起点。
---
1.2 Data-Centric AI 的核心理念：系统性优化数据，而非仅优化模型
1.2.1 思想谱系：从 KDD 到 Andrew Ng 的体系化定义
"以数据为中心"的思想并非 2021 年后的新事物。早在 1990 年代，知识发现与数据挖掘（KDD, Knowledge Discovery and Databases）的早期文献就已经强调，数据预处理与特征工程往往比模型选择更能决定最终结果。但长期以来，这一观点被"模型驱动"的研究范式所遮蔽——研究者更愿意讨论一种新的网络结构或损失函数，而非一条数据过滤阈值。
2021 年，Andrew Ng 在 *The Batch* 与多场演讲中正式提出了 Data-Centric AI 的概念，并将其与 Model-Centric AI 进行了系统性对比。其核心主张可以概括为三点：
1. 优化目标的转移：在 Model-Centric 范式下，研究者固定数据、改进模型——典型的实证科学问题可表述为"在相同数据下，哪种模型更好"；而在 Data-Centric 范式下，研究者固定模型与评价指标，专注于"在相同模型下，哪种数据能让模型表现更好"。 2. 迭代回路的迁移：Model-Centric 范式的迭代主线是 *模型 → 训练 → 评测 → 改模型*；Data-Centric 范式则将回路调整为 *数据 → 训练 → 错误分析 → 改数据*。 3. 可复现性的提升：当数据被作为一等公民进行版本管理（data versioning）、标签溯源（label provenance）和质量监控时，实验的可复现性显著提高，这也是 2022 年后学术会议（如 NeurIPS Datasets & Benchmarks Track）愈发重视数据透明度的根源。
值得注意的是，Data-Centric AI 并不意味着轻视模型。事实上，模型架构与数据改进是相辅相成的——更强大的模型能够"消化"更高噪声的数据，从而释放出数据多样性的红利。但当模型能力跨过工程可用阈值后，数据侧的微小改进往往能带来比模型架构 1% 的 trick 更稳定的收益。
1.2.2 评测体系的重建：从单点指标到数据卡（Data Cards）与模型卡（Model Cards）
Data-Centric 范式的另一项重要遗产是数据透明度文化。2022 年前后，Pushkarna 等人提出 *Data Cards*，试图为每一份数据集提供结构化的"说明书"，包含收集意图、标注流程、偏差审查、已知局限与许可信息。同年提出的 *Datasheets for Datasets*（Gebru 等）与 *Model Cards*（Mitchell 等）共同构成了负责任 AI（Responsible AI）的基础设施。
这一基础设施的直接价值是：当一个数据集被下游系统消费时，工程师可以快速判断其在目标业务场景下的适配度。例如，若医疗影像数据卡声明"训练集未涵盖 5 岁以下儿童样本"，那么面向儿科的产品团队就必须额外构造合成数据或主动采集——而这种判断在缺乏元数据时往往是隐性的、滞后的。
1.2.3 Model-Centric 与 Data-Centric 迭代循环对比
下图从工程视角展示了两种范式在一次典型迭代周期中的工作流差异：
```mermaid flowchart TD subgraph MC[Model-Centric AI 范式] M1[固定数据集 D] --> M2[尝试新模型架构 M'] M2 --> M3[训练与超参调优] M3 --> M4[在固定测试集上评测] M4 --> M5{性能提升?} M5 -->|是| M6[发布模型] M5 -->|否| M2 end
subgraph DC[Data-Centric AI 范式] D1[固定模型 M 与评测协议] --> D2[错误分析与分布诊断] D2 --> D3[数据质量干预<br/>过滤/增强/重采样] D3 --> D4[保留版本化的训练集 D'] D4 --> D5[训练与一致性校验] D5 --> D6{评测指标提升?} D6 -->|是| D7[沉淀数据与元数据] D6 -->|否| D2 end ```
从图中可以观察到两条范式的核心差异：
- **回路飞轮的中心不同**：Model-Centric 的飞轮以 *模型变体* 为支点，Data-Centric 的飞轮以 *数据变体* 为支点。
- **可复现资产的性质不同**：Model-Centric 沉淀的是模型权重（weights）与超参配置；Data-Centric 沉淀的则可以是 *数据集快照*、*数据卡*、*标注规范*、*质量审查清单* 与 *合成管线*。
- **失败归因的方向不同**：Model-Centric 的失败常被归咎于"模型不够强"；Data-Centric 则要求归因到具体的样本、标签或分布偏差，从而推动工程纠偏。
这一对比也意味着：从 Model-Centric 转向 Data-Centric，不仅仅是工程流程的改变，而是组织文化、资源结构与工具链的同步重构。在后面 1.4 节讨论数据引擎时，我们将看到这种重构如何进一步演化为系统性的基础设施。
1.2.4 小结：Data-Centric 范式的四条原则
为便于后续章节引用，我们将 Data-Centric AI 的实践准则凝练为以下四条：
1. 系统性优于一次性：数据改进必须以流水线（pipeline）、版本（version）、指标（metric）三位一体的方式持续进行，而非单次"清理"。 2. 可量化优于可解释：任何数据干预必须配以可量化的评测指标，否则等同于"凭感觉调数据"。 3. 可追溯优于可访问：每一份数据应可追溯到来源、标注者、置信度与已知偏差。 4. 闭环优于开环：人评、模型评、用户反馈三者必须形成闭环，否则错误分析将沦为事后追责。
---
1.3 真实数据获取的三重约束：成本、合规与分布偏差
Data-Centric 范式并不能回避一个最直接的问题：真实数据的获取本身变得越来越困难。本节从成本、合规、分布偏差三重约束出发，说明为什么"采集更多真实数据"不再是简单解，进而论证合成数据与数据引擎的必然性。
1.3.1 成本约束：标注费用的指数级增长
在监督学习（supervised learning）语境中，"数据成本"通常指标注成本。早期 ImageNet 的标注以众包平台 Amazon Mechanical Turk 为主，单张图像的标签成本约 $0.01–0.05；而进入大模型时代后，标注任务的复杂度急剧上升：不仅要判断内容正确性，还要评估多轮对话的合理性、推理路径的连贯性、代码风格的一致性。Snorkel AI 在 2022 年的行业报告中估算，专业标注员的时薪已从最初的几美元上涨到 $30–60/小时，对应复杂任务单条成本可达 $5–20。
更重要的是，模型能力越强，单位样本的边际信息量越低。换言之，模型所需的训练样本呈"长尾分布"——头部数据容易获得但已被消耗殆尽，尾部数据（高难度、边缘案例、跨语种低资源）既难采集又难标注。这一现象使得传统的"扩大标注预算"策略收益递减。
$$ \text{Cost}_{\text{per-bit-of-knowledge}} \;\propto\; \frac{1}{\text{Signal-to-Noise Ratio of Remaining Data}} $$
直观上，当语料库中高质量样本被消耗完后，每增加一个有效样本所需的成本都呈指数上升，最终迫使企业从"采集真实数据"转向"生成合成数据"或"构建主动学习闭环"。
1.3.2 合规约束：隐私与版权的双重红线
合规约束在过去三年集中表现为两类规则的演进：隐私侧（如欧盟 GDPR 加州 CCPA/CPRA、中国《个人信息保护法》）和版权侧（欧盟 AI Act 对训练数据来源披露的要求、2023 年美国 *NYT v. OpenAI* 案所引发的行业争议）。
GDPR 与 PIPL 在条文上有共通之处：要求训练方在"合法、正当、透明、有限目的"原则下处理个人数据，且对自动化决策保留了广泛的"解释权"与"被遗忘权"。这些规定对模型训练的直接影响包括：
- **敏感字段脱敏与最小化原则**：自由文本、对话日志、医疗记录中的标识符必须在数据进入训练流水线前被脱敏；这反过来提高了数据预处理的工程门槛。
- **跨境传输限制**：跨国数据流必须依赖标准合同条款（SCCs）或安全评估，进一步增加合规成本。
- **删除请求的可执行性**：模型一旦将特定样本"记忆"（memorization），删除请求就可能导致昂贵的再训练或局部微调。
版权侧的争议则更具张力。一方面，模型对训练语料的"合理使用"（fair use）边界尚未由最高司法机构统一确立；另一方面，部分权利人已经通过结构调整合同、机器可读的拒绝声明（如 robots.txt 的扩展协议 `ai.txt`）主动主张自己的"被排除权"（opt-out）。这些合规约束共同导致：开放公网语料作为免费午餐的时代正在走向终结。
1.3.3 分布偏差：真实数据并非"客观事实"
即便成本与合规均可被一一突破，真实数据依然存在一个根本缺陷——它内嵌了产生它的社会经济与文化结构的偏差。经典的偏差类型至少包括：
- **选择偏差（selection bias）**：哪些样本进入了语料库，并非随机抽样，而是由媒介生态决定。英语互联网中高收入国家用户占比偏高，使得医疗、地理、生活方式等话题的覆盖度严重失衡。
- **标签偏差（label bias）**：标注员的背景、文化与培训质量会直接影响标签分布，尤其是涉及价值判断的内容审核、政治倾向判断、文化敏感度评估等任务。
- **时间偏差（temporal bias）**：知识与价值观念在持续演化；2020 年前的语料库在 2024 年的语境下必然表现出"时代错位"。
- **共生偏差（co-occurrence bias）**：词与词的共现统计并非因果，在数据驱动的语言模型中极易被放大，催生模型在推理任务上的稳健性缺陷。
Meta 在 Llama 3 报告中承认，其团队曾花大量精力进行"毒性过滤、隐私过滤、质量过滤"的多层流水线作业，但即便如此，仍然无法保证完全消除上述偏差。Yandex 的研究人员则在 *On the Inevitability of Training Data Bugs* 中用一个令人警醒的实验证明：即便是来自顶级公共数据集的样本，人工审计后平均仍会发现 3–5% 的标签错误或语义不一致。在工业级数据规模下，这意味着百万级错误样本。
1.3.4 三重约束的合流：寻找"第三条道路"
将上述三重约束叠加，可以得到一个判断：
> 当真实数据的获取在成本、合规与分布三维上都遭遇瓶颈时，单纯依靠"扩大真实数据"将无法延续模型能力的稳定提升。
由此，"第三条道路"出现——既不是简单依赖真实数据，也不是在真空中创造合成数据，而是构建一个真实数据—合成数据—人机反馈三者动态混合的数据生产系统。这正是我们将在 1.4 节中讨论的数据引擎（Data Engine）的核心含义。
---
1.4 数据引擎：新一代 AI 基础设施的定位
1.4.1 何为数据引擎：一个由四个子系统构成的闭环
我们把"数据引擎"定义为：一种以模型能力提升为目标，把数据采集、标注、合成、过滤、反馈、评估等环节以工程化、版本化、自动化的方式整合在一起，以支持持续迭代的闭环系统。一种典型实现通常包含以下四个子系统：
1. **数据采集与归一化子