世界模型的定义与理论基础 | Definitions and Theoretical Foundations of World Models

第一章：世界模型的定义与理论基础

Definitions and Theoretical Foundations of World Models

---

世界模型（World Model）作为一个跨学科概念，其核心内涵在不同研究传统中存在显著分歧。认知科学将其理解为智能体内部对外部环境的结构化表征；神经科学关注的是大脑如何构建和利用这种表征来实现预测与控制；人工智能则更关注如何在计算系统中实现能够支撑推理、规划和决策的环境模型。这种概念边界的不清晰不仅造成学术交流的障碍，更直接影响了研究者的建模范式选择与系统设计决策。本章旨在系统澄清世界模型的核心内涵，厘清其与相关概念的边界，并从概率推断与信息论的视角给出严格的形式化定义，最终通过对经典架构的案例分析，为读者提供评估和比较不同实现路径的理论工具。

---

1.1 多维视角下的世界模型定义

1.1.1 认知科学视角：表征与计算

在认知科学领域，世界模型的概念根植于表征理论（Representation Theory）的深厚传统。认知心理学中的内部模型（Internal Model）概念最早由沃维克·克里克（Warwick Cann）在运动控制研究中提出，随后由米歇尔·特索罗（Michele Tasoe）等人在神经科学中进一步发展，其核心假设是：智能体并非仅依赖即时感知进行反应，而是在内部构建了外部世界的“心理副本”（Mental Copy），用于预测、模拟和规划行动后果。

这一视角的理论根基可追溯至让·皮亚杰（Jean Piaget）的认知发展理论。皮亚杰认为，智力的本质是同化（Assimilation）与顺应（Accommodation）的动态平衡过程——智能体将新信息纳入既有认知结构（同化），同时根据新信息调整既有结构（顺应）。这种观点隐含了世界模型的雏形：认知结构本身就是对环境规律的编码。后续的具身认知（Embodied Cognition）研究进一步强调，世界模型不仅是被动存储的表征，更是在智能体与环境交互过程中动态建构的。

认知科学中的世界模型通常与两个核心功能相关联。预测功能指模型能够生成对未来状态的预期，这种预期既包括对纯环境演化的预测（如“松开手指后物体会下落”），也包括对感知反馈的预测（如“如果我转动头部，视野中的场景会相应移动”）。模拟功能指模型能够“离线”地运行，模拟在不存在实际动作的情况下状态如何变化。这使得智能体能够在执行动作之前“想象”不同动作序列的后果，从而选择最优行动方案。

值得注意的是，认知科学中的世界模型并非单一实体，而是多层次、多模态的表征体系。低级表征可能对应于感觉运动映射（Sensorimotor Mapping），如视觉中的光流场与自我运动之间的关系；高级表征则涉及抽象的概念知识和因果结构，如理解重力对物体运动的影响。这种层次化的表征组织使得智能体能够在不同时间尺度和抽象层次上进行推理。

1.1.2 神经科学视角：预测编码与自由能原理

神经科学对世界模型的理解呈现出两个互补的理论框架：预测编码（Predictive Coding）理论与自由能原理（Free Energy Principle）。

预测编码理论由卡尔·弗里斯顿（Karl Friston）及其合作者系统发展，其核心假设是：大脑是一个层次化的预测机器，每一层都在生成对下一层输入的预测，而预测误差（Prediction Error）则向上传递以修正高层表征。该框架下的世界模型体现为层次化的生成模型（Generative Model）：高层表征编码关于环境结构的先验知识，低层表征则将这些知识转化为对感官输入的预测。在这一视角下，世界模型并非独立存在的实体，而是大脑中分布式的预测机制的集合。

自由能原理为世界模型提供了更为统一的数学框架。该原理认为，任何自组织系统——包括大脑——都可以被理解为在最小化其自由能（Free Energy），即系统对环境的惊讶程度（Surprise）与用于编码环境所需的模型复杂度之间的权衡。世界模型作为系统对环境的内部表征，其存在目的正是为了降低自由能：好的世界模型能够准确预测环境状态，从而减少意外；与此同时，世界模型的复杂度本身也构成自由能的一部分，因此最优的世界模型需要在预测精度与模型效率之间取得平衡。

神经科学的实证研究为世界模型提供了关键的神经实现证据。海马体（Hippocampus）长期以来被认为与空间导航和情景记忆相关，而最近的计算理论将其理解为世界模型的核心组件。具体而言，海马体可能实现了一种“认知地图”（Cognitive Map）的功能：不仅编码当前位置，还编码环境的空间结构、奖励分布以及状态之间的转移关系。位置细胞（Place Cells）和网格细胞（Grid Cells）的发现为这一假说提供了神经元层面的支持：当动物在环境中移动时，这些细胞的激活模式会形成环境几何结构的编码。

然而，神经科学视角也揭示了世界模型概念的一个核心张力：世界模型究竟是对环境的“压缩副本”还是对环境因果结构的“抽象规则集”？神经影像学和电生理学的研究表明，大脑表征具有高度的稀疏性、层次性和去相关化特征，这与简单的环境复制存在本质区别。更重要的是，认知系统能够处理从未经历过的新情境（如人类可以理解从未亲眼见过的物理现象），这种泛化能力暗示世界模型编码的是抽象的因果结构而非具体的感官模式。

1.1.3 人工智能视角：从环境模型到通用世界模型

人工智能领域对世界模型的研究经历了从狭义到广义的范式转变。早期研究主要关注特定领域的预测模型：机器人学中的卡尔曼滤波（Kalman Filter）和粒子滤波（Particle Filter）用于状态估计；控制系统中的状态空间模型（State Space Model）用于过程建模；强化学习中的环境模型（Environment Model）用于模拟状态转移和奖励函数。这些传统方法将世界模型理解为对环境动力学（Dynamics）的显式建模，其目标是为规划算法提供对环境行为的精确预测。

2018年是一个重要的转折点。大卫·哈（David Ha）与于尔根·施密德胡伯（Jürgen Schmidhuber）发表了“World Models”论文，提出了一个具有里程碑意义的架构。该工作将变分自编码器（Variational Autoencoder, VAE）用于感知压缩、RNN用于序列建模、以及进化策略用于控制器优化的组合，在《躲鬼》（Doom）游戏环境中取得了令人印象深刻的结果。更重要的是，该工作首次明确提出了“世界模型”作为智能体核心组件的愿景：智能体可以“直接在世界里做梦”（Dream），即在模型的隐空间中进行规划和探索。

随后的发展使世界模型的概念进一步扩展。丹尼尔·哈滕洛彻（Danijar Hafner）等人开发的Dreamer系列模型展示了如何在像素级观测的强化学习环境中，仅通过学习世界模型即可实现高效的策略学习。Dreamer的核心贡献在于证明了世界模型不仅可用于规划，更可通过“dreaming”——在世界模型的想象轨迹上进行反向传播学习——来训练行为策略。这种“模型驱动”的学习范式与传统的“模型无关”或“基于样本”的方法形成了鲜明对比。

当前人工智能研究对世界模型的理解呈现出两个主要方向。第一，通用世界模型的方向追求构建能够跨领域、跨任务迁移的大一统世界模型，其灵感部分来自人类能够将一个领域学习的知识迁移到另一个领域的认知能力。DeepMind的Gemini和OpenAI的GPT-4等基础模型尝试通过大规模预训练实现对多模态世界的通用表征。第二，具身世界模型的方向则聚焦于智能体在物理或模拟环境中通过交互学习世界模型，强调主动感知、持续学习和样本效率的重要性。

这两种方向的融合催生了“Foundation World Model”的概念——类似于视觉和语言领域的Foundation Model，世界模型也可以作为下游任务的通用基础设施。这一愿景的核心假设是：对世界结构的一致性建模将产生广泛可迁移的知识，从而减少每个新任务所需的样本量。然而，实现这一愿景面临严峻挑战：世界的复杂性远超现有模型的处理能力，因果结构的发现缺乏有效算法，且通用性与专用性之间的权衡始终存在。

---

1.2 概念辨析：世界模型与相关术语

1.2.1 内部模型与感觉运动模型

内部模型（Internal Model）是一个涵盖范围更广的概念，世界模型可视作其在认知和人工智能语境下的特定实例。在控制理论中，内部模型被定义为“控制器对被控系统动力学和外部环境的内部表征”。这个定义区分了两类内部模型：正向模型（Forward Model）预测动作的效果——给定当前状态和动作，预测下一状态或感官输入；逆向模型（Inverse Model）则相反，给定当前状态和目标状态，推导所需的动作。

感觉运动模型（Sensorimotor Model）是内部模型的一个重要子类，特指感觉输入与运动输出之间的映射关系。在这一框架下，世界模型的概念更加狭窄：它强调对环境本身的建模（状态转移、奖励结构），而感觉运动模型则关注智能体与环境的接口（感知-动作循环）。例如，一个精确的视觉运动映射模型可以让机械臂抓取物体，但这并不必然意味着智能体理解了物体的物理属性或因果结构。

这种区分在认知科学中有重要意义。布鲁诺·奥利瓦（Bruno Oliare）提出的感觉运动理论（Sensomotor Theory）认为，认知的根本在于智能体与环境的耦合动态，而非对独立于行动的世界的表征。这一激进立场与世界模型的主流假设——智能体内部存在对外部世界的独立表征——存在根本张力。然而，大多数研究者采取了中间立场：承认世界模型的存在，但强调其感觉运动基础和行动嵌入性（Action Embodied）。

1.2.2 环境模型与任务模型

环境模型（Environment Model）在强化学习文献中通常指对马尔可夫决策过程（MDP）的显式建模，包括状态转移函数$T(s'|s,a)$和奖励函数$R(s,a)$的估计。环境模型与智能体的目标无关，它纯粹是对“环境如何运行”的描述。任务模型（Task Model）则不同：它编码了智能体的目标、偏好和成功标准，通常体现为奖励函数或成本函数的设计。

世界模型与这两个概念存在微妙的关系。在强化学习的经典框架中，智能体的学习目标是最大化累积奖励，而环境模型仅作为学习的辅助工具（用于模拟）。然而，从认知科学的视角看，人类和动物并非在真空中的环境模型中进行优化——他们的“世界模型”本身包含了大量关于目标、价值和规范的知识。一位经验丰富的司机不仅“知道”换挡会导致车速变化，还“知道”安全到达目的地是重要的，“知道”鲁莽驾驶是不当的。这些知识是否属于世界模型？

一个实用的立场是采用“包含性定义”：世界模型是智能体对环境结构的综合表征，包括对物理规律、环境动态、奖励结构和任务约束的编码。这种定义将环境模型作为其核心组成部分，同时容纳了目标相关的知识。这种包容性是有道理的，因为人类的世界模型显然不是价值中立的——我们对世界的理解本身就是从生存和适应的角度构建的。

1.2.3 生成模型与判别模型

生成模型（Generative Model）和判别模型（Discriminative Model）的区分在机器学习中至关重要，这一区分对理解世界模型的本质同样关键。判别模型学习$p(y|x)$：给定输入，输出标签或值；生成模型学习$p(x)$或$p(x|y)$：对数据分布本身进行建模。

世界模型本质上是生成模型：它需要能够生成对环境的“想象”或“模拟”——给定当前状态，生成可能的未来状态；给定隐变量，生成观测样本。这种生成能力是判别模型所不具备的。传统的强化学习策略网络是判别模型：它直接学习状态到动作的映射，但无法“想象”状态如何变化。相比之下，具有生成能力的世界模型允许智能体在动作执行之前进行规划，在认知上模拟不同行动序列的后果。

变分自编码器、扩散模型（Diffusion Model）和自回归模型（Autoregressive Model）是当前实现世界模型生成能力的三大主流技术路径。VAE通过学习隐变量空间的对角高斯分布来建模观测的条件分布，其优势在于推理速度快（直接编码），但生成质量受限于先验与后验之间的分布差距。扩散模型通过迭代去噪过程从噪声中恢复数据，生成质量高，但推理速度慢，难以直接用于需要快速想象的在线规划。Transformer架构的自回归模型则在语言和视频等序列数据上展现了强大的生成能力，但其推理成本随序列长度呈二次增长。

1.2.4 心理模型与模拟理论

认知科学中与“世界模型”最为接近的概念是“心理模型”（Mental Model）。菲利普·约翰逊-莱尔德（Philip Johnson-Laird）提出的心理模型理论认为，推理和理解依赖于在心智中构建对可能情况的内部表征。这一理论对世界模型的构建有重要启示：人类的世界模型并非对现实的精确复制，而是“够用”的近似——它在典型情况下能够做出准确预测，但在边界情况下可能产生系统性偏差。

认知模拟理论（Simulation Theory）进一步深化了这一观点。该理论认为，心智表征本质上是“模拟”——对感知运动过程的重新激活。例如，理解“抓起咖啡杯”这句话可能涉及对抓取动作的内部模拟，而不仅仅是抽象的语义解码。在这一框架下，世界模型不是静态的表征，而是动态运行的“模拟引擎”：当我们思考某个情境时，我们实际上是在运行关于该情境的模拟。

这些理论为人工智能中世界模型的设计提供了重要启示。首先，世界模型应该支持因果模拟（Casual Simulation）——不仅描述“是什么”，更描述“如果...会怎样”。其次，世界模型应该与感觉运动系统紧密耦合——对世界的理解部分体现在如何与它交互的能力中。最后，世界模型应该具有层次化的抽象结构——从具体的感官细节到抽象的因果关系，不同层次服务于不同的认知需求。

---

1.3 数学形式化：概率图模型框架

1.3.1 隐状态空间与状态表示

世界模型的数学形式化始于对“状态”概念的精确定义。在物理系统中，状态通常指完全描述系统当前情况所需的最小变量集。然而，在人工智能和认知科学中，由于智能体无法直接观测环境状态，我们不得不区分真实状态（True State）与感知状态（Perceived State）。

设环境在时刻$t$的真实状态为$s_t \in \mathcal{S}$，智能体的观测为$o_t \in \mathcal{O}$，两者之间的关系由观测函数（Observation Function）$g$描述：$o_t = g(s_t, \epsilon_t)$，其中$\epsilon_t$表示传感器噪声。在部分可观测环境中，观测函数通常不是单射的（Injectivity）——不同的状态可能产生相同的观测。这意味着智能体必须从有限的信息中推断真实状态，这种推断本身就是世界模型的核心功能之一。

世界模型引入隐状态（Latent State）的概念来解决这一问题。设$z_t \in \mathcal{Z}$为智能体维护的隐状态表示，$z_t$是$s_t$的充分统计量（Sufficient Statistic）：给定$z_t$，未来的观测$o_{t+1}, o_{t+2}, \ldots$的条件分布与给定完整历史$o_{1:t}$相同。这一条件在数学上表示为：

$$p(o_{t+1:\infty} | z_t) = p(o_{t+1:\infty} | o_{1:t})$$

充分性条件确保了隐状态包含了所有对未来预测有用的信息。值得注意的是，$\mathcal{Z}$的维度不必等于$\mathcal{S}$——智能体可以选择更紧凑的表示（丢失部分不可知信息）或更丰富的表示（包含超出环境状态的额外结构，如元认知信息）。

隐状态空间的维度选择是建模中的关键决策。降维的好处包括：减少存储和计算成本、促进泛化、可能发现数据的低维流形结构；升维的风险在于：维度灾难、过拟合、对长序列推断的困难。当前的深度学习方法倾向于使用高维隐空间，通过正则化（如VAE的KL散度、对比学习的InfoNCE损失）来防止过拟合。

1.3.2 转移函数与动态建模

转移函数（Transition Function）描述了状态如何随时间演化。在确定性环境中，这可以写作$z_{t+1} = f(z_t, a_t)$；在随机环境中，则需要建模条件分布$p(z_{t+1} | z_t, a_t)$。转移函数是动态建模（Dynamic Modeling）的核心组件，也是世界模型区别于静态感知模型的关键特征。

动态建模面临的核心挑战是长程预测的误差累积。每一步预测都存在一定的不确定性，这些不确定性会随时间指数级放大。以一个简单的离散状态环境为例：假设每一步预测正确的概率为0.99，那么在100步后的预测可靠性将降至约0.37。即使状态空间是连续的，类似的误差累积问题依然存在。

人类和动物似乎发展出了缓解这一问题的策略。一种策略是层次化的时间抽象（Hierarchical Temporal Abstraction）：在不同时间尺度上进行预测，在粗粒度层次上保持可靠性，仅在需要时才细化为精细预测。另一种策略是不确定性感知表示（Uncertainty-aware Representation）：在隐空间中显式编码预测不确定性，使得模型能够“知道它不知道什么”。变分推断提供了实现后者的数学工具：将转移函数建模为$p_\theta(z_{t+1} | z_t, a_t)$，同时维护对隐状态的概率分布而非点估计。

序列到序列（Seq2Seq）架构是实现转移函数的标准方法。循环神经网络（RNN）、长短期记忆网络（LSTM）、门控循环单元（GRU）和Transformer是常用的序列建模组件。近年来，状态空间模型（State Space Model, SSM）如Mamba架构在线性复杂度的同时实现了高效的序列建模，为长程动态建模提供了新的可能性。

1.3.3 观测模型与感知重建

观测模型（Observation Model）定义了从隐状态到观测的映射。在生成式框架下，这写作$p_\phi(o_t | z_t)$——给定当前状态，生成观测的条件分布。观测模型是感知重建（Perceptual Reconstruction）的基础：在需要可视化“智能体在想什么”或需要将隐表示解码为可解释形式时，观测模型提供了转换接口。

观测模型的选择取决于任务需求和数据类型。像素级重建使用解码器网络将隐状态映射回图像空间，损失函数通常为均方误差（MSE）或感知损失（Perceptual Loss）。特征级重建则不要求像素级精度，而是匹配高层特征表示，这在需要更高抽象层次时更为合适。离散token重建先将连续表示量化为离散码本，再通过自回归解码生成观测，这一范式在语言-视觉模型中广泛应用。