无监督学习：当数据没有答案时我们学什么

当数据没有标准答案时，学习并不会停止；它只是换了一种提问方式。监督学习依赖“输入—输出”对（例如图像与类别），而在许多真实场景中，我们只有大量输入数据：传感器记录、用户行为日志、文本语料、医学影像、工业设备振动信号……它们往往规模巨大，却缺少可靠、稳定、可复用的标签。无监督学习要解决的问题正源于此：在不借助外部标注的前提下，从数据自身的结构中提炼规律、发现模式，并构建可迁移、可复用的内部表征（representation）。

从学术角度看，“没有答案”并不意味着“没有目标”。无监督学习并非放弃目标函数，而是将目标函数的来源从“外部给定的标签”转向“数据内部的一致性约束”与“模型对数据的解释能力”。这种转向决定了无监督学习的边界：它更擅长发现结构、压缩信息、刻画分布与学习表征，却不保证这些结构一定对应人类想要的语义类别；它提供的是一种“可用的组织方式”，而不是自动生成的“唯一正确答案”。

无监督学习：从“回答问题”到“提出问题”

数据没有答案时，什么仍然是可学习的？

设数据集为 $\mathcal{D}=\{x_i\}_{i=1}^N$。在监督学习中，我们同时拥有 $y_i$，学习目标通常是拟合条件分布 $p(y\mid x)$ 或直接最小化经验风险 $\sum_i \ell(f(x_i),y_i)$。而无监督学习只观察到 $x$，因此常见学习目标会转向以下几类：

• 学习数据的结构（例如簇结构、低维流形结构）。
• 学习数据的生成机制或近似分布（例如密度估计、生成模型）。
• 学习对下游任务有用的表征（例如压缩后的隐变量、可分离的特征）。

从方法论上看，这意味着我们必须“自造问题”（proxy task）：通过构造某种自监督信号（例如重建、对比、一致性约束），迫使模型学习到数据的可预测部分。自编码器（Autoencoder, AE）就是最典型的例子：它把“学会理解数据”转化为“学会在信息瓶颈下重建数据”。

> 侧边栏（读者直觉）： > 无监督学习的核心不是“没有监督”，而是“监督来自数据本身”。重建损失、相似性约束、概率似然，都是一种“内部监督”。

四类核心目标：聚类、降维、密度估计、表征学习

聚类：把相似的样本放在一起

聚类试图将样本划分为若干组，使组内相似、组间差异。经典算法如 K-means、GMM（高斯混合模型）、谱聚类等。

• **典型应用案例（客户分群）**：电商平台希望按购买行为对用户分群，但并不存在“用户属于哪一群”的标准标签。通过对用户特征（访问频率、品类偏好、价格敏感度等）聚类，可以得到运营可用的群体结构，用于差异化策略制定。
• **边界与风险**：聚类结果高度依赖特征尺度、距离度量与簇形状假设（K-means偏好球形簇）。同一数据在不同表示空间中可能产生完全不同的簇划分，因此“聚类是否正确”往往需要结合业务解释与稳定性检验，而非仅凭算法输出。

常用评估指标包括轮廓系数（Silhouette）、Calinski–Harabasz 指数、Davies–Bouldin 指数等，但需要注意：这些指标衡量的是“几何上的紧致与分离”，不等价于“语义上的合理”。

降维：用更少的自由度解释数据

降维假设数据存在低维结构：高维观测可能来自少量潜在因素（隐变量）的组合。线性降维的代表是 PCA；非线性降维包括核 PCA、t-SNE、UMAP，以及本书核心方法之一——自编码器。

• **典型应用案例（可视化与结构探索）**：将高维文本向量或图像特征降到二维/三维，用于探索数据是否存在明显分群、是否有异常点、是否呈现连续变化。
• **重要提醒**：可视化友好的方法（如 t-SNE）强调局部邻域保真，但可能扭曲全局距离；用于展示不等于用于建模。自编码器更偏向“可逆的压缩”，与可视化导向的方法在目标上并不相同。

密度估计：学习“数据从哪里来”

密度估计旨在学习 $p(x)$ 或其可计算的替代目标（如变分下界），从而回答“什么样的样本更像来自训练分布”。常见方法包括 GMM、核密度估计、正态化流（Normalizing Flows）、能量模型，以及生成式自编码器的变体（例如 VAE）。

• **典型应用案例（异常检测）**：在工业质检中，正常样本大量存在，异常样本稀缺且类型多变。若能学习“正常分布”的密度或重建模式，则当新样本出现低似然或高重建误差时，可作为异常信号。

表征学习：为未知任务提前学习“特征语言”

表征学习关注的是：找到一个映射 $z=f(x)$，使得 $z$ 在保留关键信息的同时更便于下游任务使用（例如更线性可分、更鲁棒、更具可迁移性）。从实践角度看，表征学习常常是无监督学习最“可兑现”的价值：即便没有标签，我们也能先训练出一个好用的表示，再用少量标注完成下游分类、检索、排序等任务。

一个常见评估手段是 线性探针（linear probing）：冻结编码器，只训练一个线性分类器，看表示是否易于分离。这种评估强调“表示本身的质量”，比直接看重建误差更贴近下游可用性。

下面的流程图概括了无监督学习在工程中的典型位置：

```mermaid graph TD A[原始数据 x] --> B[无监督/自监督目标] B --> C[训练模型] C --> D[隐变量/表示 z] D --> E1[聚类与探索] D --> E2[可视化/降维] D --> E3[异常检测/密度相关] D --> E4[下游任务微调/少样本学习] ```

“压缩即理解”：从生活类比到信息论直觉

理解“压缩”为什么与“学习”相关，可以从两个层次把握。

生活类比：会写摘要的人更“懂”

若要求你把一篇长文压缩成 200 字摘要，你必须抓住主旨、舍弃枝节；若要求你把一段冗长的会议录音整理成要点，你必须辨别重复信息、过滤噪声。压缩迫使我们回答：哪些信息是不可或缺的？哪些变化是次要的？这正是“学习”在认知层面的意义。

信息论直觉：在约束下保留最大可预测信息

从信息论角度看，压缩与理解的关系常被概括为：在有限容量的表示空间中，尽可能保留与数据生成机制相关的结构信息。自编码器将这一点具体化为“瓶颈结构”：编码器把 $x$ 压到低维隐变量 $z$，解码器再从 $z$ 还原 $x$。在瓶颈足够窄或正则足够强时，模型无法简单记忆输入，只能学习到更可复用的规律（例如边缘、纹理、形状组合等）。

当然，“压缩”不必然等于“理解”。如果压缩目标与我们关心的语义不一致，模型可能学到对重建有利但对任务无用的细节（例如像素级噪声的统计规律）。因此，无监督学习的关键在于：选择怎样的压缩目标与约束，使得保留下来的信息更接近“语义层面的可解释因素”。

> 侧边栏（重要提醒）： > 重建误差低不等于表示好。一个容量极大的自编码器可能近似“复制粘贴”，几乎零误差，却未必产生有用的抽象特征。

自编码器在无监督学习中的位置：隐变量的第一扇门

基本形式：编码—解码与重建损失

最基本的自编码器由两部分组成：

• 编码器：$z=f_\theta(x)$
• 解码器：$\hat{x}=g_\phi(z)$

训练目标常见为最小化重建误差，例如均方误差（连续数据）或交叉熵（离散/二值化数据）： $$ \min_{\theta,\phi}\ \sum_{i=1}^{N}\ \mathcal{L}\big(x_i,\ g_\phi(f_\theta(x_i))\big). $$

在这一框架下，$z$ 是“隐变量”的具体化：它不是外部提供的标签，而是模型为完成重建任务而自动形成的内部坐标系。理解自编码器的关键，不在于它能否压缩，而在于它 把“学习”变成了“在瓶颈下重建” 这一可优化的目标。

与 PCA 的对照：线性与非线性、显式与隐式

PCA 可以视为一种经典的线性自编码器：当编码器/解码器都是线性映射、损失为均方误差且不加非线性时，其最优解与 PCA 子空间存在紧密关系。自编码器的优势在于：

• 可引入非线性（激活函数），学习更复杂的流形结构；
• 可结合正则化（稀疏、去噪、变分等），诱导更符合需求的表示；
• 可扩展到更复杂数据类型（图像、文本、序列）与更大规模模型。

但这些优势也伴随新的问题：优化可能更难、可解释性降低、以及“学到的是什么”更依赖建模选择。

典型变体（本书后续将逐步展开）

• **去噪自编码器（Denoising AE）**：输入加噪，输出还原干净样本，强调鲁棒性与结构信息。
• **稀疏自编码器（Sparse AE）**：通过稀疏约束让表示更可分解、更具部件化特征。
• **变分自编码器（VAE）**：将 $z$ 视为随机变量，学习生成分布，连接密度估计与生成建模。

与监督学习的关键差异：目标函数与评估方式的改变

标签差异：从“对齐真值”到“对齐结构”

监督学习的目标由 $y$ 定义，误差可直接解释为“预测与真值的偏差”。无监督学习没有 $y$，因此需要通过结构性目标间接塑形，例如：

• 重建：保真压缩（自编码器）。
• 对比：拉近同一对象的不同视图、拉远不同对象（对比学习）。
• 生成：最大化似然或其下界（密度估计/生成模型）。
• 一致性：增强前后输出一致（半监督与自监督常用）。

这带来的现实影响是：无监督学习更像是在“搭建一套表征语言”，其好坏往往要靠后续用途来验证。

评估差异：没有单一指标的“标准答案”

监督学习常以准确率、AUC 等指标为中心；无监督学习常见的评估路径包括：

• **内部指标**：聚类的紧致度/分离度；降维的重建误差；密度模型的对数似然。
• **外部用途**：用少量标签做线性探针或微调；做检索/聚类的人类评估；在异常检测中看召回率与误报率。
• **稳定性检验**：不同初始化、不同子样本、不同超参数下结果是否一致。

在工程上，一个务实的原则是：把无监督模型当作“特征生产线”，用下游任务的收益来度量价值。这也解释了为何表征学习在当代无监督研究中占据核心位置。

常见陷阱：伪目标与表示坍塌

如果代理目标设计不当，模型可能出现“投机取巧”。例如在某些设置下，模型可能学到几乎恒定的表示（表示坍塌），仍能在特定损失上取得不错数值；或者学到与噪声相关的统计特征，却无法迁移到下游任务。解决这些问题通常需要更合理的约束（瓶颈、正则化、对比结构、信息量控制）以及更贴近任务的评估策略。

本书学习路线：从直觉到实战，从压缩到生成

本书将围绕“隐变量”的思想展开：用可学习的 $z$ 来组织数据、解释数据，并服务于实际任务。全书内容设计为由浅入深的 20 个主题单元，读者可按顺序学习，也可按目标选择路径：

• 无监督学习的核心任务与评估范式
• 线性表示与 PCA：从矩阵到几何直觉
• 神经网络基础：表示能力与优化要点
• 自编码器入门：编码器、解码器与重建
• 正则化自编码器：稀疏、去噪与信息瓶颈
• 卷积自编码器：图像数据的结构先验
• 序列自编码器：时间序列与文本的编码方式
• 表征质量评估：线性探针、迁移与稳定性
• 聚类与表示的结合：先聚类还是先表征
• 异常检测实战：重建误差与分布偏移
• 变分思想导入：概率视角下的隐变量
• VAE 结构与训练：重参数化与下界优化
• VAE 的表征与生成：可控性与解耦
• 潜空间运算：插值、采样与语义方向
• 正态化流/扩散模型的基本直觉（对比视角）
• 无监督在推荐与检索中的用法
• 小样本与半监督：无标签表征的再利用
• 工程实践：数据管线、监控与失效模式
• 伦理与偏差：无监督同样会“学坏”
• 综合项目：从原始数据到可交付系统

> 数字版提示（可扩展阅读）： > PyTorch 文档：https://pytorch.org/docs/stable/index.html > TensorFlow 文档：https://www.tensorflow.org/api_docs > 建议在阅读到“变分”主题前，先熟悉 KL 散度与期望的基本性质。

预备知识与实践环境建议（可操作清单）

数学与概念（够用即可）

• **线性代数**：向量/矩阵运算、特征值与特征向量、正交投影（理解 PCA 与线性自编码器足够）。
• **概率与统计**：随机变量、期望方差、常见分布、最大似然；理解 KL 散度将对 VAE 很关键。
• **微积分与优化**：链式法则、梯度下降、过拟合与正则化。
• **信息论直觉**：熵与互信息的概念层理解即可，不要求推导复杂定理。

编程与工具

• **Python**：建议具备函数、类、NumPy 数组操作与可视化（Matplotlib）基础。
• **NumPy**：矩阵运算与广播机制。
• **深度学习框架**：PyTorch 或 TensorFlow（二选一即可）。本书讨论会尽量保持框架无关，但示例更偏向 PyTorch 的表达习惯。

版本建议（兼顾可复现与易安装）

• Python：建议 3.9 或以上（3.8 通常也可用，但新库支持可能滞后）。
• NumPy：建议 1.21+。
• PyTorch：建议 2.x（CPU 或 GPU 版本皆可）。
• TensorFlow：建议 2.10+（根据系统与硬件选择合适版本）。

可用以下命令快速搭建基础环境（示例以 pip 为主；若使用 conda 也完全可行）：

```bash pip install numpy matplotlib scikit-learn pip install torch torchvision torchaudio

或者选择 TensorFlow：

pip install tensorflow

```

硬件建议与现实预期

• **CPU 也能学**：本书入门与核心实验（小型自编码器、MNIST/CIFAR 子集、简单异常检测）用 CPU 也可完成，只是训练更慢。
• **GPU 更高效**：若使用 NVIDIA GPU，需匹配 CUDA 版本；若为 Apple 芯片，可尝试 MPS 后端（性能依任务而异）。
• **工程习惯**：建议使用 Jupyter 或 VS Code；养成记录随机种子、保存配置与日志的习惯，以便复现实验。

小结：当数据没有答案，我们在学习什么？

无监督学习关注的是数据内部的结构与可解释性：通过聚类发现群体，通过降维揭示低维因素，通过密度估计刻画“正常性”，通过表征学习为未知任务提前准备特征。自编码器在其中扮演的角色尤为关键：它将“理解”转化为“在瓶颈下重建”，从而让隐变量成为可优化、可分析、可迁移的对象。

下一步的核心问题将是：在具体实现层面，我们如何选择网络结构、损失函数与正则化，使得自编码器不仅能重建数据，更能学到“有用的隐变量”？这将把我们从概念直觉推进到可复现实验与可解释现象之中。