第1章 语音技术导论：从人耳到机器智能

语音技术导论：从人耳到机器智能

一个人说出一句话，声音穿过空气抵达另一个人耳中，被解码为意义——这个过程在日常生活中几乎不耗费我们任何注意力。然而，当我们要让一台机器完成同样的事情时，却发现这条看似平滑的链路实际上由无数精密的子环节构成：肺部推动气流、声带（vocal folds / vocal cords）周期性振动产生激励、声道（vocal tract）通过形状变化对激励进行频谱整形、外耳与中耳完成声电转换、耳蜗（cochlea）在基底膜上完成近似于傅里叶分析的频率分解、听神经将机械信号编码为脉冲序列、最终由听觉皮层与语言中枢联合完成从声学信号到语义内容的飞跃。本章要回答的根本问题正是：什么是语音（speech），机器如何学会处理语音，以及经过近七十年的研究，这条"从人耳到机器智能"的路径已经走到了哪里。读者将在四个递进的层次中建立全局认知：先理解人类语音的产生与感知，再梳理语音技术的研究范畴，然后以历史时间为轴回顾关键里程碑，最后落脚于 2020 年代的现代应用图景与可上手的工程环境。

1.1 语音的产生与感知：从声门激励到听觉掩蔽

1.1.1 语音产生的"源—滤波器"模型

现代语音学普遍采用源—滤波器模型（Source-Filter Model）来解释语音的产生过程。该模型由 Gunnar Fant 在 1960 年的经典著作 *Acoustic Theory of Speech Production* 中系统化，可以形式化地表达为：

$$s(t) = e(t) * h(t)$$

其中，$s(t)$ 是口唇辐射处的语音信号，$e(t)$ 是声门激励（glottal excitation），$h(t)$ 是声道传递函数（vocal tract transfer function）的冲激响应，$*$ 表示卷积运算。

声门激励 $e(t)$ 的性质决定了语音的"声带振动"特性。当声带在气流通过时周期性地打开与闭合，气流被切割成一系列准周期脉冲，气流频谱在基频（fundamental frequency, $F_0$）及其整数倍谐波处呈现明显的能量集中。这种激励对应的语音称为浊音（voiced sound），例如元音 `/a/`、`/i/`、`/u/` 以及浊辅音 `/b/`、`/d/`、`/g/` 等。当声门保持开放、气流以湍流形式通过某处收缩时，产生的是清音（unvoiced sound），其激励接近白噪声，例如清辅音 `/s/`、`/f/`、`/sh/`。此外还有一类爆破音（plosive），例如 `/p/`、`/t/`、`/k/`，其特征是先出现短暂静默（闭合期），随后是突然的能量释放。

声道作为"滤波器"，其形状由舌、唇、软腭、下颌等发音器官的位置决定，长度约 17 cm 的声道可以形成多个共鸣峰（formant）。第一共振峰 $F_1$ 主要与舌位高低（jaw opening）相关，第二共振峰 $F_2$ 主要与舌位前后相关，第三共振峰 $F_3$ 则与唇形和软腭动作有关。英语元音的区分本质上就是 $F_1$–$F_2$ 平面上的位置差异——这就是为什么在声学空间里绘制元音图（vowel chart）非常直观。

理解源—滤波器模型对后续章节至关重要：几乎所有现代语音合成系统的声码器（vocoder）都建立在"先预测激励，再预测滤波器参数"的范式之上；几乎所有语音识别系统的声学模型也都在学习"从语音信号反推激励与声道参数组合"的过程。

1.1.2 语音感知的神经通路与频率分解

人类听觉系统对语音的接收可以拆解为机械、声学、神经三个阶段。声波首先引起鼓膜（tympanic membrane）振动，并通过三块听小骨（ossicles）将振动高效地传递到内耳的卵圆窗。内耳的核心器官是耳蜗（cochlea）——一个盘旋约 2.5 圈、长约 35 mm 的螺旋管。耳蜗内部充满液体，基底膜（basilar membrane）将不同频率的声压转换为不同位置的峰值振动：高频成分引起基底膜靠近卵圆窗处的强烈振动，低频成分则在靠近蜗顶处达到最大振幅。这种"地点编码（place coding）"机制意味着耳蜗天然实现了一个频率—位置映射，等价于对信号进行一组带通滤波。

耳蜗内毛细胞（hair cells） 将基底膜的机械振动转换为听神经（auditory nerve）的电脉冲，并保留了信号的时间精细结构与包络信息。听神经将脉冲传递到脑干的耳蜗核（cochlear nucleus），进而到达上橄榄复合体（用于声源定位）、下丘（midbrain）、丘脑的内侧膝状体，最终到达初级听觉皮层（primary auditory cortex, A1）与韦尼克区（Wernicke's area，负责语言理解）以及布罗卡区（Broca's area，负责语言产生）。

这一通路给语音技术研究带来两点关键启发：

第一，频率分辨率非线性。耳蜗对低频敏感、对高频粗糙，对应的心理感知尺度是梅尔尺度（Mel scale）与巴克尺度（Bark scale）。在工程上，这意味着我们提取特征（如 MFCC、Filter Banks）时，滤波器组应当在梅尔尺度上近似等距分布：

$$\text{mel}(f) = 2595 \cdot \log_{10}\left(1 + \frac{f}{700}\right)$$

第二，听觉掩蔽（auditory masking）效应。当一个较强的语音分量与其频率邻近的弱分量同时存在时，弱分量可能被前者掩盖而难以被听者分辨。这一效应被广泛用于音频编码（如 MP3、AAC）以及语音增强中的感知损失函数设计。后续章节中我们将看到，深度学习时代的语音合成损失函数（如 HiFi-GAN、BigVGAN）中融入了多尺度 STFT 与人耳感知权重的设计，正是对这一原理的呼应。

1.1.3 语音作为"声学—语言"双重信号

值得注意的是，语音信号承载的信息远超"说了什么"。除语义内容（lexical content）外，语音还携带副语言信息（paralinguistic information），包括：

• **说话人身份（speaker identity）**：由声道长度、口腔形状、发音习惯等生理和行为特征共同决定。
• **情绪状态（emotion）**：兴奋、愤怒、低落、惊讶等会显著改变 $F_0$ 范围、语速（speaking rate）和能量（intensity）。
• **韵律（prosody）**：包括 $F_0$ 轮廓、时长（duration）、能量（energy）三要素，决定了"重音"、"疑问"、"陈述"等语调类型。
• **口音、方言与社会语言学特征（accent / dialect）**。
• **信道与背景（channel / background）**：麦克风特性、房间混响、环境噪声。

这一双重性是语音技术分支繁多的根源——处理"说了什么"是自动语音识别（Automatic Speech Recognition, ASR）与语音翻译（Speech Translation）的核心；产生"自然语音"是文本到语音合成（Text-to-Speech, TTS）的目标；变换"谁在说"是语音转换（Voice Conversion, VC）；识别"说话人是谁"是说话人识别（Speaker Recognition）；分离"谁在何时说话"是说话人日志（Speaker Diarization）；剔除"背景噪声"是语音增强（Speech Enhancement）。理解这些分支的关键，是首先承认语音信号是一个多任务（multi-task）的载体。

1.2 语音技术的研究范畴：五条主线与一张地图

1.2.1 ASR：让机器"听懂"人话

自动语音识别（Automatic Speech Recognition, ASR）是语音技术最古老、研究最深入、产业化最成熟的分支。其任务定义为：给定一段声学输入序列 $X = (x_1, x_2, \ldots, x_T)$，输出对应的文字序列 $W = (w_1, w_2, \ldots, w_U)$，即在给定 $X$ 的条件下寻找使后验概率最大的文字序列：

$$W^* = \arg\max_W P(W \mid X) = \arg\max_W P(X \mid W) \cdot P(W)$$

这里 $P(X \mid W)$ 是声学模型（Acoustic Model, AM），$P(W)$ 是语言模型（Language Model, LM）。在传统的 HMM-GMM 时代，AM 估计的是音素或三音素（triphone）的概率，LM 通常是 n-gram 统计模型；在深度学习时代，端到端模型（CTC、Attention-based Encoder-Decoder、Transducer）将 AM 与 LM 联合训练；而在 2020 年代的大规模预训练范式下，Whisper、USM 等模型将 ASR 扩展到多语言、多任务，LM 逐渐被统一进同一个 Transformer 架构中。

ASR 的核心评价指标是词错误率（Word Error Rate, WER）：

$$\text{WER} = \frac{S + D + I}{N}$$

其中 $S$（Substitution）、$D$（Deletion）、$I$（Insertion）分别为替换、删除、插入错误的数量，$N$ 为参考文本词数。中文场景下常用字错误率（Character Error Rate, CER）。

1.2.2 TTS：让机器"开口"说话

文本到语音合成（Text-to-Speech, TTS） 与 ASR 在某种意义上互为逆过程：给定文字序列 $W$，生成对应的语音波形 $X$。TTS 经历了三个主要范式：

1. 拼接合成（Concatenative Synthesis）：在大型语音库中挑选合适的基元（diphone、half-phone）进行拼接。优点是音质高，缺点是灵活性差、数据需求巨大。 2. 统计参数合成（Statistical Parametric Speech Synthesis, SPSS）：以 HTS（HMM/DNN-based Speech Synthesis System）为代表，将语音参数化（谱包络、$F_0$、时长），用统计模型预测参数，再用声码器（vocoder，如 STRAIGHT、WORLD）合成波形。 3. 神经网络端到端合成（Neural End-to-End TTS）：以 Tacotron 2、FastSpeech 2 为代表的前端—声码器分离架构，以及以 VITS、NaturalSpeech 系列为代表的一体化（一体化同时建模频谱与波形）方案。2023 年以来，基于语言模型的神经音频 codec（如 SoundStorm、VALL-E、SoundStream）使 TTS 进入了"零样本语音克隆"的新阶段。

TTS 的核心评价分为主观（MOS、CMOS、ABX）与客观（MCD、F0 RMSE 等）两类。

1.2.3 Voice Conversion、Speaker Recognition 与其他子领域

除 ASR 与 TTS 之外，语音技术还包括若干重要分支：

• **语音转换（Voice Conversion, VC）**：在保持语义内容不变的前提下，将源说话人的语音转换为具有目标说话人音色与韵律特征的语音。代表方法有基于音素后验图（PPG）的解耦方案、扩散模型（DiffVC）、以及基于自监督表示的 kNN-VC。
• **说话人识别（Speaker Recognition）**：分为**说话人验证（Speaker Verification, SV）**——判断两段语音是否来自同一人——与**说话人辨认（Speaker Identification, SI）**——在 N 个候选中找出说话人身份。EER（Equal Error Rate）与 minDCF 是主流指标。
• **说话人日志（Speaker Diarization）**：回答"谁在什么时间段说话"，常用于会议记录、客服质检。
• **语音增强（Speech Enhancement）**：从含噪语音中恢复干净语音，包括降噪、去混响、分离。代表方法有 Spectral Subtraction、NN-based mask estimation，以及近年来的 Diffusion-based 与 Flow Matching 方法。
• **语音翻译（Speech Translation, ST）**：直接实现"语音 → 另一种语言的语音或文字"，如 Whisper、SeamlessM4T、Qwen2-Audio 等多任务模型。
• **情感识别（Speech Emotion Recognition, SER）**、**音频事件检测（Audio Event Detection, AED）**、**病理语音分析（Pathological Speech Analysis）** 等则属于更细分的研究方向。

```mermaid flowchart TD A[Speech Technology] --> B[ASR] A --> C[TTS] A --> D[Voice Conversion] A --> E[Speaker Recognition] A --> F[Speaker Diarization] A --> G[Speech Enhancement] A --> H[Speech Translation] A --> I[Speech Emotion Recognition] A --> J[Audio Event Detection] B --> B1[Acoustic Model] B --> B2[Language Model] B --> B3[Decoder] C --> C1[Text Analysis Frontend] C --> C2[Acoustic Model Vocoder] C --> C3[Prosody Model] E --> E1[Speaker Verification] E --> E2[Speaker Identification] ```

> 图 1.1 语音技术研究范畴与子领域分类图。读者可在此基础上补充自己感兴趣的方向，逐步形成"个人研究地图"。

1.2.4 一个跨任务视角：语音表征的统一与分离

值得注意的是，最近五年的研究趋势是从"任务专属模型"走向"通用语音表征 + 任务头（task head）"。wav2vec 2.0、HuBERT、WavLM 等自监督预训练模型学到的语音表示，可以同时为 ASR、SV、SE、SLU 等任务提供基础。Google 的 USM（Universal Speech Model）、OpenAI 的 Whisper、Meta 的 SeamlessM4T、阿里达摩院的 SenseVoice 等则将这种思路推向"多语言、多任务、跨模态"。

但是"统一"并不等于"无差异"。不同任务对表征的需求侧重点不同：ASR 关注与音素、文字强相关的信息；SV 关注说话人身份特征而压制内容信息；VC 关注解耦（disentangle）内容与说话人特征。因此，与"统一表征"并行的另一条研究主线是解耦表示（disentangled representation）——例如 ContentVec 用于提取说话人无关的内容向量，d-vector/x-vector 用于提取说话人身份向量。理解这种"统一—解耦"二元张力，是把握当前语音 AI 进展的关键钥匙。

1.3 七十年里程碑：从 Audrey 到大规模预训练

1.3.1 1950s–1970s：规则与模板的童年

语音识别的研究可以追溯到 1952 年贝尔实验室的 Audrey 系统。该系统由 K. H. Davis、R. Biddulph 和 S. Balashek 构建，能够识别单一说话人（speaker-dependent）的 10 个英文数字（0–9），其原理是将输入语音的频谱与手工构造的模板进行匹配，识别准确率约为 90%。在硬件极其有限的年代，这是一个了不起的成就。

1962 年，IBM 推出了 IBM Shoebox 系统，能识别 16 个英文单词（包括数字与算术指令），并通过语音输入驱动简单的计算任务——这可以视为"语音助手"概念的最早雏形。1971 年，DARPA 启动了一项雄心勃勃的五年计划，目标是构建能理解 1000 词汇量的连续语音识别系统。这一时期的代表工作包括 Carnegie Mellon 的 HEARSAY 与 Harpy，它们引入了黑板模型（blackboard architecture）与有限状态网络解码思想。

整个 1970 年代，主流方法都依赖手工设计特征 + 动态时间规整（Dynamic Time Warping, DTW）+ 模板匹配。研究者开始意识到，要让识别器真正实用，必须解决三个核心难题：连续语音的协同发音（coarticulation）、说话人无关（speaker-independent）、大词汇量（large vocabulary）。这些挑战将在 1980 年代与统计学习的浪潮中迎来答案。

1.3.2 1980s–2000s：HMM 统治时代

1980 年代，三个关键的理论突破奠定了此后二十余年的技术格局：

• **隐马尔可夫模型（Hidden Markov Model, HMM）** 的引入。HMM 提供了一个对语音信号"短时平稳、长时变化"特性的优雅数学描述：每个状态对应一个稳定的发音单元（如三音素），状态之间的转移概率刻画发音的动态过程。HMM 的训练可以通过 Baum-Welch 算法（EM 的一种特例）实现，识别则通过 Viterbi 动态规划求解最优状态序列。
• **高斯混合模型（Gaussian Mixture Model, GMM）** 作为 HMM 的发射概率密度函数。GMM 灵活地建模每个状态内部的声学特征分布。
• **N-gram 统计语言模型**。基于大量文本语料统计词语序列概率，为识别器提供语言先验。

1986 年，IBM 的 Tangora 语音打字机将基于 HMM 的方法扩展到 20,000 词词汇量，1990 年代初，**Dragon Di