第1章 语音信号基础与数字表示 / Chapter 1 Fundamentals of Speech Signal and Digital Representation

语音是人类最自然、最高效的交互媒介，其承载的语义、情感、身份等信息是智能语音技术（Intelligent Speech Technology）的核心处理对象。要理解语音AI的演进逻辑，首先需要从语音产生的物理本质、人类感知的认知机制、数字信号的表示方法三个维度建立扎实的基础认知，本章将系统梳理这些核心内容，为后续从隐马尔可夫模型（Hidden Markov Model, HMM）到端到端（End-to-End）语音技术的学习奠定理论与技术基础。

1.1 语音产生的生理与声学基础

语音是发音器官（Speech Production Organs）在神经系统控制下运动产生的声学信号，其产生过程可分解为动力产生、声源激发、声道调制三个核心环节，对应的生理结构分别为呼吸系统、发声系统、构音系统。理解这一过程是建立语音声学模型的基础，也是区分不同语音类型（如元音、辅音、浊音、清音）的核心依据。

1.1.1 发音系统的生理结构

呼吸系统是语音产生的动力源，由肺、气管、胸腔组成：肺通过收缩扩张产生稳定的气流，气流经气管传输至喉部，气流的大小和压力直接决定语音的响度。正常平静呼吸时的气流速度约为0.1L/s，而发音时的气流速度可提升至1-10L/s，这种气流压力的动态变化是语音动态特性的生理基础[^1]。

发声系统的核心是喉（Larynx），其中的声带（Vocal Folds）是语音产生的最关键声源结构。成年男性的声带长度约为2.5cm，厚度约3mm，女性声带长度约为1.5cm，厚度约2mm，儿童的声带更短更薄。声带由肌肉和黏膜组成，当肺部气流冲击声带时，声带会周期性地张开和闭合，形成周期性的气流通断，产生周期性的声门波（Glottal Waveform），这是浊音（Voiced Sound）的声源；当声带保持张开状态时，气流直接通过喉部形成湍流，产生噪声声源，这是清音（Unvoiced Sound）的声源。声带振动的频率即为基频（Fundamental Frequency, F0），是决定语音音高的核心参数：成年男性基频范围为80-180Hz，成年女性为180-300Hz，儿童为300-500Hz，基频的微动态变化是语调（Intonation）和声调（Tone）的生理基础。

构音系统由口腔、鼻腔、咽腔组成，其中可活动的发音器官包括舌（Tongue）、唇（Lip）、下颌（Jaw）、软腭（Soft Palate）。这些器官的位置和形状变化会改变声道的长度和截面积分布，从而对声源信号进行调制，形成不同的语音。声道在静止状态下的长度约为17cm，男性略长于女性，发不同音素时声道形状的动态变化率可达每秒数十次，对应音素的切换速度。

> 📌 电子版侧边栏：拓展阅读 > 声带振动的肌理机制可参考Titze的《Principles of Voice Production》，该书详细阐述了声带振动的黏膜波机制，是嗓音学领域的经典著作。

1.1.2 源滤波器模型与声学产生机制

语音产生的核心理论是源滤波器模型（Source-Filter Model），由瑞典皇家理工学院（KTH）的Gunnar Fant教授于1960年在其奠基性著作《Acoustic Theory of Speech Production》中系统提出[^2]。该模型将语音产生过程抽象为两个独立环节的级联：声源环节产生激励信号，滤波器环节对激励信号进行调制，最终输出的语音信号是二者的卷积结果。

从声学角度，声源信号$s(n)$和声道冲激响应$h(n)$的卷积得到语音信号$x(n)$： $$x(n) = s(n) * h(n)$$ 其中$*$表示线性卷积运算。对等式两边做傅里叶变换，得到频域表示： $$X(\omega) = S(\omega) \cdot H(\omega)$$ 其中$S(\omega)$为声源信号的频谱，$H(\omega)$为声道的频率响应。该模型的成立基于三个核心假设：① 声道是线性时不变（Linear Time-Invariant, LTI）系统；② 声源和声道的特性相互独立，不存在耦合；③ 口鼻辐射效应可以被近似为简单的微分操作。

源滤波器模型的物理意义非常直观：声带产生的周期性脉冲或噪声信号，经过由舌、唇、软腭等构成的声道“滤波器”后，不同频率的能量被放大或衰减，最终形成具有特定频谱特征的语音。例如发元音/a/时，声道形状近似为一个开口向前的圆柱形管，其对低频能量的放大作用远高于高频，因此输出的语音频谱在低频段有显著的共振峰（Formant）峰值；而发辅音/s/时，舌尖接近上颚形成窄缝，气流通过窄缝时产生高频湍流噪声，声道滤波器对高频能量的放大作用显著，因此输出信号的频谱能量集中在4kHz以上。

源滤波器模型的局限性在实际应用中需要特别注意：对于爆破音（Plosive）等需要声道快速关闭/打开的辅音，声道的时变性极强，LTI假设不再成立；对于高强度发音或嘶哑音（Hoarseness），声带的振动会出现非线性耦合，声源和声道的独立性假设也会失效。这些非线性特性是当前语音合成与增强领域的核心研究问题之一。

```mermaid graph LR A[肺部气流<br>（动力源，Pressure Source）] --> B[声带振动<br>（周期性脉冲/噪声声源，Source）] B --> C[声道调制<br>（线性滤波器，Filter）] C --> D[口鼻辐射<br>（微分效应，Radiation）] D --> E[语音信号输出<br>x(n) = s(n) * h(n)] ```

1.1.3 元音与辅音的声学产生原理

根据发音时声道是否存在阻碍，语音可分为元音（Vowel）和辅音（Consonant）两大类，二者的声学产生机制和特征有显著差异。

元音是发音时声道形状保持相对稳定的语音，其声源通常为浊音（少数元音如汉语的轻声可以是清音）。元音的声学特征由声道的共振特性决定：声道作为共鸣腔，会对特定频率的声波产生共振放大，这些共振频率即为共振峰（Formant），通常用前三个共振峰$F_1$、$F_2$、$F_3$的频率位置来表征元音的特性。例如汉语单元音/a/的$F_1$约为700-1000Hz，$F_2$约为1200-1800Hz，$F_3$约为2500-3000Hz；而单元音/i/的$F_1$约为200-400Hz，$F_2$约为2200-2800Hz，二者的共振峰位置差异是区分不同元音的核心依据。元音的共振峰位置由声道的形状（即发音时舌、唇、下颌的位置）决定，与基频无关，因此不同说话人发出的同一个元音，即使基频差异显著，共振峰的位置也保持高度一致，这是说话人无关的语音识别技术的核心依据。

辅音是发音时声道某处存在阻碍的语音，根据阻碍的方式和位置，辅音可分为塞音（Plosive，如汉语的/b/、/p/、/t/、/k/）、擦音（Fricative，如汉语的/f/、/s/、/x/）、塞擦音（Affricate，如汉语的/j/、/q/、/zh/、/ch/）、鼻音（Nasal，如汉语的/m/、/n/、/ng/）、边音（Lateral，如汉语的/l/）五大类。辅音的声学特征由阻碍的位置、阻碍的方式、声带是否振动三个维度共同决定：例如塞音/p/是双唇紧闭后突然释放气流，因此其时域波形有明显的冲激条（Burst）；擦音/s/是舌尖接近上颚形成窄缝，气流通过时产生高频湍流，因此其频谱能量集中在4kHz以上；鼻音/m/是软腭下垂，气流从鼻腔流出，因此其频谱在低频段有明显的共振峰，同时高频能量被显著衰减。

1.2 语音感知的认知与声学基础

语音感知是人类听觉系统对声学信号进行加工、提取语义信息的过程，其认知机制和声学特性是自动语音识别（Automatic Speech Recognition, ASR）、语音合成（Text-to-Speech, TTS）等技术的核心参考。与普通的声音感知不同，语音感知具有高度的范畴性、多模态性和语境依赖性，这些特性决定了语音AI系统的设计逻辑。

1.2.1 人耳听觉的生理与心理机制

人耳的听觉系统可分为外耳、中耳、内耳三个部分：外耳（耳廓、外耳道）负责收集声波并放大2-5kHz频率段的能量；中耳（鼓膜、听小骨）负责将声波的机械振动传递至内耳，同时提供阻抗匹配，提升声能传递效率；内耳（耳蜗）负责将机械振动转换为神经电信号，耳蜗基底膜上的毛细胞对不同频率的振动敏感，高频振动对应基底膜底部，低频对应顶部，这种频率分辨机制是人耳能区分不同音高和音色的生理基础。

人耳对语音的感知并非对声学信号的直接映射，而是受到心理声学（Psychoacoustics）规律的显著影响：① 等响度曲线（Equal-Loudness Contour）：人耳对不同频率的声音敏感度不同，对1-5kHz频率段的敏感度远高于低频和高频，相同声压级下，1kHz声音的响度是100Hz的10倍以上；② 临界频带（Critical Band）：人耳对频率的分辨存在带宽限制，当两个频率的差小于临界带宽时，会被感知为同一个音，临界带宽随频率升高而变宽，例如1kHz时临界带宽约为150Hz，8kHz时约为800Hz；③ 听觉掩蔽效应（Auditory Masking）：强信号会掩盖弱信号的存在，如果弱信号的频率与强信号接近，掩蔽效应会更显著。这些心理声学规律是梅尔滤波器组、感知线性预测（Perceptual Linear Prediction, PLP）等语音特征设计的核心依据。

1.2.2 语音知觉的核心特性

语音知觉的最显著特性是范畴性知觉（Categorical Perception, CP），即人类对语音的感知不是连续的，而是离散的“范畴”划分：对于连续变化的声学信号，只要其处于同一个语音范畴的范围内，感知结果就不会发生变化；只有当声学信号的变化跨越了范畴边界时，感知结果才会发生跳变。范畴性知觉的经典实验证据来自辅音/b/和/p/的区分：二者的核心声学差异是浊音起始时间（Voice Onset Time, VOT），即塞音释放后声带开始振动的时间差。当VOT为-20ms（声带在塞音释放前就已经振动）时，所有被试都感知为浊音/b/；当VOT为+20ms（声带在塞音释放后20ms才开始振动）时，所有被试都感知为清音/p/；当VOT在-20ms到+20ms之间连续变化时，被试的感知结果会突然从/b/跳变到/p/，而不是连续变化的。

范畴性知觉说明人类对语音的感知是基于“发音动作”而非单纯的“声学信号”：Liberman等人在195

范畴性知觉（Categorical Perception, CP）的核心特征是感知的离散性：对于连续变化的声学刺激，只要其处于同一语音范畴的范围内，人类的感知结果就不会发生改变，只有当刺激跨越范畴边界时，感知才会出现跳变。Liberman等人在1957年通过控制浊音起始时间（Voice Onset Time, VOT）的语音合成实验验证了这一结论[^3]：该实验首次通过人工合成连续变化的声学刺激，证明了人类语音感知的离散范畴特性，而非连续映射。这一发现直接推动了语音感知运动理论（Motor Theory of Speech Perception）的提出：该理论认为人类对语音的感知并非基于声学信号的物理特征，而是基于发音动作的内在表征——即听者会自动将接收到的声学信号映射到对应的发音动作范畴，而非单纯的声学模式匹配。这一理论对语音AI的发展产生了深远影响：传统的基于声学特征匹配的隐马尔可夫模型（Hidden Markov Model, HMM）语音识别系统，本质上是模拟人类感知的声学匹配路径，而近年兴起的端到端语音模型通过直接学习声学到语义的映射，更接近人类基于发音动作范畴的感知逻辑。

范畴性知觉的特性在语音交互场景中有直接的应用价值：例如在语音合成（Text-to-Speech, TTS）任务中，合成语音的声学特征只要处于目标音素的范畴边界内，就不会影响感知的自然度，因此可以适当降低声学特征的生成精度，提升合成效率；在语音识别任务中，模型的输出只需要匹配目标音素的范畴，而非精确匹配声学特征的数值，这为端到端模型的离散化输出设计提供了认知依据。

1.2.3 语音知觉的多模态性与语境效应

语音感知并非单纯的听觉加工过程，而是视觉、听觉、语境等多模态信息整合的结果，其中最具代表性的研究证据是McGurk效应：1968年McGurk和MacDonald通过实验发现，当被试观看发音者发出/ga/的视频，同时收听/ba/的音频时，大部分被试会感知为既不是/ga/也不是/ba/的/dæ/音[^4]。这一效应证明人类对语音的感知会自动融合视觉提供的发音动作信息（口型）和听觉提供的声学信息，最终形成统一的感知结果。在多模态语音交互场景中，唇语识别、视觉增强的语音识别等技术正是基于这一认知机制，通过融合视觉信息提升低信噪比下的语音识别准确率。

语音感知的另一个核心特性是语境效应（Context Effect）：同一个音素的声学特征会随上下文语境发生显著变化，但人类的感知结果仍然保持稳定。例如汉语中的同音字“骑”和“起”，单独发音时声学特征几乎完全一致，但在句子“他在骑自行车”和“他在起床”中，听者会根据上下文语境自动区分二者；再如英语中的元音弱化现象：元音/i/在重读音节中发/ɪ/，在非重读音节中会弱化为/ɪ/甚至/ə/，声学特征发生显著变化，但听者仍然会感知为同一个音素。语境效应的神经机制是大脑皮层的预测编码（Predictive Coding）机制：听者会根据前文信息预测下一个语音的范畴，从而调整感知的阈值，弱化声学特征的差异，强化范畴的一致性。这一机制也为当前基于上下文的端到端语音模型设计提供了认知依据：模型的上下文编码模块本质上是在模拟人类的预测编码机制，通过前文信息提升后续语音的识别准确率。

1.3 语音信号的数字采样与预处理

语音信号是连续的模拟信号，要对其进行数字处理，首先需要通过模数转换（Analog-to-Digital Conversion, ADC）将其转换为离散的数字信号，再通过预处理流程消除噪声、标准化幅度，为后续的特征提取做准备。预处理流程的设计基于语音信号的物理特性和人耳的感知特性，是所有语音算法的前置基础。

1.3.1 模拟信号的数字化：采样与量化

模拟信号数字化的核心是奈奎斯特采样定理（Nyquist Sampling Theorem）：如果一个连续信号的最高频率为$f_{max}$，那么以不低于$2f_{max}$的采样率对信号进行采样，采样后的数字信号可以完全无失真地还原原始模拟信号。人类语音的有效频率范围通常为80Hz到8kHz，其中大部分语义信息集中在300Hz到3.4kHz的范围内，因此不同场景的采样率选择如下：

• 公共电话交换网（PSTN）的语音带宽为300-3400Hz，因此采用8kHz采样率即可满足需求；
• 通用语音交互场景（如智能音箱、语音助手）通常采用16kHz采样率，覆盖到7kHz的频率范围，保留更多语音细节；
• 高保真语音合成或音乐语音场景则采用44.

语音是人类最自然、最高效的交互媒介，其承载的语义、情感、身份等信息是智能语音技术（Intelligent Speech Technology）的核心处理对象。要理解语音AI的演进逻辑，首先需要从语音产生的物理本质、人类感知的认知机制、数字信号的表示方法三个维度建立扎实的基础认知，本章将系统梳理这些核心内容，为后续从隐马尔可夫模型（Hidden Markov Model, HMM）到端到端（End-to-End）语音技术的学习奠定理论与技术基础。

1.1 语音产生的生理与声学基础

语音是发音器官（Speech Production Organs）在神经系统控制下运动产生的声学信号，其产生过程可分解为动力产生、声源激发、声道调制三个核心环节，对应的生理结构分别为呼吸系统、发声系统、构音系统。理解这一过程是建立语音声学模型的基础，也是区分不同语音类型（如元音、辅音、浊音、清音）的核心依据。

1.1.1 发音系统的生理结构

呼吸系统是语音产生的动力源，由肺、气管、胸腔组成：肺通过收缩扩张产生稳定的气流，气流经气管传输至喉部，气流的大小和压力直接决定语音的响度。正常平静呼吸时的气流速度约为0.1L/s，而发音时的气流速度可提升至1-10L/s，这种气流压力的动态变化是语音动态特性的生理基础[^1]。

发声系统的核心是喉（Larynx），其中的声带（Vocal Folds）是语音产生的最关键声源结构。成年男性的声带长度约为2.5cm，厚度约3mm，女性声带长度约为1.5cm，厚度约2mm，儿童的声带更短更薄。声带由肌肉和黏膜组成，当肺部气流冲击声带时，声带会周期性地张开和闭合，形成周期性的气流通断，产生周期性的声门波（Glottal Waveform），这是浊音（Voiced Sound）的声源；当声带保持张开状态时，气流直接通过喉部形成湍流，产生噪声声源，这是清音（Unvoiced Sound）的声源。声带振动的频率即为基频（Fundamental Frequency, F0），是决定语音音高的核心参数：成年男性基频范围为80-180Hz，成年女性为180-300Hz，儿童为300-500Hz，基频的微动态变化是语调（Intonation）和声调（Tone）的生理基础。

构音系统由口腔、鼻腔、咽腔组成，其中可活动的发音器官包括舌（Tongue）、唇（Lip）、下颌（Jaw）、软腭（Soft Palate）。这些器官的位置和形状变化会改变声道的长度和截面积分布，从而对声源信号进行调制，形成不同的语音。声道在静止状态下的长度约为17cm，男性略长于女性，发不同音素时声道形状的动态变化率可达每秒数十次，对应音素的切换速度。

> 📌 电子版侧边栏：拓展阅读 > 声带振动的肌理机制可参考Titze的《Principles of Voice Production》，该书详细阐述了声带振动的黏膜波机制，是嗓音学领域的经典著作。

1.1.2 源滤波器模型与声学产生机制

语音产生的核心理论是源滤波器模型（Source-Filter Model），由瑞典皇家理工学院（KTH）的Gunnar Fant教授于1960年在其奠基性著作《Acoustic Theory of Speech Production》中系统提出[^2]。该模型将语音产生过程抽象为两个独立环节的级联：声源环节产生激励信号，滤波器环节对激励信号进行调制，最终输出的语音信号是二者的卷积结果。

从声学角度，声源信号$s(n)$和声道冲激响应$h(n)$的卷积得到语音信号$x(n)$： $$x(n) = s(n) * h(n)$$ 其中$*$表示线性卷积运算。对等式两边做傅里叶变换，得到频域表示： $$X(\omega) = S(\omega) \cdot H(\omega)$$ 其中$S(\omega)$为声源信号的频谱，$H(\omega)$为声道的频率响应。该模型的