Linguistic Foundations for Natural Language Processing / 自然语言处理的语言学基础

第一章：自然语言处理的语言学基础

1.1 引言：语言学与自然语言处理的交汇

自然语言处理（Natural Language Processing, NLP）作为人工智能与计算语言学的交叉领域，其发展始终与语言学理论紧密相连。从早期基于规则的方法到当代以深度学习为主流的统计范式，语言学知识始终为NLP系统提供着不可或缺的理论支撑与资源保障。本章将系统阐述语言学的基础理论如何影响和塑造NLP技术的发展，为读者建立扎实的语言学基础，这对于深入理解后续章节中的各项技术至关重要。

语言学作为研究人类语言的科学，包含多个层次的研究领域。语音学（Phonetics）与音系学（Phonology）关注语言的声音系统；形态学（Morphology）研究词的内部结构与词素（Morpheme）的组合规律；句法学（Syntax）探讨句子成分之间的结构关系；语义学（Semantics）研究语言的意义系统；语用学（Pragmatics）则关注语言在具体情境中的使用。这五个层次共同构成了语言学的完整体系，而NLP的各个子任务——从分词、词性标注、句法分析到语义理解——都可以看作是语言学各层次在计算框架中的实现。

理解语言学的核心概念不仅有助于设计更精确的算法，更能为解决跨语言、跨领域的NLP问题提供理论指导。当我们面对中文分词中的歧义消解、英文句法分析中的介词短语依附问题，或是跨语言语义迁移的挑战时，语言学理论往往能提供关键的洞察。本章将逐一探讨这些语言学基础，并结合具体的技术实现与实践案例，展示语言学理论如何转化为实际的NLP应用。

1.2 语音学与音系学：语言的声音系统

1.2.1 语音学的基础理论

语音学是研究人类语言声音的科学，分为三个主要分支：发声语音学（Articulatory Phonetics）研究声道如何产生声音；声学语音学（Acoustic Phonetics）分析声音的物理特性；听觉语音学（Auditory Phonetics）则关注声音的感知机制。对于NLP而言，声学语音学尤为重要，因为它直接关系到语音识别（Speech Recognition）系统的设计与实现。

发声语音学的核心概念是音素（Phoneme），即区分词义的最小的声音单位。以英语为例，/b/和/p/在"bat"和"pat"中构成对立，分别代表不同的音素。汉语普通话同样存在音素的对立，如/b/与/p/、/d/与/t/的清浊对立。但值得注意的是，同一个音素在实际发音中可能存在多个变体（Allophone），这些变体的选择取决于语音环境。例如，英语中/p/在/s/后（如"spin"）时送气较弱，而在词首（如"pin"）时送气较强，这两个变体都属于音素/p/的不同实现。

对于NLP系统而言，准确处理这些语音变体是一项挑战。在语音识别中，系统需要将连续的语音信号转换为离散的音素序列，这一过程涉及声学特征提取、隐马尔可夫模型（Hidden Markov Model）或更现代的端到端神经网络模型的应用。而在文本转语音（Text-to-Speech, TTS）系统中，则需要根据音素环境预测相应的语音变体，确保合成语音的自然度。

1.2.2 音系学的结构与规则

如果说语音学关注的是语言的声音本身，音系学则研究这些声音如何在语言系统中组织起来并形成规律。音系学的核心概念包括音位（Phoneme）、音节结构（Syllable Structure）、语调群（Intonation Group）等。这些概念对于NLP中的多个任务具有重要指导意义。

音节是语音组织的基本单位，通常由一个音节核（Nucleus，通常是元音）和可选的音节首（Coda）与音节尾（Onset）构成。英语的音节结构相对灵活，如"strong"（/strɔŋ/）具有复杂的辅音簇作为音节首，而"at"（/æt/）则包含完整的音节首-音节核-音节尾结构。汉语普通话的音节结构相对规整，每个汉字通常对应一个音节，由声母、韵母和声调三部分组成。

声调（Tone）是音系学中的重要概念，尤其对于汉语等声调语言而言。汉语普通话有四个基本声调（阴平、阳平、上声、去声）和一个轻声，这些声调具有区别意义的功能。例如，"妈"（mā）、"麻"（má）、"马"（mǎ）、"骂"（mà）四个音节的声调各不相同，分别对应四个声调。声调信息在中文语音识别和语音合成中都是必须处理的关键特征。现代基于深度学习的语音系统通常采用Mel频谱（Mel Spectrogram）或滤波器组（Filter Bank）特征，这些特征在设计时已考虑了人耳对频率的感知特性。

1.2.3 音系规则与NLP应用

音系规则（Phonological Rules）描述了音素在不同语音环境下发生的有规律的语音变化。这些规则在口语理解与生成中具有重要作用。例如，英语中存在的音节边界后的/s/浊化规则（post-vocalic voicing），导致"cats"中的/t/在连读时可能听起来接近/d/。类似地，汉语中的轻声现象——轻声音节的音高取决于前一个音节的声调——也需要在语音处理中加以考虑。

在实际的NLP系统中，音系规则的应用体现在多个层面。对于口语对话系统，系统需要处理连读、弱化、吞音等语音现象。例如，英语中"gonna"（going to）、"wanna"（want to）等弱化形式在口语中极为常见，但这些形式与书面语形态存在显著差异。口语理解系统需要能够识别这些变体，或将它们规范化为标准形式。

现代端到端语音识别系统（如基于Transformer或Conformer架构的模型）通过直接从音频到文本的映射学习，隐式地捕获了语音学知识。然而，对于低资源语言或特定领域应用，显式融合语言学知识——如音素集定义、音节结构约束——仍然具有价值。此外，在语音合成领域，基于单元选择（Unit Selection）或参数合成（Parametric Synthesis）的方法也常常利用音系学知识来提高合成语音的自然度。

1.3 形态学：词的内部结构

1.3.1 词素与词素变体

形态学研究词的内部结构及其构成规律。词素（Morpheme）作为形态学的核心概念，是语言中最小的有意义单位。与音素不同，词素是有意义的；与词不同，词素不一定能够独立使用。根据独立性的不同，词素可分为自由词素（Free Morpheme）和黏着词素（Bound Morpheme）。自由词素如"book"可以独立使用，而黏着词素如英语中的后缀"-s"（表示复数）、"-ed"（表示过去时）必须依附于其他词素才能出现。

词素变体（Allomorph）是同一词素的不同语音形式。例如，英语中的复数词素有多种变体：/s/（cats /kæts/）、/z/（dogs /dɔgz/）、/ɪz/（boxes /bɒksɪz/）。这些变体的选择遵循音系学规则——与前面的辅音类型有关。这是一个语言学规则与形态学现象相互交织的典型例子。在NLP处理中，词素变体的处理对于形态丰富的语言（如土耳其语、芬兰语）尤为重要，因为这些语言中词形变化的数量极其庞大。

词素的分类对于理解语言结构具有重要意义。从功能角度，词素可分为词根（Root）、词干（Stem）和词缀（Affix）。词根是词的核心意义所在，词干是词根加上部分词缀的形式，词缀则是附加在词干上的成分。词缀又可进一步分为前缀（Prefix）、后缀（Suffix）、中缀（Infix）和环缀（Circumfix）。英语中主要是前缀和后缀，如"un-"（前缀，表示否定）、"-tion"（后缀，表示名词化）。汉语中的词缀相对较少，但也有"-子"（如"桌子"、"椅子"）、"-头"（如"木头"、"石头"）等后缀成分。

1.3.2 屈折形态与派生形态

形态学的核心区分之一是屈折形态（Inflectional Morphology）与派生形态（Derivational Morphology）的区别。这一区分对于NLP中的词法分析具有重要意义。

屈折形态表示语法范畴的变化，不改变词的词汇范畴（词类）。例如，英语动词的屈折变化：walk → walks（第三人称单数现在时）、walked（过去式）、walking（进行时）。这些变化都保持了"walk"的动词词性。名词的屈折变化如单数→复数（book → books）、名词所有格（John's）。屈折形态在NLP中通常被视为规则的语法现象，可以基于词尾进行预测。

相比之下，派生形态产生新的词，往往伴随词类的变化。例如：happy（形容词）→ happiness（名词）、legal（形容词）→ illegal（形容词，前缀表示否定）、nation（名词）→ national（形容词）。派生形态的规则性较弱，存在大量不规则变化和语义漂移现象。例如，"nation"到"national"的派生符合规则，但"person"到"people"的转换则涉及复杂的形态音系学过程。

这一区分在NLP词法分析中具有实际应用价值。对于形态丰富的语言，开发词形还原（Lemmatization）或词干提取（Stemming）算法时，区分屈折变化与派生变化有助于提高处理精度。屈折变化通常可以通过查表或应用规则的形态分析器进行处理，而派生变化则可能需要更复杂的语义分析。

1.3.3 形态学类型与语言分类

世界语言可以根据形态的丰富程度分为不同类型：孤立语（Isolating Language）或分析语、分析语（Analytic Language）、黏着语（Agglutinative Language）和屈折语（Inflectional Language）。这一分类对于NLP系统设计具有直接启示。

孤立语或分析语的特点是每个语法意义主要由独立的词来表达，词形变化较少。汉语是典型的孤立语：语法关系主要通过语序和功能词来表达，而非词形变化。例如，"我爱你"通过语序（SVO）表达主谓宾关系，而非通过动词的词尾变化。英语在很大程度上也表现出分析语的特征，虽然保留了一定程度的词形变化。

黏着语的特点是词由多个黏着词素依次连接构成，每个词素表达一个相对独立的语法意义。土耳其语、日语、韩语是典型的黏着语。以土耳其语为例，动词"gelmek"（来）的各种语法形式通过依次附加词缀表达：gel-di-m（来-过去时-我，即"I came"）、gel-iyor-um（来-现在进行-我，即"I am coming"）。这种语言的形态系统高度系统化，但词形变化的数量极其庞大。处理黏着语时，通常采用基于有限状态转换器（Finite-State Transducer, FST）或神经网络的形态分析器。

屈折语的特点是词形变化丰富，一个词缀可能同时表达多个语法范畴。拉丁语、俄语、德语等语言具有较强的屈折特征。例如，拉丁语中"amō"（我爱）的词尾"-ō"同时表示第一人称和现在时陈述语气。这种多重屈折使得词形变化的规律性降低，增加了形态分析的复杂度。

1.3.4 计算形态学

计算形态学（Computational Morphology）将形态学理论转化为可计算的模型，在NLP中具有广泛应用。主要技术方法包括有限状态形态学（Finite-State Morphology）、基于规则的分析器、以及数据驱动的序列标注方法。

有限状态方法在形态分析中占据重要地位。Kimmo Koskenniemi提出的两层次形态学（Two-Level Morphology）是这一传统的代表。该方法使用有限状态转换器同时表示词干的词汇表示和表层拼写，通过并置约束（Coercion）处理词素变体等形式变化。基于FST的工具如XFST（来自卡内基梅隆大学）和OpenFst被广泛应用于形态分析器的开发。

对于英语等形态相对简单的语言，简单的词尾规则往往足够处理大部分屈折变化。例如，Porter词干提取器（Porter Stemmer）使用一系列的词干提取规则，处理如"-ies"→"-y"、"-(e)d"→""等映射。然而，这种方法可能会产生过度词干化（Over-stemming）或不足词干化（Under-stemming）的问题。

现代NLP系统越来越多地采用数据驱动的方法处理形态学问题。基于神经网络的词素化模型（Neural Lemmatizer）将词形还原任务建模为序列到序列问题：给定一个曲折形式的词形，模型输出其词元（Lemma）和语法特征。2017年提出的"Character-to-Lemma"模型使用字符级编码器-解码器架构，在多语言词形还原任务上取得了良好效果。这种方法的优势在于能够处理规则之外的不规则变化，同时学习跨语言的形态模式。

1.4 句法学：句子结构的研究

1.4.1 短语结构语法

句法学研究句子成分之间的结构关系，是NLP句法分析的理论基础。短语结构语法（Phrase Structure Grammar, PSG）是句法学的经典理论框架，其核心思想是句子可以递归地分解为层次化的短语结构。

短语结构语法使用上下文无关文法（Context-Free Grammar, CFG）进行形式化描述。一个CFG由四元组$G = (N, \Sigma, R, S)$定义，其中$N$是非终结符集合（如NP、VP），$\Sigma$是终结符集合（如单词），$R$是产生式规则集合，$S$是起始符号。例如，英语的简单CFG规则包括：

$$S \rightarrow NP\ VP$$ $$NP \rightarrow Det\ N$$ $$VP \rightarrow V\ NP$$ $$Det \rightarrow the | a$$ $$N \rightarrow dog | cat$$ $$V \rightarrow sees | bites$$

这些规则可以生成如"the dog sees a cat"这样的句子，同时拒绝如"dog the sees cat"这样的非语法句子。

短语结构树（Parse Tree）以层次结构展示句子的句法组成。对于句子"The curious cat chased the small mouse"，短语结构树将展示从根节点S向下，句子被分解为NP和VP，NP进一步分解为Det、N、ADJP等成分。这种树形表示是自然语言处理中句法分析的核心输出形式，被广泛应用于信息抽取、机器翻译、问答系统等任务。

1.4.2 依存语法与依存结构

依存语法（Dependency Grammar）是另一种重要的句法理论框架。与短语结构语法不同，依存语法关注词与词之间的直接支配关系，而非层次化的短语分组。在依存结构中，每个词（除根节点外）都依赖且仅依赖于另一个词，这种关系称为依存关系（Dependency Relation）。

依存语法的优势在于其对语序的灵活性具有更好的适应性。对于英语这样的SVO（主语-动词-宾语）语言，短语结构和依存语法可以相互转换。然而，对于日语、汉语等允许相对自由语序的语言，依存语法往往更能捕捉句子的核心语义关系。此外，依存语法对于中文分词与句法分析的一体化处理也更为自然——词与词之间的依存关系可以直接建立在词节点上。

依存关系通常使用typed dependencies（带类型的依存关系）进行标注，常见的依存关系类型包括：nsubj（名词性主语）、dobj（直接宾语）、iobj（间接宾语）、det（限定词）、amod（形容词修饰语）、advmod（副词修饰语）等。Universal Dependencies（通用依存）项目定义了跨语言一致的依存关系类型体系，已被广泛应用于多语言NLP研究。

依存分析器（Dependency Parser）的实现方法主要包括基于转换的（Transition-based）和基于图的（Graph-based）两大类。Arc-eager和Arc-standard是两种经典的转换系统，通过自左向右的贪婪动作序列预测依存弧。基于图的方法则将依存分析建模为在完全图上寻找最大生成树的问题，可以使用神经网络的边际方法进行学习。近年来，基于注意力机制的Transformer模型在依存分析任务上取得了显著进展，其自注意力机制能够有效捕获词间的长距离依存关系。

1.4.3 乔姆斯基层级与形式语言理论

Noam Chomsky在20世纪50年代提出的形式语言理论对NLP产生了深远影响。Chomsky将文法分为四类，形成所谓的Chomsky层级（Chomsky Hierarchy）：

类型0文法（无限制文法）：产生式规则形式为$\alpha \rightarrow \beta$，其中$\alpha$和$\beta$是任意非终结符和终结符的字符串，且$\alpha$非空。这是最一般的文法形式，可以生成递归可枚举语言。

类型1文法（上下文敏感文法）：产生式规则形式为$\alpha A \beta \rightarrow \alpha \gamma \beta$，即非终结符$A$的替换需要考虑其上下文环境。这种文法可以表达自然语言中的一些上下文依赖现象。

类型2文法（上下文无关文法）：产生式规则形式为$A \rightarrow \gamma$，非终结符的替换不依赖于上下文。CFG是NLP中最常用的文法形式，适合描述编程语言和部分自然语言结构。

类型3文法（正则文法）：产生式规则形式为$A \rightarrow aB$或$A \rightarrow a$，是形式化语言中最简单的文法。正则文法对应于有限状态自动机，适用于简单的模式匹配任务。

Chomsky层级的重要性在于它揭示了不同复杂度文法对应的计算模型：正则文法对应有限状态自动机，上下文无关文法对应下推自动机，上下文敏感文法对应线性有界自动机，无限制文法对应图灵机。这一理论为NLP中的算法选择提供了理论基础：对于特定的语言现象，需要选择适当复杂度的文法来处理。

然而，Chomsky层级对于自然语言的适用性一直存在争议。经典的例子是自然语言中存在的中心嵌入结构（Center Embedding），如"The rat the cat the dog chased bit died"，这种结构被认为超出了CFG的表达能力。跨接线依赖（Cross-serial Dependencies）现象在瑞士德语等语言中也存在，被认为需要上下文敏感文法才能处理。但现代统计NLP的主流方法——包括基于PCFG的概率句法分析、基于神经网络的序列标注和句法分析——并不直接依赖于Chomsky层级理论，而是通过数据驱动的方式学习语言结构。

1.4.4 转换生成语法与NLP

转换生成语法（Transformational Generative Grammar, TGG）是Chomsky在20世纪50年代末至60年代提出的句法理论。TGG的核心思想是句子的表层结构由深层结构通过一系列转换规则派生而来。这一理论对NLP产生了深刻影响，尽管影响的形式随着时间演变而变化。

TGG的基本框架包括基础部分（生成深层结构）、转换部分（应用转换规则）和表层结构解释部分。深层结构决定句子的意义，而表层结构决定句子的语音形式。转