语言的形式化描述与计算表示

语言的形式化描述与计算表示

引言：从自然语言到形式语言的跨越

Human language, as one of the most remarkable cognitive achievements of the human species, presents an extraordinary challenge to computational modeling. The fluidity with which we produce and comprehend utterances belies the profound complexity underlying this seemingly effortless capacity. A three-year-old child effortlessly masters grammatical rules that have confounded the most sophisticated formal systems, generating sentences never before encountered with apparent ease and creativity. This apparent paradox—that natural language is simultaneously rule-governed and creative, structured yet endlessly generative—lies at the heart of why computational approaches to language have proven both tantalizingly promising and perpetually challenging.

The endeavor to formalize natural language for computational purposes traces its intellectual lineage to the mid-twentieth century, when the nascent field of computational linguistics first sought to bring the precision of mathematical and logical methods to bear upon the messiness of human communication. The pioneering work of Alan Turing, who proposed what became known as the Turing Test as a measure of machine intelligence, established a foundational ambition: to create computational systems capable of exhibiting linguistic behavior indistinguishable from that of humans. This aspiration has driven decades of research, yielding both remarkable achievements and humbling limitations.

The computational representation of natural language requires traversing multiple conceptual levels, each presenting its own distinctive challenges. At the most fundamental level, we must address how linguistic sounds are organized into meaningful units; at higher levels, we must grapple with how these units combine to form phrases and sentences, how meaning is constructed from linguistic form, and how language functions within broader communicative and social contexts. These levels—broadly corresponding to the traditional linguistic divisions of phonology, morphology, syntax, semantics, and pragmatics—interact in intricate ways that resist simple modular decomposition.

自然语言的形式化处理面临着来自多个维度的根本性挑战。首先，语言表现出显著的歧义性（ambiguity）：任何给定的词序列都可能承载多重可能的解释，从词性歧义、句法歧义到语义歧义和语用歧义。其次，语言充满了不规则性和例外情况，迫使形式系统不断地在普遍性与特殊性之间寻求平衡。再者，语言是高度上下文敏感的，同样的表达式在不同的语境中可能传达截然不同的含义。这些特征使得语言的形式化描述成为一项远比最初想象中更为艰巨的任务。

本章作为全书的理论基础章节，旨在建立理解后续各章所需的概念框架。我们将从语言学的基本层次体系出发，依次探讨形式语言理论的核心概念、乔姆斯基语法层次体系的构成及其局限性、信息论视角下的语言本质、统计语言模型的发展历程，最终引入神经网络语言观与分布式表示理论。通过这一循序渐进的分析路径，我们将阐明为何自然语言处理需要超越传统的形式语言方法，转向基于数据驱动的统计学习与深度学习范式，为后续章节关于词向量、预训练语言模型、文本生成与理解等核心主题的深入讨论奠定理论基础。

语言学的基本层次体系

音系学与形态学：语言的音义接口

The phonological level of linguistic description addresses the systematic organization of sounds in language. Phonology concerns itself not merely with the physical properties of speech sounds, but with the abstract cognitive representations and the rules governing their combination and distribution. Every natural language employs a finite inventory of distinctive sounds—phonemes—that serve to contrast meaning, and each language imposes constraints on how these sounds can combine to form larger units. The English phoneme /p/, for instance, is aspirated when occurring word-initially before a stressed vowel (as in "pin") but unreleased or unaspirated when occurring in word-final position (as in "spin"). This systematic variation, far from being random noise, reflects deep organizational principles that language users internalize without conscious awareness.

形态学（morphology）研究语言中意义的最小单位——词素（morpheme）——的结构与组合规律。词素是语言中承载意义或语法功能的最小单位，可以进一步区分为词根词素（root morphemes），如英语中的" book"、"write"、"happiness"，以及词缀词素（affixal morphemes），包括表示语法关系的词缀如英语中的复数标记"-s"、过去时标记"-ed"、进行时标记"-ing"等。词素通过形态学规则组合成词（words），这一过程构成了语言系统的中层组织结构。

英语形态学的特点是相对有限的词形变化系统，依赖词缀表达时态、数、格等语法范畴。相比之下，俄语、土耳其语等语言采用更为丰富的黏着（agglutinative）或屈折（fusional）形态系统，允许通过词缀的叠加或融合表达复杂的语法信息。汉语则呈现出截然不同的形态学特征，主要依靠词序和虚词而非词形变化来表达语法关系，这种类型学上的差异对后续讨论的词法分析技术具有重要启示意义。

形态学的核心任务包括词素切分（morpheme segmentation）、词形还原（lemmatization）以及词性标注（part-of-speech tagging）。词素切分旨在识别连续文本中的词素边界，例如将"unbreakable"分析为 un- + break + -able；词形还原则将变化形式归并到其原形或词典形式，如将"running"还原为"run"，将"better"还原为"good"；词性标注为每个词赋予其在特定上下文中的语法类别标记。这些基础性工作在自然语言处理的早期阶段扮演了重要角色，至今仍是许多下游任务的前置步骤。

句法学：词语的组合与结构

句法学（syntax）研究词语如何组合成短语和句子，以及这些组合所遵循的规律。与形态学关注词内部结构不同，句法学关注的是词与词之间的关系和制约。语法关系如主语、宾语、定语、状语等，句子成分如名词短语、动词短语、介词短语等，共同构成了句法描述的基本范畴。句法规则规定了在特定语言中合法的词序列和结构关系，使得有限的词汇材料能够生成并理解无限数量的句子。

形式句法学的发端通常追溯到诺姆·乔姆斯基（Noam Chomsky）于1957年出版的《句法结构》（*Syntactic Structures*），该书对当时盛行的短语结构语法提出了尖锐批评，并引入了转换语法（transformational grammar）的概念。乔姆斯基的核心洞见在于区分了句子的表层结构（surface structure）与其深层结构（deep structure），前者是词语线性排列的直接体现，后者则反映了句子成分之间的原始语法关系。转换规则——如主动句与被动句之间的转换、疑问句的形成等——正是连接深层结构与表层结构的操作。

短语结构语法（Phrase Structure Grammar, PSG）构成了形式句法的基础框架。在这种形式体系中，句子被递归地分解为越来越小的组成成分，直到最终抵达词一级。例如，英语句子 "The cat sat on the mat" 可以分析为：

$$S \rightarrow NP \quad VP$$ $$NP \rightarrow Det \quad N$$ $$VP \rightarrow V \quad PP$$ $$PP \rightarrow P \quad NP$$

这种生成式的规则系统具有高度的明晰性：起始符S（Sentence）通过有限数量的规则可以推导出该语言中所有合乎语法的句子。然而，正如我们将在后续章节中详细讨论的，这种看似优雅的框架在面对自然语言的复杂事实时遭遇了严重的理论困难。

语法范畴本身具有层级组织（hierarchical organization）的特征。词首先组合成短语，短语再组合成更大的短语结构，最终形成完整的句子。这种层级结构可以用树形图（parse tree）直观表示，每个节点对应一个语法范畴，节点之间的关系反映组成成分之间的结构依存。对句法结构的形式化描述不仅是语言学理论的核心关切，也是句法分析（parsing）技术——自然语言处理的基础性任务之一——的算法基础。

语义学：意义的构造与表达

语义学（semantics）研究语言表达式与其所指涉的外部世界之间的关系。这一领域关注的核心问题包括：词语如何获得其意义？句子中的意义如何从其组成部分的意义组合而成？语言如何表达命题、事件状态和抽象概念？与句法学的形式化程度相比，语义学长期面临着"意义"这一难以捉摸的概念所带来的挑战。

词汇语义学（lexical semantics）研究词义的结构、词义之间的关系以及词语意义的获得与变化。一词多义（polysemy）现象——如"bank"既可指银行也可指河岸——在自然语言中极为普遍，消解歧义因而成为词义理解的关键难题。语义关系如同义词（synonymy）、反义词（antonymy）、上下位关系（hyponymy/hypernymy，如"玫瑰"是"花"的下位词，"动物"是"猫"的上位词）、部分-整体关系（meronymy/holonymy）等，构成了词汇语义网络的基本骨架。

组合语义学（compositional semantics）遵循弗雷格（Frege）的组合性原则（principle of compositionality）：复合表达式的意义由其组成部分的意义及其组合方式决定。根据这一原则，要理解句子"The dog chased the cat"，我们不仅需要知道"dog"、"chased"、"cat"各自的含义，还需要了解主语-谓语-宾语的语义组合规则。这一原则为自然语言语义的形式化提供了理论支点，使得基于逻辑的语义表示方法（如一阶谓词逻辑、 lambda 演算等）成为可能。

范畴语法（Categorial Grammar）、Montague 语义学以及更近期的组合范畴语法（Combinatory Categorial Grammar, CCG）为语义组合提供了优雅的形式框架。这些方法将句法范畴与语义类型对应起来，通过函项-参数的应用规则实现句法分析与语义生成的同步进行。例如，在 CCG 框架中，及物动词"chased"具有范畴 $S/(NP\backslash S)/NP$，表示它需要右侧一个名词短语和左侧一个名词短语作为参数，组合后生成句子，同时通过类型提升（type raising）规则实现灵活的句法组合。

然而，自然语言的意义远非逻辑形式所能完全捕捉。语用学（pragmatics）——语言使用的语境条件——在意义构造中扮演着不可或缺的角色。指示语（deixis）现象，如"这里"、"现在"、"我"，其意义依赖于具体的语境和说话者；会话含义（conversational implicature），如"有些与会者没有出席"暗示并非全部出席，源于语用推理而非字面意义；言语行为（speech acts），如陈述、询问、命令、道歉等，体现的是语言使用而非纯粹的意义描述功能。这些语用维度使得形式语义学面临着永恒的挑战。

形式语言理论的基础

形式语法与自动机理论

形式语言理论（formal language theory）起源于数学对语言性质的探索，旨在为"语言"这一概念提供严格的数学定义，并研究不同种类形式语言的一般性质。这一理论的核心工具包括形式语法（formal grammar）和自动机（automaton），前者定义语言的生成机制，后者定义语言的识别机制，二者之间存在着深刻的对偶关系。

形式语法被定义为四元组 $G = (N, \Sigma, P, S)$，其中 $N$ 是非终结符的有穷集合，$\Sigma$ 是终结符的有穷集合，$P$ 是产生式规则的有穷集合，$S$ 是起始符。形式语法通过应用产生式规则从起始符 $S$ 出发，逐步推导出由终结符组成的字符串，所有可推导出的字符串构成该语法生成的语言 $L(G)$。

形式语言的分类——即著名的乔姆斯基层次体系（Chomsky hierarchy）——根据产生式规则的限制性程度，将形式语法分为四个层次：

类型3（正则语法，Regular Grammar）：产生式规则限制为 $A \rightarrow aB$ 或 $A \rightarrow a$ 的形式，其中 $A, B \in N$，$a \in \Sigma$。正则语法生成的语言恰好被有限自动机（Finite Automaton）识别，在自然语言处理中对应于有限状态模型。

类型2（上下文无关语法，Context-Free Grammar, CFG）：产生式规则限制为 $A \rightarrow \alpha$ 的形式，其中 $A \in N$，$\alpha \in (N \cup \Sigma)^*$。上下文无关语法生成的句子具有树结构，可被下推自动机（Pushdown Automaton）识别，是程序设计语言语法的理论基础，在自然语言处理中广泛用于句法分析。

类型1（上下文敏感语法，Context-Sensitive Grammar, CSG）：产生式规则限制为 $\alpha A \beta \rightarrow \alpha \gamma \beta$ 的形式，其中 $\gamma \neq \varepsilon$（非空）。上下文敏感语法允许规则的应用依赖于上下文环境，其识别需要线性有界自动机。

类型0（无限制语法，Unrestricted Grammar）：产生式规则无任何形式限制，可生成所有递归可枚举语言，识别需要图灵机。

自动机理论提供了与形式语法相对应的识别机制。每一种形式语法都对应一种能够识别其生成语言计算装置：

$$\begin{array}{c|c|c} \text{语法类型} & \text{产生式限制} & \text{识别装置} \\ \hline \text{类型0} & \alpha \rightarrow \beta & \text{图灵机} \\ \text{类型1} & \alpha A \beta \rightarrow \alpha \gamma \beta, \gamma \neq \varepsilon & \text{线性有界自动机} \\ \text{类型2} & A \rightarrow \alpha & \text{下推自动机} \\ \text{类型3} & A \rightarrow aB \text{ 或 } A \rightarrow a & \text{有限自动机} \end{array}$$

这一层次体系揭示了语言形式化描述中