语言的诞生：从象形文字到数字文本

语言的诞生：从象形文字到数字文本

巴别塔之下：语言的永恒追问

公元前六世纪，被囚禁在巴比伦的犹太囚徒们仰望着一座通天高塔，那是他们的祖先联合起来试图建造的奇迹。上帝看到人类的壮举，决定变乱他们的语言，使众人分散各地。巴别塔的故事至今仍在叩击着人类的心弦——语言，这个我们习以为常、每日使用的工具，究竟拥有怎样的力量，能够成就一座通天之塔，又能够毁灭它？

这个古老的神话蕴含着一个深刻的洞见：语言不仅仅是符号的排列组合，它是人类协作的纽带，是思想传递的载体，是文明存续的根基。当巴比伦人说着同样的语言时，他们能够协调数千人的劳动，将巨大的石块搬运到云端；而当语言被变乱之后，这种协作瞬间土崩瓦解。语言的多样性从此成为人类文明的基本事实，同时也成为一道横亘在人类之间的无形屏障。

在《创世记》的叙事中，上帝对人类语言多样化采取了一种近乎惩罚性的行动——这是一种权力的展示，也是一种警示。然而，从更宏观的视角来看，语言的多样性恰恰是人类智慧的体现，是不同文明对世界不同认知方式的结晶。汉语的声调与意境、阿拉伯语的三十个字母与三亿使用者、拉丁语的词形变化与法律传统——每一种语言都是一种独特的思维方式，一种独特的世界观。

而今，我们站在另一个巴别塔的废墟之上。这一次，不是上帝阻止人类的联合，而是我们自身面临着如何让不同语言、不同文化、不同知识体系相互理解的挑战。只不过，这一次的挑战不是神学命题，而是一个技术问题——如何让机器理解人类的语言？

这个问题的答案，或许要从人类自身理解语言的历程中寻找。

刻在泥板上的思想：文字的诞生

让我们将目光投向五千年前的美索不达米亚平原。在幼发拉底河与底格里斯河之间，美索不达米亚人（Mesopotamia）正在经历一场静默的革命。这片土地肥沃而富饶，适宜农耕，但每年春季的洪水使得精确的日历和土地测量成为必需。伴随着农业的复杂化，记账、记录、交易的需求日益迫切。起初，人们用粘土制成的筹码来表示物品的数量——一捆麦子用一个圆锥形的泥块表示，一只羊用一个圆球形的泥块表示。这些实物符号逐渐演变为抽象的标记，而标记又逐渐获得了读音。

大约在公元前3400年至公元前3200年之间，苏美尔人（Sumerians）发明了一种全新的符号系统——楔形文字（Cuneiform）。考古学家在乌鲁克城（Uruk）发现了一批最早的楔形文字泥板，上面记录着简单的经济账目：某某人收到多少大麦，某某人用多少羊毛换取多少粮食。这种文字的命名来源于其独特的书写方式——用芦苇笔在湿润的粘土上压印出楔形（wedge-shaped）的痕迹，不同方向的楔形组合构成不同的符号。

楔形文字的演变历程本身就是一部符号抽象化的史诗。最初的符号是图画式的，一条鱼就画成一条鱼的样子，一头牛就画成一头牛的样子。但图画符号难以快速书写，于是象形符号逐渐简化和抽象化。有些符号保留了原始的视觉特征，有些则完全失去了可辨识的形状。更重要的是，苏美尔人发现同一个符号可以表达不同的含义——一个表示“脚”的符号，既可以表示实际的脚，也可以表示“行走”的动作，甚至可以表示与行走相关的抽象概念。这种多义性（polysemy）既是语言灵活性的体现，也为后来的语言理解设置了第一道难题。

楔形文字是人类历史上最早的文字系统之一，但并非唯一。在尼罗河流域，古埃及人在大致相同的时期发展出了另一种伟大的书写系统——圣书体（Hieroglyphics）。这个名字来自希腊语，意思是“神圣的雕刻”，因为古埃及人主要在神庙和墓葬的墙壁上使用这种文字。圣书体的符号更加图形化，通常呈现为人物、动物、神祇、植物以及日常物品的形象。法国学者商博良（Jean-François Champollion）在1822年成功破译了罗塞塔石碑（Rosetta Stone），打开了古埃及文明知识宝库的大门。

与此同时，在遥远的中国，另一种独特的文字系统正在萌芽。1899年发现的甲骨文为我们提供了三千多年前中国文字的珍贵实物。这些刻在龟甲和兽骨上的文字，主要用于占卜和记录天文现象。最早的甲骨文已经具备了成熟文字系统的许多特征：形声字的出现使得新字的创造变得系统化；六书（象形、指事、会意、形声、转注、假借）的造字方法为文字的扩展提供了理论基础；而甲骨文的书写载体——龟甲和兽骨——虽然笨重，却具有极佳的耐久性，使得数千年前的文献得以保存至今。

文字的诞生是人类认知史上最具革命性的事件之一。认知学家平克（Steven Pinker）将文字称为“群体心灵的外挂硬盘”——语言使我们能够与同时代的人交流，而文字则使我们能够与跨越时空的人交流。一本两千年前的《道德经》，今天的读者仍能理解其中的智慧；一块四千年前的楔形文字泥板，考古学家能够从中解读出当时的经济生活和社会结构。文字将人类的经验、知识和思想从短暂的生命中抽离出来，赋予它们超越时间的不朽形式。

然而，文字也带来了新的复杂性。口头语言是即时的、转瞬即逝的，它依赖于说话时的语境——语调、手势、表情都能够帮助传递意义。但当思想被编码为文字之后，它就变成了静态的符号，需要读者自行填补语境。这种语境缺失既是文学魅力的源泉，也是语言理解的永恒挑战。一句“我爱你”可以有无数种含义，取决于说话者的身份、说话时的情境、以及听者的解读。而让机器理解这种语境依赖性，正是自然语言处理最核心的难题。

从手写到像素：文本的数字化之旅

如果说文字的诞生是人类将思想编码为符号的第一次伟大尝试，那么文本的数字化则是这场编码革命的延续和升华。这场革命经历了漫长的酝酿期，其根源可以追溯到纸张的发明和活字印刷术的诞生。

公元105年，东汉宦官蔡伦向汉和帝献上了他改进的造纸术。虽然造纸术的发明可能比他更早，但蔡伦的贡献在于系统性地使用树皮、破布、旧渔网等废弃材料作为原料，大大降低了纸张的成本，提高了纸张的质量。这一发明随着丝绸之路传播到阿拉伯世界，又通过阿拉伯人传播到欧洲，最终彻底改变了人类记录和传播知识的方式。在纸张发明之前，西方世界主要使用羊皮纸（Parchment）和莎草纸（Papyrus），这些材料昂贵且难以大量生产；而中国很早就使用竹简和丝帛，但前者笨重，后者昂贵。廉价纸张的出现，使得知识的大规模复制和传播成为可能。

又过了将近一千年，活字印刷术在宋代诞生。毕升在1040年代发明了活字印刷术，使用胶泥刻字火烧成陶质活字。这一发明比古登堡（Johannes Gutenberg）在1450年代发明的金属活字印刷术早了四百年。活字印刷术的意义不仅在于提高了印刷效率，更在于它开创了一种全新的知识生产模式——知识不再是手工抄写的稀缺品，而可以大规模复制。这直接催生了文艺复兴和宗教改革，推动了科学革命的进程。

但真正的革命发生在二十世纪中期，当电子计算机开始处理文本数据。

1945年，美国工程师范内瓦·布什（Vannevar Bush）在《大西洋月刊》上发表了一篇具有预见性的文章《正如我们所想》（As We May Think）。在这篇文章中，布什设想了一种名为“记忆扩展器”（Memex）的设备，它能够存储和检索大量的书籍、档案和通信记录。布什写道：“人的思维不会真正按照字母顺序或数字顺序来工作，而是按照关联模式来工作的……记忆扩展器是一种设备，在这种设备中，个人存储他的所有书籍、记录和通信记录，并且被设计为能够以极高的速度和灵活性进行检索。它是一种个人存储的缩微化形式。”

布什的设想在当时看来近乎科幻，但他的核心洞见——文本可以被机器存储、处理和检索——却为后来的信息革命奠定了思想基础。十年之后，在IBM的资助下，计算机科学家开始探索如何让机器处理文本数据。1952年，IBM的工程师开发了首个计算机化的信息检索系统，用于处理化学文献。这一系统虽然简陋，但它开创了一种全新的可能性——文本不再是静态的、孤立的实体，而是可以被机器索引、匹配和检索的动态数据。

数字文本的本质是什么？答案看似简单：文本被转换为二进制代码（binary code），即由0和1组成的序列。每一个字符——无论是英文字母、汉字、数字还是标点符号——都被映射为一个唯一的数字编码。在ASCII编码（American Standard Code for Information Interchange，美国信息交换标准代码）系统中，每个字符占用7个比特（bit），能够表示128个不同的字符。这对于英语世界来说基本够用——26个字母的大小写，加上数字、标点符号和控制字符。但对于拥有数万个字符的中文、日文、韩文等语言来说，ASCII编码远远不够。

1991年，Unicode联盟（Unicode Consortium）发布了Unicode标准，旨在为世界上所有书写系统创建统一的字符编码。Unicode的野心是宏大的——它要为每一个字符分配一个唯一的码点（code point），无论这种语言有多少个字符，无论这种文字有多复杂。目前Unicode已经收录了超过14万个字符，覆盖了154个文字系统（包括仍在使用的和已经消亡的），从最常见的拉丁字母、汉字、阿拉伯字母，到已经失传数千年的楔形文字、圣书体，甚至包括了表情符号（emoji）。

Unicode的成功不仅是技术上的，更是哲学上的。它体现了一种信念：所有人类语言都是平等的，它们的思想内容同样丰富，它们的表达方式同样精妙。一段中文古诗和一段英文十四行诗，在Unicode中享有同等的地位；一个现代emoji和一个三千年前的楔形文字，在二进制层面并没有高低之分。这种编码的民主化，为多语言信息处理奠定了基础，也为全球化时代的机器翻译和跨语言信息检索开辟了道路。

但编码的标准化只是万里长征的第一步。从象形文字到Unicode，人类走过了五千年；从Unicode到真正理解语言，机器还有多远？

图灵的梦想：机器能思考吗？

1950年，大西洋两岸的科学界正处于战后重建的乐观气氛中。计算机刚刚从实验室走向应用，但它的潜力——以及它的局限——仍然是一个未解之谜。就在这一年，一位年仅38岁的英国数学家发表了一篇论文，标题是《计算机械与智能》（Computing Machinery and Intelligence），发表在著名的哲学期刊《Mind》上。这篇论文的作者是艾伦·图灵（Alan Turing），后来被誉为计算机科学和人工智能之父。

图灵在论文中提出了一个简洁而深刻的问题：机器能思考吗？这个问题本身就充满了歧义——什么是“机器”？什么是“思考”？图灵避开了解释这些模糊概念的努力，转而提出了一个具体的、可操作的测试方法：让一个人类评判者通过文字终端与两个对象交谈，一个是人类，一个是机器；如果评判者无法可靠地区分哪个是人、哪个是机器，那么机器就可以被认为具有“思考”的能力。

这个测试后来被称为“图灵测试”（Turing Test），虽然图灵本人在论文中并没有使用这个名称。图灵设想了一个“模仿游戏”（Imitation Game）：一个房间里有一台机器和一个人类，评判者通过打字与两者交谈，两者都可以自由地用文字回应评判者的任何问题。如果机器能够以与人类无异的方式回应，评判者就无法确定哪个是机器，那么机器就通过了测试。

图灵的论文充满了预见性和洞察力。他预见到了许多后来人工智能面临的挑战，包括自然语言处理、机器学习和知识表示。他写道：“我认为在五十年的时间里，我们有可能对具有大约10^9比特存储容量的计算机进行编程，使其在模仿游戏中表现得如此出色，以至于平均审判者在五分钟的询问后，做出正确识别的概率不会超过70%。”换言之，图灵预测到2000年，机器将在对话中愚弄至少30%的评判者。

七十年过去了，图灵的预测部分成真，部分落空。现代的自然语言处理系统——比如我们这本书将要深入探讨的那些技术——确实能够生成流畅、连贯、甚至富有洞见的文本。大型语言模型（Large Language Models）可以写诗、编程、回答问题、参与辩论，它们的表现常常令人惊叹。然而，严格的图灵测试仍然是一个悬而未决的挑战。机器生成的文本虽然在表面上与人类文本相似，但在深层语义、常识推理、情感理解等方面，仍然与人类思维存在本质的差距。

但图灵的贡献远不止于提出一个测试标准。更重要的是，他开创了一种全新的思维方式：智能不再是神秘的、不可言说的心灵属性，而是可以通过明确的规则和计算过程来实现的。这种计算主义（computationalism）的立场，虽然至今仍有争议，但它为人工智能研究提供了坚实的概念基础和技术路径。

图灵测试的另一个重要遗产是，它将语言——尤其是对话语言——置于智能的核心位置。为什么图灵选择对话作为测试智能的标准，而不是下棋、解方程或识别图像？这并非偶然。图灵认为，语言是人类智能最独特、最全面的体现——它整合了记忆、推理、感知、情感、意图和社交能力。一个能够流利对话的系统，必须具备几乎所有形式的智能；反过来说，如果一个系统能够通过对话测试，它就已经接近了通用人工智能（Artificial General Intelligence）的目标。

这一洞见至今仍然指引着自然语言处理的研究方向。当我们教机器理解和生成语言时，我们实际上是在教机器理解世界、思考问题、表达自我。语言不仅是智能的窗口，更是智能的核心。

冷战催生的梦想：机器翻译的雄心

如果说图灵测试为人工智能提供了思想框架，那么机器翻译（Machine Translation）则为自然语言处理提供了第一个实际的应用场景和研究动力。机器翻译的诞生与一个我们意想不到的因素密切相关——冷战。

1954年1月7日，IBM和乔治城大学（Georgetown University）联合举行了一场新闻发布会，宣布他们成功开发了首个机器翻译系统。在演示中，这个系统将俄语句子翻译成英语。IBM 701计算机在不到一秒钟的时间内完成了一组俄语句子的翻译，IBM的工程师们兴奋地宣称，机器翻译的完全实现只需要五年时间。

然而，现实很快泼了冷水。1954年的系统虽然令人印象深刻，但它实际上是一个非常简单的词典查找系统——每个俄语单词被简单地替换为对应的英语单词，偶尔使用一些词序调整规则。这种方法在处理简单的、固定模式的句子时可能有效，但面对自然语言的复杂性和歧义性时，很快就陷入了困境。俄语和英语之间的语法结构差异巨大：一个俄语动词可以表达英语中需要整个短语才能表达的含义；俄语的名词有六个格，每种格都有不同的词尾变化；而一词多义、隐喻、修辞等现象更是无法用简单的词典查找来处理。

1966年，美国政府发布了著名的ALPAC报告（Automatic Language Processing Advisory Committee，自动语言处理顾问委员会报告）。这份报告对机器翻译的研究进展进行了全面评估，结论令人沮丧：机器翻译的速度比人工翻译慢，成本比人工翻译高，而且译文质量低劣。报告建议美国政府大幅削减对机器翻译研究的资助。这一决定几乎终结了机器翻译的第一次热潮，也让整整一代研究者转行他业。

但机器翻译的梦想并没有因此消亡。1970年代，一批研究者开始探索新的方法。他们不再依赖简单的词典查找和语法规则，而是尝试让机器学习语言的统计规律。1970年代后期和1980年代初期，统计机器翻译（Statistical Machine Translation）方法逐渐成熟。这种方法的核心思想是：从大量双语对照的文本语料库中，统计两种语言之间词汇和短语的对齐概率，然后用这些概率来进行翻译。例如，如果在一百万个句子中，“machine learning”被翻译成“机器学习”出现了9999次，而被翻译成“机器学习”或“机器学习”只出现了几次，那么翻译系统就会倾向于选择概率最高的翻译。

统计机器翻译在1990年代和2000年代初取得了显著进展，谷歌翻译（Google Translate）在2006年推出后迅速成为全球使用最广泛的翻译工具。然而，统计方法的局限性也逐渐显现：它依赖于大规模的双语语料库，而这些库在许多语言对之间并不存在；它难以处理长距离依赖和复杂的句法结构；它缺乏对语义的深层理解，经常产生语法正确但语义偏离的译文。

真正的突破发生在2010年代，随着深度学习（Deep Learning）技术的成熟和神经机器翻译（Neural Machine Translation）的兴起。2014年，谷歌研究员发表了一篇里程碑式的论文，首次将序列到序列（Sequence-to-Sequence）模型和注意力机制（Attention Mechanism）应用于机器翻译。2016年，谷歌宣布将神经机器翻译应用于谷歌翻译的全部语种，译文质量大幅提升。

但这是后话。对于1950年代和1960年代的先驱者们来说，机器翻译的失败是一记沉重的打击。它揭示了语言理解——甚至仅仅是语言转换——的惊人复杂性。这种复杂性让许多研究者望而却步，也让“机器永远无法理解语言”的悲观论调一度盛行。

然而，正是这种困难本身，赋予了语言研究独特的魅力和价值。正如心理学家菲利普·约翰逊-莱尔德（Philip Johnson-Laird）所说：“语言是我们能够直接观察的最复杂的认知现象。”当一个人说话或写字时，他调动的不仅是词汇和语法规则，还包括对世界的知识、对听众的推断、对情境的感知、以及对意图的理解。这些能力对人类来说如此自然，以至于我们常常忽视它们的复杂性；直到我们试图让机器复制这些能力时，才发现语言理解的难度远超想象。

符号的森林：语言处理的早期范式

在机器翻译的第一次浪潮中，研究者们发展出了几种主要的语言处理方法，形成了自然语言处理的“古典范式”。这些方法虽然已经被后来的技术所超越，但它们留下的思想遗产至今仍影响着这一领域。

首先是基于规则的方法（Rule-based Approaches）。这种方法试图用明确的、形式化的规则来描述语言的结构和用法。语法规则、词典、转换规则被编码为程序，计算机根据这些规则来分析输入文本。例如，一个基于规则的英语分析器可能包含以下类型的规则：

``` Sentence → NounPhrase VerbPhrase NounPhrase → Determiner Noun | ProperNoun VerbPhrase → Verb NounPhrase | Verb Adjective ```

这些规则表明，一个句子由名词短语和动词短语组成，名词短语由限定词和名词或者专有名词组成。这种规则系统可以追溯到诺姆·乔姆斯基（Noam Chomsky）在1950年代和1960年代发展的转换生成语法（Transformational Generative Grammar）。乔姆斯基认为，语言能力（linguistic competence）——即说话者内在的语法知识——可以通过一套有限的规则系统来描述，这套系统能够生成无限多的合法句子。

规则方法在理论上优雅，在实践中却遇到了严重的瓶颈。首先，自然语言的规则异常复杂，而且存在大量例外和边缘情况。英语中不规则动词的数量虽然有限，但每一个都有其独特的变化形式；隐喻和惯用语的含义往往无法从组成成分推导出来；而且，语言本身在不断变化，新的词汇、新的用法、新的语法结构不断涌现。

其次，规则编写是一项极其耗时的工作，需要语言学家和计算机科学家的密切合作。即使是最完善的语法