语言的奇迹：从结绳记事到智能对话

想象一下这样的场景：周末的早晨，你懒洋洋地躺在床上，对着手机说了一句“Hey Siri，今天天气怎么样？”几秒钟后，一个温柔的声音回答了你：“今天多云转晴，最高气温26摄氏度，适合外出活动。”你甚至不需要看一眼窗外，就已经知道了今天的天气情况。

这个场景对你来说可能再平常不过了，就像呼吸一样自然。但你有没有想过，这背后隐藏着一个困扰了人类几千年的难题——让机器理解人类的语言？

你可能觉得奇怪：说话不是很简单吗？我从三四岁就会说话了，这有什么好奇怪的？没错，说话对你来说确实很简单，因为你是人类，你的大脑天生就擅长处理语言。但是，如果我告诉你，让计算机“听懂”你说的话，并且给出合理的回应，这个过程比你想象的要复杂得多，可能需要动用人类最聪明的大脑、花费几十年的时间才能做到，你是不是会感到惊讶？

这就是自然语言处理（Natural Language Processing，简称NLP）——一门让计算机理解、解释和生成人类语言的科学。在接下来的章节里，我们将一起探索这门神奇的学科。但在此之前，让我们先把时间拨回到几万年前，看看人类是如何一步步走到今天的。

---

远古的回响：语言的诞生

大约在距今20万到30万年前，地球上出现了一种特殊的生物——智人，也就是我们现代人类的祖先。和其他动物一样，早期的智人需要交流，需要分享食物的位置、警告危险的来临、协调狩猎的行动。但那时候的交流方式很简单，可能就是一些简单的叫声、手势和表情。

大约在距今7万到10万年前，人类的祖先开始展现出独特的能力——他们能够使用更复杂的语言。这种语言可能还不是我们今天意义上的完整语言，但已经能够表达更抽象的概念。比如，他们不仅能说“有狮子”，还能说“狮子在河边喝水，我们绕道走”。

语言学家们至今仍在争论语言究竟是如何诞生的。有人认为，语言是从手势进化而来的；有人认为，语言源于模仿自然声音；还有人说，语言是人类大脑容量增大后自然产生的副产物。无论真相如何，有一点是确定的：语言的诞生是人类历史上最伟大的革命之一。

有了语言，人类能够传递更复杂的思想，协调更大规模的合作，最终成为了地球的主宰。你可以这样理解：如果说人类和其他动物的最大区别是什么，答案可能不是使用工具（某些猩猩也会使用工具），而是拥有语言。正是语言，让我们能够分享经验、传承知识，把个体的智慧变成集体的智慧。

但语言有一个致命的弱点——它稍纵即逝。你说出一句话，声音在空气中震动几下，就消失得无影无踪。前人说过的话，后人听不到；远方发生的事，这里的人无从知晓。怎样才能让语言“凝固”下来，让它超越时间和空间的限制呢？答案是文字。

---

结绳记事：最早的“文字”

在真正的文字发明之前，人类尝试过各种方法来记录信息。其中最有趣的一种方法叫做“结绳记事”。

想象一下你是几千年前的一位部落首领，你需要记住部落里有多少人、欠了多少债务、打了多少猎物。你会怎么做？你可能会找一根绳子，在上面打结。一个结代表一件事，大结代表大事，小结代表小事。比如，你欠了邻居三袋粮食，就打三个结；部落里有二十个人，就打二十个结。

这种方法听起来很简单，但它其实是一种了不起的发明——它是人类试图把语言“固定”下来的第一次尝试。通过结绳，人类第一次实现了信息的存储和传递。

结绳记事在很多古老的文明中都出现过。在中国，据史料记载，传说中的“伏羲氏”发明了结绳记事；在秘鲁，印加帝国使用一种叫做“奇普”（Quipu）的结绳系统来记录各种信息，包括税收、人口普查数据，甚至是历史故事。

然而，结绳记事有很大的局限性。首先，它只能记录数字和简单的信息，难以表达复杂的思想。其次，不同的人对同一个结可能有不同的理解——没有统一的标准，就容易产生误解。最重要的是，结绳本身并不代表任何具体的词汇或句子，它只是一种记忆的提示物，离开了解读它的人，就成了一堆毫无意义的绳结。

人类需要一种更精确的方法——一种能够把语言中的每一个词都用符号表示出来的方法。这就是文字的诞生。

---

楔形文字与象形文字：文字的童年

大约在距今5500年前，在今天伊拉克境内的美索不达米亚平原上，苏美尔人发明了一种全新的记录方式——楔形文字。

楔形文字的书写工具是一根楔形的芦苇笔，书写的材料是湿润的泥板。苏美尔人用芦苇笔在泥板上压出各种符号，然后让泥板在太阳下晒干，就得到了一块“泥板书”。1901年，考古学家在伊朗发现了一块著名的泥板——汉谟拉比法典，上面刻着古巴比伦国王汉谟拉比颁布的法律条文，这是人类现存最完整的古代法典之一。

楔形文字最早的符号也是象形的——用一个圆圈表示太阳，用一个星形表示星星。但随着时间的推移，苏美尔人发现象形符号不够用，因为有很多抽象的概念无法用图画来表示。于是，他们开始用符号来表示声音。比如，“弓”这个字在苏美尔语中的发音是“pan”，于是他们就用“pan”这个发音来表示其他以“pan”开头的词。这种方法叫做“形声法”，它标志着人类文字从纯粹的图形符号向抽象符号的重大转变。

几乎在同一时期，在非洲东北部的尼罗河流域，古埃及人也在发展自己的文字系统——象形文字。象形文字（Hiero-glyphics）这个词来源于希腊语，意思是“神的神秘书写”。古埃及人用图画来表示单词和声音，这些图画被刻在神庙的墙壁上、金字塔的铭文中，还有著名的“罗塞塔石碑”上。

说到罗塞塔石碑，这里有一个激动人心的故事。1799年，拿破仑的军队在埃及港口城市罗塞塔发现了一块黑色的玄武岩石碑。石碑上刻着三种文字：古埃及象形文字、古埃及通俗文字和古希腊文。当时没有人能读懂象形文字，但有了希腊文的对照，英国学者托马斯·杨和法国学者让-弗朗索瓦·商博良共同努力，终于在1822年破译了象形文字，打开了通往古埃及文明的大门。

与此同时，在地球的另一端，中华文明也在独立发展着自己的文字系统。考古发现的早期汉字与埃及象形文字有相似之处，都是从图画开始。最早的汉字是刻在甲骨上的甲骨文，主要用于占卜和记录日期。1899年的一次偶然发现（一位古董商发现中药“龙骨”上有刻痕）揭开了甲骨文研究的大幕。今天，考古学家已经发现了超过15万片刻有文字的甲骨，我们对商代历史的了解，很大程度上就来自于这些古老的“电脑档案”。

大约在距今3000年前，还有一支古老的文字系统在印度次大陆发展起来——梵文。梵文是一种拼音文字的雏形，它的发展对后来佛教经典的传播起到了关键作用。而腓尼基人（居住在地中海东岸的商人）则发明了真正意义上的一套拼音字母系统，这套系统后来被希腊人继承和改进，成为今天西方大多数文字系统（包括拉丁字母和阿拉伯字母）的祖先。

文字的发明是人类文明史上的一个转折点。有了文字，语言不再稍纵即逝；有了文字，知识可以跨越时空传递；有了文字，人类第一次拥有了真正的“外部记忆”。你可以这样理解：如果说语言让人类能够合作，那么文字就让人类能够积累——每一代人都能站在前人的肩膀上，而不是从零开始。这就是为什么文字的发明被很多历史学家称为“人类进入文明时代的标志”。

---

从竹简到纸张：书写材料的革命

有了文字，还需要有书写的材料。最早的文字是刻在石头上的——金字塔的铭文、神庙的石柱、摩崖石刻，这些都是石头做的。石头的好处是坚固耐久，坏处是太重了，搬不动。

在古代中国，最常用的书写材料是竹子和木头。把竹子削成一条条细长的片，叫“竹简”；把木头削成板，叫“木牍”。人们用毛笔蘸着墨汁在竹简上写字，然后用绳子把竹简编连起来，就成了“册”（也就是后来的“册”）。一本普通的书，可能需要几十甚至上百片竹简。你能想象吗？据说秦始皇每天批阅的奏章（大臣们写给他的报告）重达120斤！司马迁的《史记》有52万字，如果写在竹简上，那得多重啊！

竹简虽然比石头轻，但仍然很不方便。想象一下，你要寄一封信给远方的朋友，先要把信写在竹简上，然后捆成一大捆，派人送过去。等朋友收到信，光是看完这一捆竹简就够费劲的了。

公元105年，东汉的蔡伦改进了造纸术。他用树皮、麻头、破布、旧鱼网等便宜的材料，造出了质量好、成本低的纸张。蔡伦的造纸术后来传遍了世界各地，纸张成为人类历史上最重要的书写材料之一。

纸张的好处太多了：轻便、便宜、易于书写和携带、适合大规模生产。有了纸张，书籍不再只是贵族和僧侣的专享，普通人家也能拥有书籍了。知识的传播变得前所未有地便捷。

但真正让知识“飞入寻常百姓家”的，是另一项伟大的发明——印刷术。

---

活字印刷：知识普惠的起点

说到印刷术，你可能会想到毕昇的活字印刷。毕昇是北宋时期的一位普通工匠，他在公元1040年左右发明了活字印刷术。他的方法是用胶泥刻成单个的字模，然后根据需要把不同的字模组合成一块印版，用完后拆开，字模还可以重复使用。

毕昇的发明思路非常巧妙，但最初的推广并不顺利。为什么呢？因为汉字太多了！要知道，中文常用字有几千个，而英文只有26个字母。把几千个汉字都刻成活字，需要巨大的投入。更重要的是，每次排版都要从这几千个字模中挑选需要的字，非常耗时。

真正让印刷术大规模普及的，是中国更早发明的雕版印刷。雕版印刷的原理很简单：在一块木板上刻字，然后刷上墨，印到纸上。这就像盖章一样，只是“章”特别大、特别复杂。雕版印刷虽然不能重复使用，但制作一块版后可以无限次印刷，适合那些需要大量复制的经典书籍。

在西方，约翰内斯·古登堡在公元1440年左右改进了活字印刷术（主要贡献是发明了金属活字和木质印刷机），开启了欧洲的印刷革命。古登堡用金属活字代替木质活字，用机械装置代替手工压印，印刷速度大幅提升。他的第一本批量印刷的书籍是著名的《古登堡圣经》，一共印了180本，至今仍有49本保存下来。

印刷术的发明意味着什么？意味着知识可以被低成本、高效率地复制和传播！在印刷术发明之前，欧洲的一本《圣经》可能需要几个月的手工抄写才能完成，价格昂贵得只有贵族和修道院才能负担。但有了印刷术，一本书可以在几天内印出几百本、几千本，价格也大幅下降。

书籍的普及带来了一场知识革命——文艺复兴、宗教改革、启蒙运动，这些改变人类历史进程的运动，都离不开印刷术的推动。普通人第一次能够读到《圣经》而不是只听神父的讲解；科学家可以发表自己的发现让更多人知道；新的思想可以快速传播，改变人们的观念。

如果说文字的发明让人类进入了文明时代，那么印刷术的发明则让人类进入了知识普及的时代。这两次革命，为后来自然语言处理的发展奠定了重要的基础——因为自然语言处理的本质，就是让机器能够处理和理解人类的语言文字。

---

机械时代的文字处理：打字机的故事

时间来到19世纪，人类又开始了一场新的革命——工业革命。机器开始代替人力，改变着社会的方方面面。

1868年，美国人克里斯托弗·莱瑟姆·肖尔斯发明了第一台实用的打字机。在他的设计中，键盘被排列成“QWERTY”布局——就是你现在电脑键盘左上角的那六字母排列。为什么是这种奇怪的排列呢？

一个流行的传说是，因为当时打字机的机械结构不够完善，如果打字太快，字锤会卡在一起，所以故意把常用字母的键位分开，放到左右手交替敲击的位置上，迫使人们放慢打字速度。这个说法虽然听起来有道理，但历史学家发现并没有确凿的证据支持。不管怎样，“QWERTY”键盘最终成为了标准，并且延续到了今天——尽管机械结构的问题早就解决了，人们却懒得改了。

打字机让文字的输入变得更快、更整齐。在此之前，人们写字只能靠自己一笔一划地写，速度慢，而且每个人的字迹都不一样。打字机出现后，任何人都能打出清晰、规范的文档。这大大提高了办公效率，也为后来的文字处理奠定了基础。

打字机的另一个重要贡献是，它让人们开始思考文字输入的标准问题。不同国家、不同地区的人如何用同一套设备输入自己的语言？英语只有26个字母，键盘勉强够用；但中文有几万个字，一个键盘怎么放得下？这个问题在打字机时代没有得到很好的解决，也为中国后来在计算机输入技术上的创新埋下了伏笔。

---

计算机时代：从打孔卡到文字处理器

1946年，世界上第一台电子计算机ENIAC在美国宾夕法尼亚大学诞生。这台计算机重达30吨，占地170平方米，每秒能进行5000次加法运算——这在当时已经是了不起的速度了。但如果你看到它，可能会觉得它一点也不像我们今天使用的电脑。

ENIAC没有键盘，没有屏幕，也没有硬盘。它使用打孔卡（punch card）来输入数据和程序。打孔卡是什么？就像一张厚厚的纸卡，上面按照特定的位置打上小孔。计算机通过检测哪些位置有孔、哪些位置没孔，来读取信息。

打孔卡的技术其实在19世纪就已经存在了，最早用于自动织布机。计算机的先驱们采用了这项技术，因为它是当时最可靠的存储和输入方式。你可以这样理解：打孔卡就像是计算机的“嘴巴”和“耳朵”，计算机通过它来“听”人类的指令，“说”出自己的计算结果。

打孔卡上的孔位图案其实是一种编码系统。不同的孔位组合代表不同的字符或数字。IBM公司（当时还叫CTR公司）在打孔卡的基础上发展出了一套字符编码标准——EBCDIC编码。但真正成为计算机字符编码标准的，是后来出现的ASCII码。

ASCII（American Standard Code for Information Interchange，美国信息交换标准代码）诞生于1963年。它用7个二进制位（bit）来表示128个不同的字符，包括26个英文字母、10个数字、一些标点符号和特殊控制字符。ASCII的伟大之处在于它建立了一个通用的标准——只要使用ASCII编码，全世界的计算机都能用同样的方式表示和处理英文字母。

但ASCII有一个致命的弱点：它只能表示英文。对于中文、日文、韩文等使用非拉丁字母的语言，ASCII无能为力。中国人要解决这个问题，还需要等到后来Unicode的出现。这是后话，我们后面再详细讲。

时间继续推进，到了20世纪70年代，个人电脑开始走入普通家庭。1976年，苹果公司推出了Apple I电脑；1981年，IBM推出了IBM PC——这台电脑奠定了现代个人电脑的基本架构。

个人电脑的普及带来了一个重要的应用软件——文字处理器（Word Processor）。最早的文字处理器是专门用来处理文字的机器，比如1978年出现的IBM Magnetic Card Composer。但真正改变世界的，是1983年微软公司推出的Microsoft Word。

Word让普通人在电脑上编辑文档变得异常简单。你可以随意修改文字、调整格式、打印出来。更重要的是，数字化的文档易于复制、修改和传播——这比手写时代方便了一万倍。

文字处理器的出现，标志着人类文字处理能力的一次质的飞跃。以前，一份重要文件从起草到定稿，可能需要反复抄写、修改，耗费大量时间和精力。但现在，你可以随时修改、保存、打印，效率提高了，成本降低了。

---

语言的数学之美：信息论的诞生

在计算机处理文字的过程中，有一个理论起着至关重要的作用——信息论。

1948年，美国数学家克劳德·香农发表了一篇划时代的论文《通信的数学原理》，奠定了信息论的基础。香农提出了一个革命性的观点：信息可以用数学来量化。

什么叫信息的量化？香农引入了“比特”（bit，binary digit的缩写）的概念。比特是信息的最小单位，代表一个二进制位——要么是0，要么是1。香农认为，一条消息的信息量可以用“它消除不确定性程度”来衡量。

这个概念可能有点抽象，让我们用一个例子来说明。假设你在和同学玩一个猜字游戏，你心里想了一个汉字，让对方来猜。你说“这个字是左右结构的”，这句话就包含了一些信息——它缩小了可能的范围。但如果说“这个字是一个点”，那信息量就小得多了——因为几乎所有汉字都有点，无法排除多少可能性。

香农还提出了一个重要的概念——“熵”（entropy）。在热力学中，熵代表系统的混乱程度；在信息论中，熵代表信息的不确定性。香农证明，一个消息源的熵越高，它包含的信息量就越大。

信息论对自然语言处理的影响是深远的。因为语言本身就是一种信息——我们说话、写文章，本质上是在传输信息。信息论提供了分析和处理语言信息的数学工具，让计算机能够“测量”语言的信息量、“压缩”冗余的语言、“编码”文字符号。

一个经典的例子是：英语字母的使用频率是不同的。字母"E"是最常用的，约占文本的12.7%；字母"Z"很少用，只占0.07%左右。这不是偶然的，而是语言长期演化的结果——常用的字母越短（敲键盘越省力），语言传输信息的效率就越高。信息论告诉我们，语言本身就像是大自然精心设计的“压缩算法”，用最少的符号传递最多的信息。

---

自然语言处理的诞生：让计算机“读懂”人话

好了，现在我们已经走过了几千年的历史，来到了20世纪50年代。计算机已经发明了，文字可以被电子方式存储和处理了。但一个新的问题出现了：计算机能理解人类的语言吗？

1950年，计算机科学之父艾伦·图灵提出了一个著名的问题：机器能思考吗？为了回答这个问题，他设计了一个测试——后来被称为“图灵测试”。在测试中，一个人类评判者通过文字聊天的方式与一个人和一个机器对话，如果评判者无法分辨哪个是人、哪个是机器，那么就可以说机器通过了测试，具有“智能”。

图灵测试提出后不久，计算机科学家们就开始尝试让机器理解和生成人类语言。这标志着自然语言处理（Natural Language Processing，简称NLP）这门学科的诞生。

早期的NLP研究主要集中在两个方向：自然语言理解（Natural Language Understanding，NLU）和自然语言生成（Natural Language Generation，NLG）。

自然语言理解是让计算机理解人类语言的含义。比如，你对Siri说“帮我定一个明天早上8点的闹钟”，计算机需要理解：你想要设置闹钟、时间是明天早上8点、这是一项请求而非疑问。这对人类来说再简单不过，但计算机要做到这一点，需要解决很多难题：它需要识别语言中的关键信息（时间、地点、动作、对象），理解词汇之间的关系（“定闹钟”的主语是“你”），处理省略和指代（“帮我”省略了主语，“明天”相对于说话时间是明天）。

自然语言生成则是让计算机产生人类可以理解的语言。比如，当你在搜索引擎中输入一个查询，搜索引擎需要生成一段文字来回答你的问题。这包括决定说什么内容、怎么说、用什么顺序说——这些都是自然语言生成需要解决的问题。

在20世纪50年代到80年代，NLP研究主要采用的是规则式方法（Rule-based Approach）。研究者们试图用手工编写的语法规则和词典来让计算机理解语言。

规则式方法的思路是：人类语言是有规律的，这些规律可以用明确的规则来描述。比如，汉语中“主语+谓语+宾语”的基本句型，英语中的时态变化规则，各种标点符号的使用规范等等。如果把这些规则都编成程序，输入到计算机中，计算机不就能理解语言了吗？

这种方法在某些特定领域确实取得了一些成功。比如，1970年代出现的ELIZA程序，是世界上第一个聊天机器人。ELIZA模拟的是一位心理治疗师，通过模式匹配和预设的回复模板与人对话。有趣的是，很多人竟然真的把ELIZA当成了真正的治疗师，愿意向它倾诉心事！

但规则式方法的局限性