故事的开始：当人类遇见机器的语言
想象一下这样的场景：清晨，你被手机里温柔的声音唤醒，“早上好！今天天气晴朗，气温18到25度，适合外出。”你懒洋洋地躺在床上，随口问道：“今天有什么重要的事吗？”手机停顿了不到一秒，回复道：“今天上午10点有个会议，下午3点需要提交报告。”你嗯了一声，让它帮你取消了上午的会议，顺便提醒同事。
这样平常得不能再平常的对话，你可能每天都会经历。你甚至不会觉得这有什么特别——机器理解你说的话，似乎是理所当然的事。
但如果我们把时间往回拨一百年，甚至五十年，这个场景可能会让当时最聪明的科学家瞠目结舌。他们可能会瞪大眼睛，难以置信地问：“机器？真的能'听懂'人话？”
这个问题看似简单，却困扰了人类数千年。从远古人类第一次在洞穴墙壁上画出野牛的样子，到今天你对着手机说“嘿，Siri”，人类始终在追问同一个问题：人类的思想能否被记录、传递，甚至被机器理解？
这不仅仅是技术问题，更是关乎人类文明本质的哲学追问。我们创造语言，发明文字，建造图书馆和互联网——这一切的努力，不过是为了让思想能够跨越时空，触达另一个心灵。而今，我们试图让机器也成为这个思想传递网络的一部分。这听起来像是神话里的故事，但今天，它确确实实发生在你手中的那台设备里。
---
结绳记事：人类最早的“数据库”
让我们把时间拨回到数万年前的远古时代。
那时候，人类还没有发明文字，甚至连语言都还处于萌芽阶段。但我们的祖先已经面临一个迫切的问题：如何记住重要的事情？猎物还剩多少？部落里有多少人？明天要去哪里采集？
聪明的祖先们想出了一个巧妙的办法——结绳记事。
考古学家发现，早在公元前7000年左右，人类就开始使用绳子打结来记录信息。不同大小、不同颜色的绳结，代表不同的事物和数量。一道大结可能代表一头牛，一道小结可能代表一只羊。几个绳结串在一起，就是一份简单的“账本”。
秘鲁的印加帝国在公元15世纪达到了结绳记事的巅峰。印加人以"quipus"（奇普）——一种由彩色羊毛绳和棉绳编织而成的打结绳子——作为记录人口普查数据、税收、库存甚至故事和传说的工具。不同的颜色代表不同的类别，横绳上的结表示具体的数字。
这看起来简陋得可笑，对吗？但仔细想想，这不就是人类最早的“数据库”吗？
印加帝国的祭司和官员——被称为"quipucamayocs"（绳结管理者）——需要经过多年的训练才能读懂这些绳结。他们就像今天的数据库管理员，负责维护和解读这些“信息”。一个熟练的绳结管理者，可以在一堆复杂的绳结中找到特定的信息，就像现代人使用SQL查询数据库一样。
结绳记事告诉我们一个重要的道理：人类很早就意识到，信息的存储和检索是一门需要专门技术的学问。我们需要一种“编码系统”，把真实世界的事物转化为可以记录、可以读取的符号。
这个洞见如此深刻，以至于它像一颗种子，埋藏在人类文明的土壤里，等待着发芽的那一天。
---
文字的诞生：思想有了“栖身之所”
结绳记事虽然巧妙，但局限性很明显。它只能表示数量和简单的类别，无法记录复杂的思想和故事。一个绳结能告诉你“部落有50个人”，但它无法讲述这50个人是如何迁徙到这里的故事。
大约在公元前3500年左右，美索不达米亚平原上的苏美尔人迈出了革命性的一步——他们发明了楔形文字。
最初，苏美尔人只是在泥板上刻画简单的图画。一头牛就画一头牛的形状，一个谷仓就画一个谷仓的形状。这叫“象形文字”，顾名思义，就是用像图画一样的符号来表示事物。
但很快，苏美尔人发现了一个问题：有些东西很难画。思想怎么画？爱情怎么画？时间怎么画？
于是，他们开始“借用”符号的读音来表达那些抽象的概念。在苏美尔语中，“箭”和“生命”是同一个词（"ti"），于是他们就用“箭”的符号来表示“生命”和“活着”的概念。这套系统变得越来越抽象，越来越符号化，最终演变成了楔形文字。
楔形文字的诞生，标志着人类进入了一个全新的时代：思想可以脱离人脑而存在了。
你可以把一段话刻在泥板上，然后把这块泥板交给别人。别人捡起泥板，就能“读出”你刻在上面的思想。即使你死了，即使过了几千年，后人仍然能读到你想说的话。这就是文字的力量——它让思想拥有了超越生命的“栖身之所”。
古埃及的象形文字、古中国的甲骨文、中美洲玛雅人的文字系统……这些独立的文字发明，虽然时间地点不同，却都指向同一个目标：让人类的经验和智慧能够被记录、被传递、被保存。
没有文字的发明，就不可能有后来的一切。想象一下，如果没有文字，人类的知识只能通过口耳相传，每一代人都要从头学起，文明怎么可能进步？正是因为文字，我们才能站在巨人的肩膀上，把前人的智慧一代代积累下去。
公元前1440年左右，古埃及的法老图特摩斯三世攻打叙利亚，他的大臣把这场战争详细记录了下来。3000多年后，考古学家发现了这些记录，重新拼凑出了那场古代世界最伟大的军事行动之一。如果不是文字，这场战役可能就像其他无数场战争一样，被历史的尘埃掩埋，无人知晓。
---
印刷术的革命：让知识“飞入寻常百姓家”
文字的发明是第一步，但光有文字还不够。
在印刷术发明之前，书籍只能靠手抄。一本《圣经》可能需要几个月甚至几年的时间才能抄完。知识被极少数的僧侣和贵族垄断，普通人几乎没有接触书籍的机会。
公元7世纪左右，中国的隋唐时期，发明了雕版印刷术。人们在木板上刻好字，刷上墨，然后印在纸上。这比手抄快多了，但每印一本书都要重新刻版，效率仍然很低。
真正改变世界的是毕昇在公元1040年左右发明的活字印刷术。他用泥土烧制成单个的字符，可以反复排列组合使用。这套系统后来经过古登堡在15世纪的改进，用金属活字和印刷机彻底改变了信息的传播方式。
1455年，古登堡用他的印刷机印制了著名的《古登堡圣经》，这是西方第一本批量印刷的书籍。此后不到50年，欧洲已经有了超过2000万本书籍。在印刷术发明之前，整个欧洲的书籍总量可能也不到这个数字。
这个变化的意义怎么强调都不为过。
书籍不再是稀缺品，知识的门槛大幅降低。一个普通人，只要能读书，就能获取前人积累的知识。马丁·路德的宗教改革之所以能成功，很大程度上就是因为他的《九十五条论纲》被印刷成数千份，传遍了整个欧洲。如果不是印刷术，这种传播速度是不可想象的。
启蒙运动、文艺复兴、科学革命——这些塑造现代世界的思想运动，无一不是在印刷术的推动下才成为可能的。知识从寺庙和宫殿走向了街头和市场，普通人第一次有了获取知识的渠道。
印刷术还带来了另一个重要的副产品：标准化。
在印刷术之前，同一本书可能有无数个版本，每个抄写员都会带入自己的理解和错误。但印刷术之后，所有人读的都是同一本书，同一个版本。这让知识的交流变得更加精确和高效。科学家们可以引用别人的论文，学者们可以讨论同一个文本——这一切都建立在标准化的基础之上。
回过头来看NLP，我们今天做的很多事情，本质上还是在延续这个理想：让知识能够被高效地记录、传播和理解。只不过，信息的载体从泥板、羊皮纸变成了数字信号，信息的处理者从人脑变成了计算机。
---
电报时代：信息的“瞬间”传递
如果说印刷术解决了信息的存储问题，那么电报就解决了信息的传输问题。
在电报发明之前，信息的传递速度受制于人和马的速度。一封信从北京送到广州，可能需要数周甚至数月。军事命令、紧急情报，往往因为传递太慢而失去价值。
1793年，法国工程师克劳德·查普（Claude Chappe）发明了第一套实用的光学电报系统。他在法国各地建造了一系列信号塔，每座塔上都装有可动的臂杆。通过不同的臂杆位置组合，可以表示不同的字母。信息从一个塔传到另一个塔，一小时能传递几百公里。
这套系统听起来很原始，但它第一次实现了“即时”通信。一个军事命令，从巴黎发出，几个小时后就能到达边境的军队。
但真正革命性的突破来自塞缪尔·莫尔斯（Samuel Morse）。1837年，他发明了电报和著名的“莫尔斯电码”。这个系统用两种简单的信号——短促的点（dit）和较长的划（dah）——来表示所有字母和数字。
为什么这么简单的方法如此重要？因为它把信息的传输变成了一个可以精确控制的物理过程。电流可以通过电线瞬间到达远方，而“通电”和“断电”两种状态，可以被精确地区分和组合。
莫尔斯电码本质上就是一种“语言”——一种专门为机器设计的语言。人类要表达的意思，首先被编码成点的序列，然后通过电线的“通-断”来传输，最后再被解码成人能理解的信息。这不就是我们今天在计算机和网络上做的所有事情的前身吗？
1844年，莫尔斯发出了人类历史上第一条远程电报信息："What hath God wrought"（上帝创造了什么）。这条消息从华盛顿发送到巴尔的摩，只有44个英文字母，但它标志着人类通信史上一个新时代的开始。
此后，电报网络迅速扩张。1858年，第一条跨大西洋电报电缆建成，虽然只使用了三周就坏了，但它证明了大陆之间是可以“对话”的。1866年，新的跨大西洋电缆成功投入使用，从欧洲到美洲的信息传递时间，从原来的数周缩短到了几分钟。
电报时代给我们的启示是：信息可以被编码、传输和解码。人类的思想——无论是日常对话还是复杂的科学理论——都可以被转化为某种中间形式，通过某种媒介传递，然后被还原成原始的思想。
这套“编码-传输-解码”的框架，至今仍然是所有信息技术的基础。当然，今天的NLP也是建立在这个框架之上的。我们说的话被“编码”成声波或文字，然后被计算机处理，最后再被“解码”成机器的回应。
---
图灵之问：机器能思考吗？
现在，我们终于要谈到那个改变一切的问题。
1950年，一个名叫阿兰·图灵（Alan Turing）的英国数学家，在《思维》（Mind）杂志上发表了一篇只有27页的论文。但这篇论文的内容，足以让后世争论至今。
这篇论文的题目叫《计算机械与智能》（Computing Machinery and Intelligence）。在论文中，图灵并没有直接回答“机器能否思考”这个问题——他太聪明了，知道这个问题会陷入无休止的哲学争论。但他提出了一个更实际的问题：
“如果一台机器表现得像是在思考，我们有什么理由说它不是在思考？”
这个看似简单的反问，打开了一扇全新的大门。
图灵设计了一个思想实验，后人称之为“图灵测试”。他设想了一个场景：一个人（评判者）通过文字与两个对象交流——一个是真人，另一个是机器。如果评判者无法区分哪个是人、哪个是机器，那么这台机器就通过了测试，可以被认为具有“智能”。
图灵认为，只要机器能够成功地在对话中伪装成人类，我们就没有理由否认它具有智能。“思考”的定义不应该是“内部发生了什么”，而应该是“外部表现出了什么”。一台能够完美模拟人类对话的机器，在功能上与一个会思考的人是等价的。
这个观点在今天看来可能不那么惊人，但在1950年，它简直是惊世骇俗的。
那时候的计算机刚刚诞生不久，还是占据整个房间的庞然大物，运算能力可能还不如你口袋里的智能手机。但图灵已经在思考这些“会计算的机器”是否能够思考、是否能够学习、是否能够理解语言。
图灵的论文中还包含了一个预测：“我相信，在大约50年后，计算机的存储容量可能达到10^9（即10亿）个二进制数字，届时我们有可能制造出能够通过图灵测试的机器。”
让我们来验证一下这个预测。2000万比特约等于2.5MB，而图灵说的10^9比特大约是125MB。2000年左右，个人电脑的硬盘容量开始普遍超过这个数字。2009年，一款名为"CLEVERBOT"的聊天程序据说通过了图灵测试，虽然这个结果至今仍有争议。
从某种意义上说，图灵的预测相当准确。
当然，图灵测试本身也有争议。哲学家约翰·塞尔（John Searle）在1980年提出了著名的“中文房间”思想实验来反驳图灵测试。他假设一个人被关在房间里，收到写有中文符号的纸条，他按照规则书找出对应的符号并返回。虽然他完全不懂中文，但房间外的人会以为他懂。塞尔用这个例子说明，即使机器能够完美地模仿人类对话，它也不一定真正“理解”语言——它只是在操作符号，而不是真正理解符号的含义。
这个争论至今没有定论。但不管怎样，图灵测试为后来的人工智能研究指明了方向：让机器表现出智能行为，特别是语言理解和生成能力，是衡量机器是否“智能”的重要标准。
---
达特茅斯会议：AI的诞生
1956年夏天，美国新罕布什尔州的一个小镇上，迎来了一群特殊的客人。
来自卡内基梅隆大学、麻省理工学院、IBM的年轻科学家们，聚集在达特茅斯学院，参加一个为期两个月的工作坊。这个工作坊的发起人是约翰·麦卡锡（John McCarthy），一位27岁的年轻数学家。
在给洛克菲勒基金会申请经费的提案中，麦卡锡写下了这样的描述：
“我们提议在1956年夏天，在达特茅斯学院举行一个由10个人参加的人工智能研讨会。目标是在一两个月内，让计算机在以下方面取得重大进展：1）让计算机使用语言；2）形成概念和抽象概念；3）解决只有人类才能解决的各种复杂问题；4）自我改进。”
“Artificial Intelligence”——人工智能。这个词是麦卡锡临时想出来的，但它在此后的70年里，成了最热门、最具争议、也最具想象力的词汇之一。
现在回过头来看1956年的达特茅斯会议，你会觉得这些科学家的想法既天真又勇敢。他们以为，只要几个月的时间，就能让计算机掌握语言、形成概念、解决复杂问题。他们大大低估了这件事情的难度。
但正是这种“天真”和“勇敢”，开创了一个全新的学科。
达特茅斯会议之后，人工智能研究迅速升温。1958年，弗兰克·罗森布拉特（Frank Rosenblatt）发明了感知机（Perceptron），这是最早的神经网络模型之一。1964年，约瑟夫·维森鲍姆（Joseph Weizenbaum）开发了ELIZA，这是世界上第一个聊天机器人。
会议上的许多预测，到今天还没有完全实现。但正是这些未完成的梦想，激励着一代又一代的科学家不断探索。
---
ELIZA：第一次与机器对话
1966年，一个叫ELIZA的程序悄悄地在MIT的计算机上运行起来。
ELIZA的设计者约瑟夫·维森鲍姆（Joseph Weizenbaum）最初只是想演示人机对话的局限性——他想让人们看到，机器所谓的“理解”是多么表面。但他没想到，这个简单的程序会引起如此大的反响。
ELIZA的工作原理出奇地简单。它的核心是一个“模式匹配”和“替换”的系统。程序员预先定义一系列规则，比如：
- 如果用户说：“我需要___”（例如“我需要帮助”）
- ELIZA就回复：“为什么你需要___？”（例如“为什么你需要帮助？”）
或者：
- 如果用户说：“我感到___”（例如“我感到难过”）
- ELIZA就回复：“你经常感到___吗？”（例如“你经常感到难过吗？”）
这种技术被称为“关键词识别和转换”。ELIZA并不真正理解用户说的话，它只是在用户的话语中寻找关键词，然后按照预设的规则生成一个听起来像是回应的句子。
更有趣的是，ELIZA还有一个扮演“心理治疗师”的版本，叫做DOCTOR。这个版本的对话可能像这样：
``` 用户：我有问题。 ELIZA：说你有什么问题？ 用户：我不开心。 ELIZA：你经常不开心吗？ 用户：是的，我觉得孤独。 ELIZA：和我谈谈，是什么让你觉得孤独？ ```
看起来是不是很像真的在进行心理治疗？事实上，它只是简单地重复和重述用户的话，加上一些引导性的问题。
但维森鲍姆震惊地发现，人们对ELIZA的反应完全出乎他的预料。
人们真的开始和ELIZA倾诉他们的烦恼、恐惧和秘密。有的人每天花几个小时和ELIZA聊天，把它当成真正的心理咨询师。当维森鲍姆想删除这个程序时，他的助手恳求他不要这么做——因为她发现没有ELIZA的日子变得难以忍受。
这让维森鲍姆非常不安。他原本想用ELIZA来说明机器的局限性，结果却发现人们如此容易把机器当成有情感的存在。他后来写了《计算机能力和人类理性》（Computer Power and Human Reason）一书，专门反思这个现象。
维森鲍姆成为了人工智能最早的批评者之一。他警告说，我们不应该过度信任那些看似智能的系统，更不应该让机器替代人类的判断和情感交流。但与此同时，ELIZA的成功也启发了无数学者：也许，机器真的可以用来进行对话交互？也许，语言理解并不像我们想象的那么困难？
今天，Siri、Alexa、小爱同学等智能助手遍布全球。它们的技术基础与ELIZA已经完全不同，但基本思想仍然类似：让机器以对话的方式与人交流。某种意义上，我们今天习以为常的语音助手，都应该感谢这个1966年的简单程序。
---
早期的艰难探索：NLP的学术岁月
从ELIZA诞生之后，自然语言处理（Natural Language Processing，简称NLP）作为一个独立的研究领域，开始慢慢成形。
但这条道路远没有人们想象的那么平坦。
1950年代到1960年代的第一批NLP系统，大多采用“规则驱动”的方法。研究人员试图用手工编写的语法规则和词典，让计算机能够“理解”自然语言。他们的想法是：人类语言有一套固定的语法规则，只要把这些规则教给计算机，计算机就能理解语言了。
这种思路在理论上很优雅，但在实践中遇到了巨大的困难。
首先，语言规则的数量远超任何人的想象。一个完整的英语语法规则手册，可能比这本书还要厚，而且仍然无法覆盖所有的情况。更要命的是，语言充满了“例外”和“不规则”的现象。古英语的动词过去式曾经是有规律的，但几百年下来，这些规则变得一团糟。英语的“go-went-gone”就是个明显的例子——它根本不遵循任何规则。
其次，语言规则与上下文密切相关。中文的“我想起来了”可能是“我记起了某件事”，也可能是“我想站起来了”，具体什么意思完全取决于上下文。单纯的语法规则无法处理这种依赖于语境的歧义。
1966年，美国自动语言处理咨询委员会（ALPAC）发布了一份著名的报告，对当时的机器翻译研究提出了严厉批评。这份报告认为，机器翻译不仅速度慢、质量差，而且成本高昂，远不如人工翻译。报告直接导致美国政府大幅削减了对NLP研究的资助。
这就是后来所谓的“第一次AI寒冬”。
这次挫折让许多研究者意识到，简单的规则系统无法解决语言理解的难题。语言不仅仅是语法，它还包括语义、语用、常识知识、上下文理解等等。要真正理解语言，机器需要具备“常识”——而这是当时的技术根本无法实现的。
接下来的十几年里，NLP研究陷入了低潮。1970年代到1980年代，虽然有一些进步，但整体进展缓慢。大多数系统仍然只能处理受限的、简化的语言，无法应对真实世界的复杂情况。
不过，这段艰难的岁月也不是没有收获。研究者们积累了大量的语言学知识，发展出了各种语法 formalism（如上下文无关文法、转换生成语法等），也为后来的统计方法奠定了基础。
更重要的是，这段经历让人们认识到语言理解的真正困难：它不是一个单纯的工程技术问题，而是与人类认知、常识推理、世界知识密切相关的深层问题。这个认识，推动了后来认知科学和人工智能的交叉发展。
---
统计方法的崛起：让数据说话
1980年代末，一个新的范式开始崭露头