当古人遇见超级电脑

数据读心术

第1章：当古人遇见超级电脑

想象一个普通的下午，阳光透过落地窗洒进小镇图书馆的木地板上。十五岁的林晓晓正蜷缩在角落的老爷沙发上，翻阅着一本关于美国建国的历史书。图书馆很安静，只有空调的嗡嗡声和偶尔翻动书页的沙沙声。

就在这个看似平常的下午，林晓晓偶然翻到了《独立宣言》的手稿复印件。她的目光被一个奇怪的现象吸引住了——这份举世闻名的文件中，有些段落的字迹明显不同于其他部分，笔画的粗细、墨水的浓淡、字母的倾斜角度，都有着微妙的差异。这不应该是同一个人一气呵成的作品吗？

林晓晓不知道的是，就在几百公里外的一所大学里，一群计算机科学家正在用超级计算机分析着同一份文件。他们使用一种叫做“计算字体学”的技术，将手稿扫描成数字图像，然后用复杂的算法提取每个字母的形状特征。结果令人震惊——《独立宣言》的起草过程远比人们想象的要复杂得多，文件中的不同部分很可能出自不同人之手。

这听起来像是侦探小说里的情节，但却是真实发生的故事。而这，正是数字人文（Digital Humanities）这个新兴领域的一个缩影。

---

一个图书馆员的意外发现

让我们把时间拨回到二十世纪五十年代的美国。那时候，计算机还是占据整个房间的庞然大物，运算速度还比不上今天的一块智能手表。但就在这样简陋的条件下，一位名叫罗伯特·哈特伯恩·伯吉斯的天文学家和一位名叫马尼·怀特的历史学家，做了一件在当时看来几乎是疯狂的事情——他们尝试用计算机来分析文学作品。

这听起来可能有些奇怪：计算机不是用来计算导弹轨迹的吗？怎么可以用来研究小说和诗歌？但伯吉斯和怀特有一个大胆的猜想：如果文学作品可以用数字来表示，那么计算机或许能够发现人类肉眼难以察觉的规律。

他们选择的研究对象是英国作家乔叟的作品。杰弗里·乔叟是英国文学史上最重要的人物之一，被誉为“英国诗歌之父”，他的《坎特伯雷故事集》是世界文学的经典之作。但长期以来，学者们一直怀疑现存的《坎特伯雷故事集》并非全部出自乔叟之手——有些故事可能是后来的抄写员添加的，甚至可能是完全假冒乔叟之名的伪作。

伯吉斯和怀特的方法说起来很简单：他们统计了乔叟作品中各种单词的长度分布、句子结构的特点、用词的习惯等“数字化特征”，然后与其他被怀疑是伪作的部分进行对比。如果两者在统计特征上存在显著差异，那就可能意味着它们真的不是同一个人写的。

这就是最早的“计算文体学”（Computational Stylistics）研究。虽然以今天的标准来看，他们的方法还相当粗糙，结论也存在争议，但这个开创性的尝试为后来的数字人文研究奠定了基础。

从某种意义上说，伯吉斯和怀特的工作就像是文学研究领域的“指纹识别”——就像侦探通过指纹来识别罪犯的身份，学者们通过文本的“数字指纹”来判断作者的真伪。只不过，这里的“指纹”不是手指的纹路，而是各种语言特征的统计模式。

---

《独立宣言》的秘密

让我们回到文章开头提到的那份《独立宣言》。这份文件的重要性无需赘言——它是美国建国的基石，也是人类追求自由与权利的象征性文献。1776年7月4日，大陆会议正式通过这份宣言，托马斯·杰斐逊的名字因此永载史册。

长期以来，人们一直认为《独立宣言》主要是杰斐逊一人的杰作。历史教科书告诉我们，杰斐逊在费城闭门数周，一气呵成写下了这份不朽文献。其他的签名者——尤其是本杰明·富兰克林和约翰·亚当斯——据说只是做了一些小小的文字修改。

然而，二十世纪的计算机分析却揭示了一个截然不同的故事。

1973年，两位计算机科学家唐纳德·克莱因和弗兰克·贝茨托发表了一项划时代的研究。他们没有去分析文件的内容，而是另辟蹊径——研究《独立宣言》中不同部分的“写作风格”。

他们的方法是什么呢？原来，每个人写作都有自己的习惯，就像每个人说话都有独特的口音一样。有些人喜欢用长句子，有些人偏爱短句；有些人经常使用“然而”、“但是”这样的转折词，有些人则很少用；有些人喜欢用被动语态，有些人几乎不用。这些看似细微的差异，累积起来就形成了独特的“文体指纹”。

克莱因和贝茨托的做法是：将《独立宣言》分成若干段落，然后逐一统计每个段落的句子长度、单词长度、特定词汇的使用频率等特征。接下来，他们把杰斐逊的其他已知作品（如他写的信件和文章）的文体特征作为基准，进行对比分析。

结果令人大吃一惊。《独立宣言》的前半部分——那些关于“生命、自由和追求幸福的权利”的著名段落——的文体特征与杰斐逊的其他作品高度吻合。但后半部分——那些具体列举英国国王罪行的段落——的文体特征却与杰斐逊的惯常风格有着明显差异。

进一步的分析表明，后半部分的文体特征与本杰明·富兰克林的文章风格更加吻合。这说明什么？说明《独立宣言》并非完全是杰斐逊一人的手笔，富兰克林很可能才是后半部分的真正执笔者！

这个发现彻底颠覆了人们关于《独立宣言》写作过程的传统认知。原来，这份文件是两位伟人合作的产物，只是历史的聚光灯只照亮了杰斐逊一人。

进入二十一世纪后，更先进的计算机技术让研究者们能够进行更加精细的分析。2014年，一位名叫卢修斯·艾略特的计算机科学家使用了“马尔可夫链分析”技术，对《独立宣言》进行了更深入的研究。这种技术可以捕捉文本中单词之间的转换模式——比如，当一个单词以某个字母结尾时，下一个单词通常以什么字母开头？这种模式是极其个人化的，几乎不可能被刻意模仿。

艾略特的研究进一步证实了克莱因和贝茨托的发现，并且还发现了更多有趣的细节：文件的某些段落很可能经过了多人多次的修改，每次修改都留下了微弱的“文体痕迹”，就像考古学家在地层中发现的层层叠叠的文化遗迹。

现在，你或许能够理解林晓晓在图书馆里的那一眼为什么那么重要了。她直觉上感受到的那些“不对劲”的地方——字迹的差异、笔画的微妙变化——实际上与计算机科学家用数学方法发现的结论不谋而合。只是，她还不知道这背后有着怎样的科学原理。

---

寻找真正的莎士比亚

如果说《独立宣言》的作者之谜还有“官方版本”可以参考，那么另一个困扰了文学界几百年的问题就显得更加扑朔迷离了：莎士比亚的剧本，到底是不是莎士比亚写的？

这个问题听起来可能有些莫名其妙。莎士比亚——威廉·莎士比亚——难道不就是那个写了《哈姆雷特》、《罗密欧与朱丽叶》、《麦克白》的剧作家吗？他的作品至今仍在全世界的剧院上演，他的名句至今仍被人们引用。这有什么好质疑的？

然而，质疑的声音从未停止过。事实上，关于莎士比亚作品的作者问题，有一个专门的术语——“莎士比亚 authorship 问题”（Shakespeare Authorship Question）。几百年来，无数学者、作家、政治家甚至科学家都卷入了这场旷日持久的争论。

质疑者的理由是什么呢？原来，关于莎士比亚的生平，留下的记载少得可怜。我们知道有一个叫威廉·莎士比亚的人，他出生于英格兰沃里克郡的斯特拉特福镇，年轻时离开家乡去伦敦闯荡，后来成为了剧作家和演员，在伦敦购置了房产，死后葬在斯特拉特福。但除此之外，我们对他的了解非常有限。

更重要的是，莎士比亚据说几乎没有受过正规教育。一个没有受过多少教育的乡下人，怎么能写出如此精妙的剧本？剧本中涉及的法律、医学、宫廷礼仪等专业知识，一个普通演员怎么可能如此精通？

这些问题催生了许多替代理论。有人认为真正的作者是弗朗西斯·培根——那位著名的哲学家和政治家；有人认为是牛津伯爵爱德华·德·维尔；还有人认为是克里斯托弗·马洛——那位与莎士比亚同时代的剧作家，甚至有人认为是一群人共同创作的“集体作品”。

在所有这些理论中，“培根说”曾经是流传最广的一种。培根确实是一位学识渊博的人物，他精通法律、哲学和科学，完全有能力写出莎士比亚式的剧本。更重要的是，有传言说培根本人曾暗示自己就是莎士比亚作品的真正作者——据说他把某些密码信息隐藏在自己的著作中，等待后人去发现。

二十世纪八十年代，一位名叫托马斯·默瑟的计算机科学家决定用科学的方法来检验这些理论。他收集了大量被认为是培根真迹的文本，以及大量公认的莎士比亚剧本，然后编写了一个计算机程序来分析两者的文体特征。

默瑟的分析方法基于一个简单而有力的假设：如果莎士比亚的剧本真是培根写的，那么两者的文体特征应该非常相似；反之，如果两者毫无关系，那么它们的文体特征应该有显著差异。

具体来说，默瑟关注的是一种叫做“功能词”的语言成分。功能词是语言中用来表达语法关系的词，比如“的”、“了”、“和”、“在”、“是”等。它们在文本中出现的频率很高，但往往不承载具体的语义信息，因此作者在写作时通常不会刻意使用某种特定的功能词模式。正是因为这种“无意识”的特点，功能词的使用模式被认为是一种非常可靠的作者指纹。

默瑟的计算机程序统计了莎士比亚剧本和培根著作中各种功能词的使用频率，然后计算两者之间的“距离”——这是一种数学上衡量两个文本集合相似程度的方法。结果显示，莎士比亚剧本与培根著作之间的文体距离远大于莎士比亚剧本与另一位剧作家马洛作品之间的距离。换句话说，莎士比亚的作品更像是马洛写的，而不是培根写的！

这个结果并没有证明培根不是作者——因为仅凭文体分析无法得出确定的结论。但它确实有力地质疑了“培根说”的可信度。

当然，数字人文的方法并非万能。2016年，斯坦福大学的计算机科学家运用现代机器学习技术，试图区分莎士比亚剧本中不同作者的贡献。他们的研究得出了一个令许多人意外的结论：莎士比亚的许多剧本——包括《亨利六世》第二和第三部分，以及《泰特斯·安特洛尼克斯》——很可能与另一位剧作家克里斯托弗·马洛有合作关系。

具体来说，研究者发现这些剧本的不同部分在文体特征上存在差异，暗示可能有不同作者参与了创作。虽然我们仍然无法确定这些“其他作者”是谁，但至少证明了一点：文艺复兴时期的戏剧创作可能远比我们想象的更加“团队化”。

---

大观园里的时间旅行

故事讲到这里，读者可能会觉得这些都是西方的事情。数字人文听起来很时髦，但它跟我们的传统文化有什么关系呢？

别急，让我们把目光转向中国，转向那部被誉为“中国古典小说巅峰之作”的《红楼梦》。

《红楼梦》的伟大之处，不仅在于它精妙的叙事和深刻的人物刻画，还在于它背后那段扑朔迷离的创作历史。曹雪芹——那位传说中的作者——究竟写了多少？现存的一百二十回版本中，后四十回到底是谁写的？这些问题百年来一直困扰着无数学者和读者。

“曹雪芹原著”与“高鹗续书”的争论，是红学（红楼梦研究）中最核心的问题之一。一般来说，学者们认为前八十回是曹雪芹的原著，而后四十回是书商高鹗续写的。这种说法有其合理性：《红楼梦》开篇第一回就提到“曹雪芹于悼红轩中披阅十载，增删五次，纂成目录，分出章回”，暗示作者对作品进行了大量的修改；而后四十回的故事情节、人物命运与前八十回的伏笔多有矛盾，风格上也有明显差异。

但“一般认为”不等于“确切证明”。红学界一直有人在追问：这些差异真的足以证明后四十回不是曹雪芹写的吗？会不会只是曹雪芹自己在不同时期的修改造成的？或者，后四十回虽然经过高鹗编辑，但核心内容仍是曹雪芹的原作？

这是一个非常适合用数字人文方法来回答的问题。因为问题的关键不在于主观的阅读感受，而在于文本中那些客观可测量的语言特征。如果前八十回和后四十回在语言特征上有显著差异，那就支持“续书说”；如果两者高度相似，那就需要重新考虑。

中国学者很早就开始了这方面的探索。1957年，数学家华罗庚就曾尝试用统计学方法分析《红楼梦》的作者问题。他统计了前八十回和后四十回中“而”、“因”、“但是”、“于是”等虚词的使用频率，发现两者存在明显差异。华罗庚因此认为，后四十回不太可能是曹雪芹的原作。

不过，单一指标的结论往往不够稳健。随着计算机技术的发展，学者们开始使用更加复杂的方法，同时考察更多的语言特征。

1986年，上海师范大学的陈大康和华东师范大学的王锡明合作发表了一项研究。他们选取了《红楼梦》中的四十个常用字（包括“的”、“了”、“和”、“是”等虚词，以及一些常见实词），统计了它们在前八十回和后四十回中的出现频率，然后运用判别分析方法来判断这些段落是否属于同一作者。

判别分析是一种统计方法，它的工作原理类似于“机器学习”——先用已知的样本来“训练”一个数学模型，然后用这个模型来判断未知样本的归属。在陈大康和王锡明的研究中，他们以前八十回为“训练集”，建立了一个关于曹雪芹写作风格的数学模型，然后用这个模型来“预测”后四十回的作者。

结果如何呢？模型几乎可以百分之百地将前八十回和后四十回区分开来。这意味着两部分的语言特征确实存在本质差异，“续书说”得到了有力的统计支持。

2007年，复旦大学的计算语言学家黄萱菁和她的团队将这项研究推进到了一个新的层次。她们不仅考察了虚词的使用频率，还分析了句子长度分布、段落长度分布、以及词汇的丰富度等更多维度的特征。更重要的是，她们使用了当时最先进的机器学习算法——支持向量机（Support Vector Machine, SVM）——来进行作者归因分析。

研究的结果再次支持了“续书说”。SVM模型能够以前所未有的准确率区分前八十回和后四十回。更详细的分析还发现，后四十回内部也存在文体差异——有些段落与前八十回更加相似，有些则差异更大。这暗示后四十回可能出自多人之手，或者经过了多次编辑整理。

有趣的是，同一时期还有学者尝试用完全不同的方法来研究《红楼梦》。2013年，中国科技大学的陈必勇团队运用“词向量”（Word Embedding）技术，分析了《红楼梦》中人物之间的关系网络。这项研究的核心发现是：前八十回中人物关系的复杂度远高于后四十回。具体来说，前八十回中两个随机抽取的人物之间，平均需要通过1.4个人物就能建立联系；而后四十回中，这个数字是1.8。这意味着曹雪芹在前八十回中构建了一个极其复杂的人物关系网络，而续作者似乎没有能力完全继承这种复杂性。

2016年，北京语言大学的研究者更进一步，使用“深度学习”技术来分析《红楼梦》的文本特征。他们训练了一个神经网络来学习前八十回的语言模式，然后用这个网络来生成新的文本片段。结果发现，生成的文本与前八十回非常相似，但与后四十回则有明显差异。这从另一个角度说明，两部分确实属于不同的“语言风格体系”。

当然，数字人文研究并非要“推翻”红学的既有结论，而是为争论提供更加客观的证据。对于普通读者来说，也许更重要的是，这些研究让我们看到了《红楼梦》这部伟大作品背后那些隐藏的“数字密码”。当我们阅读大观园里那些悲欢离合的故事时，或许可以想象，在那些优美的文字之下，还潜藏着无数等待被发掘的语言特征——它们就像是大观园的“数字蓝图”，诉说着这部作品不为人知的故事。

---

当人文学者遇见计算机

通过以上三个故事，我们看到了数字人文研究的魅力所在。《独立宣言》的作者之争、莎士比亚的版权之谜、《红楼梦》的版本之辨——这些困扰学界几百年的问题，正在因为计算机技术的介入而获得新的解决契机。

但数字人文的意义远不止于“破解历史悬案”。它的真正价值，在于为整个人文研究领域提供了一种全新的思维方式。

传统的文学研究、历史研究、哲学研究，靠的是学者的个人学识、敏锐直觉和反复阅读。研究者需要皓首穷经地阅读原始文献，需要博闻强记地掌握相关背景，需要反复揣摩来理解文本的深层含义。这种方法当然有其不可替代的价值——它让我们能够理解文本的细微之处，把握作者的创作意图，感受历史的温度。

但人文学科的传统方法也有其局限性。首先，人类的认知能力是有限的。一个人穷其一生，能够阅读的文献数量毕竟是有限的；而历史上积累下来的文献资料——尤其是那些尚未被整理出版的档案、手稿、书信——更是浩如烟海。研究者很容易陷入“盲人摸象”的困境——每个人都只看到了一小部分，然后就急于下结论。

其次，人类的直觉虽然敏锐，但并不可靠。我们很容易受到先入之见的影响，选择性地关注那些支持自己观点的证据，而忽略那些相反的证据。这种认知偏差在人文研究中并不罕见——不同的学者对同一文本往往会有截然不同的理解，而且各自都能找到支持自己观点的“证据”。

计算机的出现，在很大程度上弥补了这些不足。计算机不会疲劳，不会遗忘，不会受到情绪的影响，更不会受到先入之见的影响。当研究者将文献转化为数字化的形式，计算机就可以不知疲倦地进行分析，处理那些人类根本无法企及的大规模数据，发现那些隐藏在文本深处的微妙模式。

更重要的是，计算机分析的结果是可以重复验证的。传统的人文研究往往依赖学者的个人解读，而不同的学者可能会有完全不同的解读。但计算机分析的过程是透明的、可重复的——只要使用相同的方法和相同的输入数据，任何人都可以验证分析结果。这种客观性和可重复性，是人文学科长期以来所缺乏的。

当然，数字人文并非要取代传统的人文研究，而是要与它形成互补。计算机擅长处理大量的、客观的、可量化的信息；而人脑擅长理解语境、把握情感、发现意义。最好的研究，往往是将这两种方法有机结合的产物。

正如一位数字人文研究者所说：“计算机不会告诉我们一部小说好不好看，但它可以告诉我们，是什么让这部小说显得‘好看’——是某种重复出现的句式，还是某种特定的叙事结构，还是某种出人意料的词汇组合？这些信息可以帮助我们更好地理解文学作品，但也需要我们来解释这些信息的意义。”

---

数字人文：从工具到学科

说了这么多，也许你已经对“数字人文”这个概念有了初步的印象。但让我们更系统地来了解一下这个领域。

“数字人文”（Digital Humanities，简称DH）是一个跨学科的研究领域，它将数字技术与人文研究相结合，运用计算方法来研究文学、历史、哲学、艺术、语言学等传统人文学科的问题。

“数字人文”这个术语大约在21世纪初开始流行，但这个领域的历史可以追溯到更早的时期。我们前面提到的伯吉斯和怀特在20世纪50年代的工作，就可以看作是数字人文的先驱。不过，在那个年代，使用计算机来进行人文研究还是一件非常罕见的事情——毕竟，那时候的计算机既昂贵又难用，普通人根本接触不到。

真正让数字人文“飞入寻常百姓家”的，是20世纪90年代以后个人电脑和互联网的普及。特别是21世纪以来，随着计算机运算能力的飞速提升、存储成本的急剧下降、以及各种分析工具的日益成熟，进行数字人文研究已经不再是少数“技术精英”的专利。越来越多的文学研究者、历史学家、语言学家开始学习和使用这些技术，数字人文逐渐从一个边缘领域成长为学术界的重要力量。

今天，数字人文的研究范围已经非常广泛。举几个例子：

• **文学研究**：分析文学作品的文体特征，确定作者身份，研究文学史的演变趋势；
• **历史研究**：数字化整理历史档案，分析大规模的历史数据，研究社会变迁的模式；
• **语言学研究**：研究语言的演变规律，方言的地理分布，语言接触的影响；
• **艺术研究**：数字化保存艺术作品，分析艺术风格的演变，探索艺术的跨文化交流；
• **社会科学与人文科学的交叉**：研究社交媒体上的语言使用，分析公众舆论的演变，探索文化遗产的数字化保护。

这些研究有一个共同的特点：它们都依赖于大规模的数据分析和计算方法，但又服务于人文研究的核心目标——理解人类文化、思想和历史。

---

为什么我们需要技术来研究人文？