当古籍遇上代码：数字人文的第一堂课

当古籍遇上代码：数字人文的第一堂课

一部消失的手稿与一个意外的发现

公元1900年，一位名叫斯坦因的探险家在中国西北的敦煌莫高窟发现了一批封存了近千年的珍贵文献。这批后来被称为"敦煌遗书"的写本，数量超过五万件，涵盖了从公元4世纪到11世纪的方方面面——佛教经卷、历史档案、文学作品、甚至还有当时的买卖契约和情书。这些文献的发现，彻底改变了我们对中古中国社会的认知。

然而，面对这批浩如烟海的文献，学者们遇到了一个几乎无法克服的困难：文献数量实在太多了。仅以内容分类为例，如果一位学者想要统计敦煌文献中出现的所有地名，他需要逐一阅读每一份文献，手工抄录每一个地名，然后按照某种规则进行分类和统计。这项工作对于人类来说，需要耗费数年甚至数十年的精力，而且难免会出现疏漏和错误。

时间快进到一百多年后的今天。一群年轻的学者坐在电脑前，手指轻轻敲击键盘，输入了几行代码。几秒钟之后，屏幕上出现了一份完整的敦煌文献地名统计表，不仅包含了所有地名的出现频次，还按照时间顺序和地理分布进行了可视化呈现。这意味着，原本需要数年才能完成的文献统计工作，现在只需要几分钟。

这听起来像是科幻小说，但这就是数字人文——一个正在深刻改变人文学科的革命性领域。

什么是数字人文

数字人文（Digital Humanities，简称DH）是一个跨学科领域，它将人文学科的研究问题、理论视角与计算工具和数字方法结合起来。简单来说，数字人文就是"用计算机来研究人文"——但这个定义其实低估了它的深度和广度。

更准确地说，数字人文不仅仅是"用计算机研究人文"，更是"重新思考人文研究的方式"。它为人文学者提供了一系列强大的工具和方法，让我们能够以前所未有的规模和精度来分析文本、图像、声音和视频数据。同时，它也迫使我们反思：在数字化时代，什么是"阅读"？什么是"理解"？什么是"研究"？

让我们用一个具体的例子来说明。传统的人文研究通常依赖于close reading，即对单一文本或少数文本进行细致入微的阅读和分析。这种方法在处理小规模文献时非常有效，但如果我们想要分析的对象是《红楼梦》的全部版本，或者敦煌遗书的全部五万件文献，甚至整个中华文明留下的所有古籍——close reading就力不从心了。

数字人文提供了一种alternative approach，叫做distant reading（远读）。与close reading不同，distant reading不是去细读每一本书，而是通过计算方法来分析大量文本的整体特征和模式。你可以把它想象成从太空中观察地球——你看不到每一棵树，但你能看到整片森林的轮廓和分布。

举一个简单的例子：如果我们想知道清代文学中最常见的女性形象是什么，传统方法需要学者阅读大量的清代文学作品，然后凭借个人记忆和判断来总结。但如果我们用数字人文的方法，可以先建立一个包含所有清代文学作品的语料库，然后用计算机来统计所有描述女性的词汇，分析这些词汇在不同作品中的分布和演变，从而得出一个更加客观和全面的结论。

当然，数字人文并不是要取代传统的close reading。恰恰相反，最好的数字人文研究往往是close reading和distant reading的结合。计算机可以帮助我们发现模式和趋势，但对这些模式的理解和阐释，仍然需要人文学者的专业知识和判断。数字人文是一种新的工具，而不是对人文学科的替代。

为什么数字人文很重要

或许你会问：传统的人文研究已经进行了几百年，为什么现在需要数字人文？答案藏在三个关键词中：规模、速度和视角。

规模的革命

人类历史上产生的文献资料正在以前所未有的速度增长。据估计，全球每天产生的数字数据量已经超过2.5艾字节（EB），这相当于2500万张DVD的容量。在人文研究领域，这意味着我们有更多的材料可供研究，但也意味着仅靠人力已经无法有效地处理这些材料。

以中国古籍为例，据学者估计，留存至今的中文古籍约有20万种以上。如果一位学者想要研究中国古代的诗歌传统，他一生的时间可能都不足以读完所有与这一主题相关的文献。而数字人文工具可以帮助学者在海量文献中快速定位相关信息，进行大规模的比较分析，从而拓宽研究的广度。

更重要的是，规模的扩大也带来了研究问题的转变。过去，由于材料和时间的限制，学者们往往只能关注"经典"和"名著"，而大量"非经典"的作品被忽视。但数字人文让我们有能力去研究那些曾经被遗忘的角落，去倾听那些曾经被淹没的声音。当我们能够分析所有唐代诗歌，而不仅仅是《全唐诗》中收录的那些，我们对唐代诗歌的理解就会完全不同。

速度的提升

数字工具不仅能处理更大规模的材料，还能以前所未有的速度完成分析工作。在传统人文学科中，文献的整理和检索是一项极其耗时的工作。以编制索引为例，一部大型的古代典籍可能需要数位学者花费数年时间才能完成索引编制。而现代的文本检索系统可以在毫秒级别内完成全文搜索，这为人文学者节省了大量的时间和精力。

更重要的是，计算速度的提升使得一些原本不可能的研究成为可能。例如，如果你想比较《红楼梦》的不同抄本在文字上的差异，传统方法需要学者逐一比对每一个字，标记出所有差异，这是一项浩大的工程。而现在，通过计算机辅助的文本比对工具，同类工作可以在几个小时内完成，而且准确率更高。

速度的提升还改变了学术研究的节奏。在过去，一个大型研究项目可能需要十年甚至更长的时间才能完成。而现在，学者可以在更短的时间内完成更多的探索性研究，更快地检验假设，更快地推进知识的边界。

视角的转换

数字人文不仅仅是一套新工具，更是一种新的研究视角。当我们用数字方法来研究人文问题时，往往会发现一些在传统研究中不易察觉的模式和联系。

让我们以文学研究为例。在传统的文学史叙事中，我们习惯于以时间为线索，讲述文学风格如何演变，重要作家如何影响后世。这种叙事固然有其价值，但也可能让我们忽视一些不那么"主流"的联系。而通过数字人文的网络分析工具，我们可以可视化地呈现不同作家、不同作品之间的复杂关系网络，发现一些出人意料的联系——比如两位从未谋面的作家，可能在创作手法上有着惊人的相似之处。

数字人文还帮助我们反思一些习以为常的研究假设。例如，当我们用计算机来统计古典文献中某些词汇的出现频率时，可能会发现一些被认为"常见"的词汇实际上出现频率很低，而一些被认为"罕见"的词汇实际上相当普遍。这些发现会促使我们重新审视我们关于古代社会的种种假设。

数字人文的核心思维方式

对于初学者来说，数字人文可能会显得有些"技术化"。但实际上，数字人文的核心并不在于技术本身，而在于一种独特的思维方式。掌握这种思维方式，即使你不写一行代码，也能从数字人文研究中受益。

数据化思维：从具体到抽象

数字人文研究的第一个关键步骤是将研究对象"数据化"。这意味着把文本、图像、声音等人类可以直接感知的信息，转换成计算机可以处理的结构化数据。

以文本分析为例，一段文字在计算机中被表示为由字符组成的字符串。但这种表示对于人文研究来说还不够有用，我们需要进一步提取出更有意义的特征——比如词频、词性、句子结构、主题分布等。这个过程叫做"特征工程"（feature engineering）。

数据化的过程实际上是一种抽象化。通过将复杂的文本信息转化为可以量化的指标，我们得以用新的方式来看待我们的研究对象。但这种抽象化也有风险：我们在提取特征的同时，可能也在丢失某些重要信息。因此，优秀的数字人文研究者在进行数据化时，必须时刻思考：我提取的这些特征真的能反映我想研究的问题吗？有没有更好的方式来编码这些信息？

模式思维：从个别到一般

数字人文研究的另一个核心思维是寻找模式。当我们处理大量数据时，个别案例的细节可能变得模糊，但整体的模式会更加清晰。模式思维让我们能够从个别案例上升到一般规律，从具体文本扩展到宏观趋势。

例如，通过分析明清小说的叙事结构，研究者发现了一个有趣的现象：随着时间推移，小说中的对话比例逐渐增加，而叙述者的直接描写逐渐减少。这揭示了从"讲述"到"展示"的叙事风格演变趋势，这是一个通过个别阅读难以发现，但在大量文本中清晰可见的模式。

模式思维的关键在于区分"信号"和"噪音"。在大量数据中，总会存在一些随机波动——比如某个词在某部作品中恰好出现得比较多，这可能只是偶然，不代表任何规律。数字人文研究者需要学会识别这些随机波动，区分真实的有意义的模式与随机噪音。

可视化思维：从抽象到直观

数字人文研究的第三个重要思维方式是可视化。可视化不仅仅是为了让研究结果看起来更漂亮，更重要的是，它能帮助我们发现隐藏在数据中的模式，让抽象的结果变得直观可感。

一个好的可视化相当于一个好的问题。当你把数据以图形的方式呈现出来时，你可能会发现一些之前没有注意到的结构或关系。比如，一幅作家关系网络图可能会清晰地展示出哪些作家之间存在密切的关联，哪些作家处于网络的边缘——这些信息仅从文字描述中是很难获得的。

可视化也是与公众沟通的重要工具。学术论文往往只有专业人士才能理解，但一幅精心设计的可视化图表，可以让更广泛的受众理解研究的核心发现。

令人惊叹的数字人文案例

了解了数字人文的基本概念和思维方式之后，让我们通过几个具体的应用案例，来看看数字人文在实际研究中是如何发挥作用的。

《红楼梦》的作者之争：一场数据的审判

《红楼梦》是中国古典文学的巅峰之作，但关于它的作者问题，数百年来一直存在争议。虽然现在普遍认为曹雪芹是前八十回的作者，但关于后四十回的作者问题，学术界至今没有定论。传统观点认为后四十回也是曹雪芹所作，后来高鹗续写；而另一种观点则认为后四十回原本就是无名氏所作，高鹗只是整理者。

这场争议持续了数百年，各种证据和观点层出不穷，但始终没有定论。那么，数字人文能否为这个问题提供新的视角呢？

答案是肯定的。近年来，多位研究者尝试用计算方法来比较《红楼梦》前八十回和后四十回的文本特征。这些研究主要关注以下几个方面：

首先是高频虚词的使用。虚词（如"的"、"了"、"在"等）在文本中出现频率极高，而且作者在使用虚词时往往带有不自觉的个人习惯。通过统计对比，研究者发现前八十回和后四十回在某些虚词的使用频率上存在显著差异。

其次是副词的使用模式。研究者使用文本分析工具，提取了两部分文本中各种副词的出现频率，发现后四十回中某些副词的使用模式与前八十回有明显不同。

第三是句子长度和结构。通过对句子长度进行统计分析，研究者发现后四十回的句子平均长度略短于前八十回，句子结构也相对简单。

第四是情节发展模式。有研究者使用主题模型（topic modeling）技术，分析了全书各回的主题分布，发现前八十回和后四十回在主题的展开和转换上存在不同的模式。

综合这些证据，越来越多的学者倾向于认为后四十回与前八十回确实出自不同作者之手。虽然目前还无法确定后四十回的真正作者是谁，但计算分析已经为这一历史悬案提供了重要的参考依据。

当然，数字人文的结论也需要与传统研究方法相结合。计算机分析告诉我们的只是"两部分文本在语言特征上有差异"，至于这种差异意味着什么，仍然需要人文学者来解读和论证。数字人文与传统研究的对话和结合，才能得出更加可靠的结论。

文学传播网络：看不见的文学史

第二个案例让我们来看一个更加宏大的研究视角：文学作品在历史长河中是如何传播的？

传统文学史研究通常关注的是经典作家和经典作品——李白、杜甫、苏轼、曹雪芹等。但如果我们换一个角度，关注那些不那么"经典"的作品和作家，会有什么发现呢？

有研究者建立了一个包含数百万部中国古典文献的数据库，并使用网络分析方法来追踪文学作品在历代之间的引用和模仿关系。这项研究揭示了一些令人惊讶的发现。

首先，中国古代文学中存在大量的"隐形经典"。那些在文学史上不太受关注的作品，可能被后来的作者大量引用和模仿，其影响力远超我们的想象。相反，一些被奉为经典的作品，在实际创作中的影响力可能并不如我们想象的那么大。

其次，文学传播网络呈现明显的"中心-边缘"结构。以《诗经》和《楚辞》为代表的先秦文学处于网络的中心位置，影响了后世几乎所有的诗歌创作。而各个时代的边缘作品则往往只与少数作品存在关联。

第三，文学传播网络在不同时期呈现出不同的结构特征。例如，在唐代，诗歌创作高度繁荣，不同诗人之间的互相学习和借鉴非常频繁，网络呈现高度连通的状态。而在宋代，词的创作更加注重个人风格的表达，诗人之间的关联相对稀疏，网络呈现更加分散的状态。

这些发现让我们对文学史有了新的理解。文学史不仅仅是由经典作家和经典作品构成的单一线索，更是一个复杂的、动态的传播网络，其中充满了各种意想不到的联系和影响。

古代城市空间：GIS技术重现历史地理

除了文本分析，数字人文还在历史地理研究领域大放异彩。地理信息系统（GIS）技术让研究者能够以前所未有的精度来分析古代城市的空间结构。

以唐朝长安城为例。通过整合考古资料、历史文献和现代地理数据，研究者建立了一个三维的长安城数字模型。这个模型不仅呈现了城市的平面布局，还重建了城墙的高度、城门的位置、主要建筑的高度等信息。

更重要的是，GIS分析帮助我们理解了长安城在日常生活中如何运作。通过分析历史文献中提到的商业活动地点，研究者发现长安城的商业分布并不均匀——东市和西市是主要的商业中心，但其他区域也存在各种类型的市场。通过GIS可视化，这些分散的商业活动点被标注在地图上，呈现出清晰的空间分布规律。

更有趣的是，研究者还发现了一些历史记载中未曾明确提及的信息。例如，通过分析唐代诗歌中提到的出行路线，研究者发现诗人们在描述从城外进入城内的行程时，往往会经过特定的城门——这暗示这些城门可能是主要的交通节点。通过与考古发现的道路遗迹比对，这一推测得到了验证。

GIS技术的另一个重要应用是研究城市在历史时期的变迁。通过叠加不同时期的地图数据，研究者可以直观地看到一座城市如何在几百年甚至上千年的时间里扩张、收缩、改变格局。这对于理解城市发展的历史脉络非常有价值。

古代书写的数字化保护

数字人文还有一个重要应用领域：古籍的数字化保护与整理。

中国有着悠久的藏书传统，历代保存下来的古籍数量巨大。但这些古籍面临着纸张老化、虫蛀、水浸等各种威胁。如何在它们彻底消失之前，将这些珍贵的文化遗产保存下来，是一项紧迫的任务。

数字人文为这一任务提供了强有力的工具。高分辨率扫描技术可以将古籍的每一页都以数字图像的形式保存下来，即使原件损毁，这些数字图像仍然可以保留古籍的原貌。光学字符识别（OCR）技术则可以将古籍中的文字转换为计算机可编辑的文本，便于检索和分析。

更重要的是，数字人文技术可以帮助识别古籍中的错误。古代典籍在长期的传抄和刻印过程中，难免会产生各种错误。这些错误分散在不同的版本中，需要通过细致的校勘才能发现和纠正。通过建立包含同一古籍不同版本的数据库，研究者可以系统地比较各版本的差异，自动标记出可能的错误之处，大大提高了校勘工作的效率。

目前，中国已经启动了多个大规模的古籍数字化项目。例如，中国哲学书电子化计划（Chinese Text Project）已经将数千种中国古代典籍数字化，并在网上免费开放给公众使用。这些数字化资源不仅为学术研究提供了便利，也让普通公众有机会接触这些珍贵的文化遗产。

消除技术恐惧：你不需要成为程序员

说了这么多数字人文的奇妙应用，或许你已经在心里跃跃欲试，但又担心自己"不懂技术"。这种担心是完全正常的，但也是不必要的。让我来解释一下为什么。

首先，数字人文并不是程序员的专利。它的从业者来自各种背景——有文学研究者、历史学家、哲学家、艺术家，也有计算机科学家。但真正优秀的数字人文研究者，往往是那些既懂技术又懂人文学科的人。换句话说，技术只是工具，真正决定研究价值的，还是你对人文学科问题的理解和洞察。

其次，现代数字人文工具已经变得越来越易于使用。现在有很多专门为人文学者设计的软件和平台，它们不需要用户编写代码，只需要通过图形界面进行操作，就能完成文本分析、可视化、网络分析等任务。对于初学者来说，从这些工具入手是一个很好的选择。

当然，如果你愿意学习一些编程技能，那当然更好。Python是一种特别适合数字人文研究的编程语言，它拥有丰富的文本处理和数据分析库，而且语法简单易学。即使你之前从来没有接触过编程，从零开始学习Python也只需要几个月的时间——这对于学术研究来说，是一项非常值得的投资。

更重要的是，学习编程的过程本身就是一种思维训练。编程教会我们如何将一个复杂的问题分解为若干简单的步骤，如何用精确的逻辑来表达我们的想法——这些能力对于任何研究工作都是有益的，无论你是否最终成为"程序员"。

最后，我想强调的是，数字人文研究往往是团队合作的结果。一个项目可能需要人文学者提出研究问题，计算机专家提供技术支持，图书馆员提供数据资源，设计师制作可视化——每个人都可以在自己的专业领域做出贡献。你不需要一个人完成所有的事情，学会与不同背景的人合作，本身就是数字人文研究的重要能力。

数字人文的边界与反思

任何工具和方法都有其局限性，数字人文也不例外。作为一个负责任的学习者，我们不仅需要了解数字人文能做什么，也需要了解它的局限和风险。

数字人文的局限性

首先，数字人文高度依赖于数据的质量和完整性。我们分析的结果，只能反映我们输入的数据的情况。如果数据存在偏差或不完整，分析结果就可能误导我们。例如，如果一个文学语料库主要收录经典作品，而忽略了边缘作品，那么基于这个语料库得出的关于"文学主流"的结论就是可疑的。

其次，数字人文擅长发现模式和趋势，但对于解释这些模式产生的原因，往往能力有限。计算机可以告诉我们"是什么"和"有多少"，但对于"为什么"这个问题，仍然需要人文学者的深度分析和理论思考。

第三，数字人文方法可能会强化某些偏见，同时忽视其他的可能性。当我们预设了一些分析维度（比如词频、句子长度等）之后，我们可能会忽略那些没有被纳入分析的维度中的信息。这种"维度盲区"可能导致我们对研究对象的理解是不完整的。

第四，在数字化的过程中，我们不可避免地会丢失一些信息。例如，一张高分辨率的古代绘画扫描图像可以保留画面中的大部分信息，但画面的质感、色彩的真实层次、以及画布或纸张的触感等，都无法通过数字图像完全呈现。在选择对哪些信息进行数字化、保留哪些信息的时候，实际上已经做出了一种选择，而这种选择可能会影响后续的研究。

数字人文的伦理思考

数字人文研究还涉及一些伦理问题，值得我们思考。

首先是隐私问题。当我们分析大量的个人文献（如书信、日记、档案）时，如何保护原作者的隐私？即使原作者已经去世数百年，其后人是否仍然对这些文献中的信息拥有某种权利？这些问题在涉及近现代文献时尤为敏感。

其次是数据所有权问题。当我们使用他人建立的数据库或语料库进行研究时，如何正确地引用和致谢？如果研究过程中对数据进行了标注和整理，这些标注的版权属于谁？这些问题在学术界尚未形成统一的规范。

第三是数字人文研究的可重复性问题。在传统学科中，研究者可以通过查阅同一文献来验证他人的结论。但在数字人文研