数字人文导论：当古籍遇见算法 | Introduction to Digital Humanities: When Ancient Texts Meet Algorithms

数字人文：用代码解读人类文明

第一章：数字人文导论——当古籍遇见算法

想象这样一个场景：一位考古学家在敦煌莫高窟的藏经洞中，发现了一批从未被人阅读过的古代经卷。这些经卷上的文字历经千年风霜，许多已经模糊不清。如果按照传统方式，学者们需要花费数十年甚至数百年的时间，一字一句地辨认、抄录、比对。但今天，借助人工智能和图像识别技术，我们可以在短短几天内将这些文字数字化，并识别出其中的内容。更令人惊叹的是，计算机还能帮助我们分析这些经卷的书写风格、用词习惯，甚至推断出它们的创作年代和作者背景。这，就是数字人文的魅力所在。

数字人文（Digital Humanities，简称DH）是一门将计算机科学与传统人文学科相融合的新兴跨学科领域。它不仅仅是用电脑来“读”书那么简单，而是一场深刻改变我们理解、研究、传播人类文化遗产方式的革命。从大英博物馆的数字化项目到《红楼梦》的文本挖掘，从古埃及象形文字的自动识别到社交媒体时代语言变迁的研究，数字人文正在用代码重新诠释人类文明的浩瀚历程。

什么是数字人文：一个尚在演变的定义

当我们试图定义“数字人文”时，会发现这个概念本身就充满了动态性和包容性。从字面上理解，数字人文似乎是“用数字方法来做人文研究”，但这种解释过于简化。真实的情况是，数字人文远远超越了单纯的方法论范畴，它代表了一种全新的知识生产方式和学术研究范式。

回顾这一术语的历史，我们可以追溯到2004年，当时美国伊利诺伊大学香槟分校的苏珊·施赖布曼（Susan Schreibman）和她的同事们创办了《数字人文季刊》（Digital Humanities Quarterly），这是该领域最早的学术期刊之一。两年后，也就是2006年，全球数字人文会议（Digital Humanities Conference，简称DHCon）首次举办，标志着这一领域开始有了自己的学术交流平台。然而，如果我们追溯更早的源头，会发现数字人文与1949年意大利神父罗伯托·布萨（Roberto Busa）的工作密不可分——他与IBM合作，开始将托马斯·阿奎那（Thomas Aquinas）的全部著作编制成机读索引，这通常被认为是数字人文的开创性工作。

那么，当代学者如何定义数字人文呢？美国加州大学洛杉矶分校教授弗朗索瓦·孔德（François C. Comm）认为，数字人文是一种“计算方法与人文探究的对话”，它既利用计算工具来分析传统人文材料，也用人文视角来反思和批判技术本身。英国伦敦国王学院的梅勒妮·邓巴（Melanie Dunmall）则强调，数字人文不仅是一种研究方法，更是一种“思维方式的转变”，它要求我们重新思考知识的组织、呈现和传播方式。

美国人文与科学技术研究所（Institute for Advanced Technology in the Humanities，简称IATH）的创始人约翰·安斯康姆（John Unsworth）提出了一个非常有影响力的观点：数字人文的核心价值在于“作为基础设施的知识”（knowledge as infrastructure）。他认为，数字人文项目应该成为其他研究者可以重复使用、引用、扩展的公共资源，就像公路、桥梁等物理基础设施支撑经济发展一样，数字基础设施支撑学术知识的创新和传播。

联合国教科文组织在2022年发布的《关于数字时代保存和获取文化遗产的指南》中，将数字人文定义为“一套跨学科的方法论和研究领域，利用数字技术来创建、调查、询问和实验人文研究的新形式”。这一定义强调了数字人文的两个关键维度：一是方法论的创新，二是研究领域的拓展。

对于青少年读者来说，理解数字人文可以从一个简单的类比开始：我们每天使用的搜索引擎就是数字人文思想的最朴素应用。当你输入“杜甫最著名的诗”时，搜索引擎需要在数以亿计的网页中找出相关内容，并按照相关性排序呈现。这个过程背后涉及的文本检索、自然语言处理、机器学习等技术，都是数字人文的重要组成部分。只不过，专业的数字人文研究比这要深入和复杂得多——它不仅要“找到”信息，还要“理解”信息、“分析”信息、甚至“创造”新的知识。

从人文学科到数字人文：一场静悄悄的革命

要理解数字人文为何会在21世纪蓬勃发展，我们需要回顾人文学科自身的发展轨迹以及信息技术带来的深刻变革。传统人文学科，如文学、历史、哲学、语言学、艺术史等，长期以来有着自己独特的研究方法和学术传统。人文研究者通常依靠个人阅读、文献考证、文本细读、比较分析等方法来开展工作。这种研究方式强调深度而非广度，重视个案分析而非模式识别，追求理解而非预测。

然而，20世纪后半叶以来，数字化浪潮开始深刻改变人类社会的方方面面。图书馆的藏书被扫描成电子图像，历史档案被录入数据库，博物馆的藏品被拍摄并上传网络。这些数字化资产的数量以惊人的速度增长——据估计，全球每年新增的数字化文本、图像、音频、视频内容已经超过EB（艾字节）级别。面对如此海量的数据，传统的人工阅读和手工分析已经无法有效处理。

正是在这样的背景下，计算方法开始进入人文学者的视野。计算机的强大存储能力和高速运算能力，为处理大规模文本和图像提供了前所未有的可能。更重要的是，计算机可以发现人类肉眼难以察觉的模式和关联。例如，当研究者需要比对一部文学作品的不同版本时，传统方法需要逐字逐句比对，费时费力；而借助文本比对算法，计算机可以在几秒钟内完成这项工作，并能标注出所有差异之处。

让我们通过一个具体案例来理解这场静悄悄的革命。中国古典文学研究是数字人文应用的一个典型领域。《红楼梦》是中华文化的瑰宝，历来是文学研究的重点对象。但红楼梦的版本问题非常复杂——现存有十几个不同版本，包括脂砚斋评本、程乙本等，各版本之间存在大量文字差异。如果仅靠人工比对，研究者穷其一生也只能研究其中一小部分。

2004年，首都在线和中国艺术研究院合作开发了“《红楼梦》全文检索系统”，这是红学研究的重大突破。研究者可以在系统中快速搜索任意词语或短语，查看该词在小说中出现的位置和上下文。更进一步，有学者利用这一系统研究曹雪芹的用词习惯和语言风格，分析前八十回与后四十回在词汇使用上的差异，从而为探讨后四十回作者归属问题提供量化依据。这项工作如果仅靠手工翻阅，需要数年时间；而借助计算机检索，只需几小时就能完成初步分析。

当然，数字人文的发展并非一帆风顺。早期，纯粹的技术乐观主义曾主导这一领域，许多人认为“只要把所有东西数字化，问题就解决了”。但事实证明，数字化只是第一步，真正的挑战在于如何让数字资源产生新的知识和理解。2012年，美国学者杰罗姆·麦克甘（Jerome McGann）发表了《数字人文的批判性视角》（A Critical Review of Digital Humanities）一文，深刻指出数字人文面临的理论困境：过度强调技术工具而忽视批判性思考，过度追求数据规模而忽视阐释深度，过度依赖量化方法而忽视质性研究。这些批评推动了数字人文向更加平衡、更加反思的方向发展。

近年来，数字人文逐渐形成了自己的理论基础和方法论体系。它不再仅仅被视为“用电脑做 humanities”，而是成为一门具有独特研究问题和研究方法的独立学科。2019年，美国数字人文组织（Alliance of Digital Humanities Organizations，简称ADHO）发布的《数字人文声明》明确指出：数字人文的核心关切包括文化遗产的数字化保存、研究数据的开放获取、人机协作的新研究范式、数字素养的教育推广等。

数字人文的里程碑：从图书馆卡片到人工智能

让我们沿着时间轴，回顾数字人文发展历程中的关键节点，理解这一领域是如何从涓涓细流发展成汹涌浪潮的。

1949年：数字人文的黎明。意大利神父罗伯托·布萨（Roberto Busa）与IBM合作，开始编制托马斯·阿奎那著作的词索引（Index Thomisticus）。这项工作历时三十余年，最终产出了一套56卷的印刷索引以及电子版本。这被公认为数字人文的奠基之作，开创了使用计算机处理人文文本的先河。

1966年：词典的数字化。美国伍斯特理工学院（Worcester Polytechnic Institute）的罗伯特·莫斯（Robert Morse）开始开发“剑桥古典希腊语词典”（Cambridge Classical Greek Dictionary）的计算机版本。这一项目虽然最终未能完成，但它开创了古典语言数字化词典的先例。

1973年：赫兹prung-Russell图的可视化。美国艺术与科学院（American Academy of Arts and Sciences）启动“人类关系区域文件”（Human Relations Area Files，简称HRAF）项目，将全球不同文化的人类学资料组织成可检索的数据库。这标志着数据库技术开始应用于社会科学和人文研究。

1984年：数字人文成为正式术语。罗伯托·冈萨雷斯·皮尼洛（Roberto González Piñeiro）在其文章中首次使用了"digital humanities"这一术语。不过，这一术语在当时并未得到广泛使用，“人文计算”（Humanities Computing）仍是更通用的名称。

1993年：万维网走入人文研究。欧洲核子研究组织（CERN）向公众开放万维网（World Wide Web）的源代码。随后，人文学者开始探索利用万维网共享研究成果、建立虚拟研究社区。斯坦福大学图书馆的“古登堡计划”（Project Gutenberg）项目于同年启动，致力于将公有领域书籍数字化并免费提供给公众。

1996年：数字图书馆先驱。美国国会图书馆启动“美国记忆”（American Memory）项目，计划将500万件与美国历史相关的文物数字化并上网展示。这一项目为后来的数字图书馆建设提供了重要参考。

2000年：谷歌图书的愿景。谷歌联合创始人谢尔盖·布林（Sergey Brin）在斯坦福大学发表演讲，提出将世界上所有书籍数字化的宏大构想。2004年，谷歌正式推出“谷歌图书搜索”（Google Books Search）服务，截至2023年，已扫描了超过4000万册书籍。

2005年：数字人文中心的兴起。英国牛津大学的“牛津数字人文中心”（Oxford Digital Humanities Centre）成立，成为全球首批专注于数字人文的学术机构之一。此后，全球各大高校纷纷设立类似的中心和研究所。

2007年：数字人文旗舰期刊。《数字人文季刊》（Digital Humanities Quarterly）正式创刊，成为该领域的第一份同行评审学术期刊。

2008年：数字人文成为全球运动。国际数字人文组织（Alliance of Digital Humanities Organizations，简称ADHO）成立，协调全球数字人文研究和教育活动。同年，首届数字人文奥运会（Digital Humanities Olympics）在美国弗吉尼亚大学举办。

2012年：数字人文的理论反思。塔夫茨大学的苏珊娜·布赫·希尔（Suzanne Buchanan Hill）发表《我们从数字人文的历史中学到了什么》，系统回顾了这一领域的发展轨迹，强调反思性实践的重要性。

2014年：数字人文走进课堂。美国人文与科学院（American Academy of Arts and Sciences）发布报告《数字人文与本科教育》，呼吁在高等教育中系统推广数字人文教育。

2016年：文化遗产的数字化高峰。联合国教科文组织通过《关于保存和获取数字遗产的建议》，呼吁各国政府重视数字文化遗产的保护工作。

2019年：人工智能时代的数字人文。OpenAI发布GPT-2语言模型，展示深度学习在文本生成方面的强大能力。随即，人文学者开始探讨人工智能对文学创作、艺术生产的深远影响。

2023年：生成式AI的冲击。以ChatGPT为代表的大型语言模型引发人文学者的广泛关注和讨论。一方面，这些工具为数字人文研究提供了新的可能；另一方面，也引发了对学术诚信、研究伦理的深刻反思。

这些里程碑事件表明，数字人文已经从最初的技术实验，发展成为具有坚实理论基础、广泛社会影响、强大方法论支撑的成熟学科。接下来，让我们深入了解数字人文的核心研究方法。

数字人文的研究方法论：从文本挖掘到可视化分析

数字人文之所以能够产生独特的学术价值，很大程度上归功于其独特的研究方法论。这些方法可以分为几个主要类别，每种方法都有其特定的应用场景和技术特点。

文本挖掘与自然语言处理是数字人文最核心的方法之一。文本挖掘（Text Mining）是从大量非结构化文本中提取有价值信息的过程；而自然语言处理（Natural Language Processing，简称NLP）则是让计算机能够理解、解释、生成人类语言的技术。在人文学科中，这两类技术有着广泛的应用。

以文学研究为例，学者们可以利用词频分析（Word Frequency Analysis）技术，统计一部作品中不同词语出现的次数和频率，从而发现作者的用词偏好和语言风格。例如，有学者对莎士比亚全部剧作进行词频分析，发现他使用了一些独特的词汇，如"honorificabilitudinitatibus"（无法荣达者）这样极为罕见的词语，这为理解其创作风格提供了量化依据。

更复杂的应用包括主题建模（Topic Modeling）。这是一种利用统计学方法从文档集合中自动发现潜在主题的技术。研究者可以将一个作家的全部作品输入主题模型，计算机会自动识别出作品中的主要话题和主题分布。例如，对19世纪英国小说的主题建模显示，"爱情与婚姻"是这一时期小说的核心主题之一，但不同作家的呈现方式存在显著差异。

情感分析（Sentiment Analysis）则是另一个重要应用。这种技术可以自动判断一段文本的情感倾向——是积极的、消极的，还是中性的。有学者利用情感分析技术研究杜甫诗歌的情感变化，发现其创作经历了从早期的积极乐观到晚年的沉郁顿挫的明显转变，这与人所共知的杜甫生平际遇高度吻合。

计算文体学（Computational Stylistics）是文本挖掘在文学研究中的延伸。它利用统计学和机器学习技术分析文本的语言特征，以确定作者归属、判断创作年代、比较不同作品的语言风格。

最具代表性的案例是美国心理学家默里·古德曼（Murray Guttman）开创的“作者归属”（Authorship Attribution）研究。通过分析一段文本的词汇使用、句子长度、标点符号频率等数百个特征，可以推断该文本的作者或创作年代。例如，莎学研究中一直存在争议：某些剧本（如《亨利六世》第二部分）究竟是莎士比亚独立创作，还是与他人合作完成？计算文体学通过对这些剧本的语言特征进行多维度分析，为这一争论提供了新的证据。

数字档案与数据管理是数字人文研究的另一重要支柱。数字档案（Digital Archives）不仅仅是纸质档案的电子扫描版，更重要的是对档案内容的系统化组织、标注和关联。

现代数字档案通常采用元数据标准（Metadata Standards）来描述资源。元数据是“关于数据的数据”，它描述一份数字资源的作者、创建时间、主题、内容描述、格式、技术参数等信息。 Dublin Core是应用最广泛的元数据标准之一，它定义了15个核心元素，包括标题（Title）、创建者（Creator）、主题（Subject）、描述（Description）、出版者（Publisher）等。

以“宋代基本古籍数据库”为例，每一条记录不仅包含古籍的文本内容，还包括详细的元数据：古籍的名称、作者、版本、收藏机构、页码、图像文件链接等。用户可以通过这些元数据进行精确检索，也可以将不同来源的资料关联起来，发现新的研究线索。

数字人文档案的建设还需要考虑互操作性（Interoperability）问题。不同机构建设的数字档案往往采用不同的数据格式、不同的元数据标准、不同的技术平台，如何让这些分散的档案能够被统一检索和利用，是一个重要挑战。TEI（Text Encoding Initiative）是一个被广泛采用的数据格式标准，它为文学文本、历史文档、语言学素材等提供了统一的编码规范。

可视化分析（Visualization Analysis）是将数字人文研究成果以直观图形方式呈现的技术。人类大脑处理视觉信息的速度远快于处理文字信息，因此优秀的数据可视化可以帮助研究者发现隐藏的模式，也可以帮助普通公众理解复杂的研究成果。

时间线可视化（Timeline Visualization）是人文学者常用的工具。例如，展示英国文学史的时间线可以清晰呈现不同文学流派、作家、作品之间的时序关系，帮助理解文学发展的脉络。地理信息系统（Geographic Information System，简称GIS）则可以将历史事件、人物活动、文化现象与地理位置关联起来。有学者利用GIS技术分析唐代诗人的游历轨迹，发现诗人们的旅行路线与当时的驿站系统、科举考场分布存在密切关联。

文本可视化方面，词云（Word Cloud）是最常见的形式——将文本中最常见的词语以不同大小的字体呈现，词越大表示出现频率越高。但更复杂的可视化还包括社会网络图（Social Network Analysis），它可以展示文学作品或历史事件中人物之间的关系网络。例如，通过分析《红楼梦》中人物之间的对话关系，可以构建出人物关系网络图，清晰呈现贾宝玉、林黛玉、薛宝钗等人之间的亲疏远近。

```mermaid graph LR A[文本输入] --> B[预处理] B --> C{分析方法选择} C --> D[词频统计] C --> E[主题建模] C --> F[情感分析] C --> G[网络分析] D --> H[结果可视化] E --> H F --> H G --> H H --> I[解释与阐释] ```

数字时代的学术新技能：你需要掌握什么

数字人文的兴起对传统人文学者提出了新的要求。在过去，学者们主要依靠深厚的专业知识、敏锐的分析能力、流畅的文字表达来开展研究。而现在，一定的技术素养也变得越来越重要。当然，这并不意味着每个人都必须成为程序员，但了解数字工具的基本原理、掌握基本的数据处理技能，已经成为现代人文学者的重要能力。

编程基础是许多数字人文项目的技术核心。Python是当前最受欢迎的编程语言之一，它语法简洁、生态丰富、入门友好，非常适合人文学者学习。许多数字人文项目都提供Python库，如NLTK（Natural Language ToolKit）用于自然语言处理，Pandas用于数据处理，NetworkX用于社会网络分析等。

举一个简单的例子：使用Python统计一段英文文本中单词的出现频率，只需要几行代码即可完成。

```pyt