当甲骨文遇上人工智能:什么是数字人文
当甲骨文遇上人工智能:什么是数字人文
一片甲骨的故事
1899年的一天,北京城里的国子监祭酒王懿荣正卧病在床。一位老中医给他开了一剂中药,其中有一味药叫"龙骨"。当药被送来时,细心的王懿荣无意间瞥见这些所谓的"龙骨"上似乎刻着一些奇怪的符号。他强撑着病体坐起来,拿起一片仔细端禁——那些符号古朴苍劲,笔画清晰,显然不是自然形成的纹路,而是人为刻上去的。
王懿荣是晚清最博学的学者之一,精通金石学和古文字学。他立刻意识到,这些刻着神秘符号的"龙骨"很可能是一种古老的文字遗存。他开始大量收购这种药材,最终在短短几年内收集了1500多片龙骨。经过仔细研究,他确认这些"龙骨"实际上是商代晚期的甲骨——人们用来占卜的龟甲和牛肩胛骨,上面刻写的正是我们今天所熟知的甲骨文。
这个发现震惊了整个学术界。甲骨文的发现,不仅为我们打开了一扇通往三千多年前殷商时代的窗口,更让中国有据可考的历史向前延伸了数百年。王懿荣也因此被誉为"甲骨文之父",虽然他本人并没有等到这一天——两年后的1900年,八国联军攻入北京,王懿荣以身殉国,他收藏的大量甲骨后来被好友刘鹗收购,这才有了《铁云藏龟》这部甲骨学开山之作的问世。
一百二十多年后的今天,当我们回望这段历史时,很难想象当年王懿荣是用怎样的方式来研究这些珍贵的甲骨。他需要借助烛光,用肉眼仔细辨认那些模糊的刻痕;需要对照古籍,一笔一画地临摹和记录;需要凭借记忆和学识,去揣摩那些古老文字背后可能蕴含的意义。那是一个纯粹依赖人力的时代,学者们皓首穷经,用一生的光阴去破解历史的密码。
然而,今天的学者们拥有了王懿荣时代无法想象的工具。想象一下这样的场景:在安阳中国文字博物馆的实验室里,一台高精度扫描仪正在对一片甲骨进行数字化拍摄,分辨率高达数亿像素,每一个细微的刻痕都被完整记录。随后,这些影像被输入一个人工智能系统,算法会自动识别出文字的位置,与已知的甲骨文数据库进行比对,甚至能推测出那些模糊不清的笔画原本应该是什么样子。学者们不再需要在烛光下眯着眼睛辨认,他们可以通过屏幕放大多达数十倍,清晰地看到每一条笔画;他们可以在数据库中搜索包含特定字符的所有甲骨,在几分钟内完成过去需要数年才能做到的整理工作。
这,就是数字人文的魅力。
什么是数字人文
数字人文,听起来是一个相当"高大上"的术语,但它并不是什么神秘的黑科技。简单来说,数字人文就是把人文学科的研究内容和数字技术工具结合起来的一门新兴交叉领域。它既是"人文的",关注的是人、历史文化、语言文字这些传统人文学科永恒的主题;它也是"数字的",大量采用计算机技术、数据库技术、数据分析方法来进行研究。
要理解数字人文的本质,我们不妨从它的英文名称说起。数字人文的英文是"Digital Humanities",简称DH。这个名称最早出现在2004年左右,当时美国的一些大学开始设立专门的数字人文中心和课程。不过,如果我们追溯更早的源头,数字人文的实践其实从计算机诞生的那一刻就开始了。1949年,一位名叫罗伯特·巴恩斯利的意大利裔英国学者就尝试用计算机来编制古典文献的索引;1960年代,一些美国大学开始用计算机来处理历史文献和语言文本。这些早期探索,为后来数字人文的蓬勃发展奠定了基础。
数字人文的核心,可以用三个关键词来概括:数据化、计算化、网络化。
数据化,指的是将各种人文研究对象转化为可被计算机处理的数据形式。无论是古籍文献、甲骨刻辞、青铜铭文,还是书画作品、考古遗址、历史档案,都可以通过拍照、扫描、录入等方式转化为数字形式。这些数字化的资料,不仅可以永久保存,更重要的是可以被反复查询、检索和分析。
计算化,指的是运用计算机的计算能力来处理和分析这些人文数据。传统的人文学者研究一部古籍,往往需要皓首穷经地阅读、记忆、思考。而计算机可以在极短的时间内完成海量文本的检索、统计、比对,发现人力难以察觉的规律和联系。比如,要统计一部《二十四史》中某个词出现的频率,人工翻阅可能需要数月时间,而计算机只需要几秒钟。
网络化,指的是借助互联网和数字平台来实现人文资源的共享与协作。在数字时代,学者们不再需要亲自前往图书馆或博物馆才能查阅珍贵文献——许多珍贵的古籍、手稿、文物都已经上网,供全球研究者免费访问。这种跨越时空限制的学术交流,极大地加速了人文研究的发展。
这三个特征相互交织、相互促进,构成了数字人文的基本面貌。值得一提的是,数字人文并不是要取代传统的人文研究,而是为它提供新的工具和方法。正如显微镜让我们能够观察肉眼看不见的微观世界,数字技术让研究者能够以全新的视角来审视人文材料,发现过去无法发现的问题,提出过去无法提出的假说。
当AI遇上甲骨文:一个改变游戏规则的案例
说了这么多抽象的概念,可能有些读者会觉得数字人文还是有些"云山雾罩"。那么,让我们用一个具体的例子来展示数字人文究竟是怎样工作的。这个例子,就是人工智能识别甲骨文的实践。
甲骨文研究,是数字人文最引人注目的应用领域之一。为什么这么说呢?因为甲骨文研究面临着几个巨大的挑战,而这些挑战恰恰是数字技术最擅长解决的。
第一个挑战是材料分散。自1899年以来,考古学家和收藏家已经发现了超过15万片带有刻辞的甲骨,它们分布在全世界数十家博物馆和科研机构中。中国社会科学院考古研究所收藏了约35000片,安阳博物馆有约3000片,台湾“中央研究院”历史语言研究所收藏了约24000片,英国大英博物馆、美国弗利尔美术馆等海外机构也有相当数量的收藏。想象一下,如果你是一位研究甲骨文的学者,想要查阅某一片特定的甲骨,你可能需要联系多个机构,办理复杂的手续,甚至不远万里飞到国外去。光是整理这些资料的目录,就是一项浩大的工程。
第二个挑战是文字繁复。甲骨文是目前已知中国最早的系统性文字,包含约4000多个单字,其中已经被学者成功识别的约有1500个左右,其余的仍是未解之谜。这些文字大多刻在龟甲和牛肩胛骨上,笔画纤细,而且经过三千多年的埋藏,很多已经模糊不清或者残缺不全。辨认一个甲骨文字,往往需要对照数十片甚至上百片相关甲骨,积累多年的经验才能做出判断。
第三个挑战是整理工作量巨大。每一批新出土的甲骨,都需要经过缀合(把破碎的甲骨拼回去)、摹写、释读、分类等繁琐的整理工作。这些工作传统上完全依靠人工,不仅耗时极长,而且不同学者由于学识和经验的不同,对同一片甲骨的解读往往存在分歧。
面对这些挑战,数字技术和人工智能带来了革命性的变化。让我们来看看几个典型的应用案例。
2019年,由清华大学和故宫博物院联合研发的"殷契文渊"甲骨文大数据平台正式上线。这个平台收录了超过48000片甲骨的数字化资料,包括高清影像、拓本、摹本以及详细的著录信息。用户可以在平台上搜索特定的字词,查看包含该字词的所有甲骨;也可以浏览不同甲骨库房的藏品,了解其收藏状况和研究历史。更重要的是,平台还提供了人工智能辅助识别功能——用户上传一片甲骨的照片,算法会自动识别其中可能存在的文字,并给出相似字形的参考。这一功能大大降低了甲骨研究的入门门槛,即使是初学者也能借助工具初步了解甲骨的内容。
2023年,一个由北京大学、复旦大学、浙江大学等高校组成的联合研究团队宣布,他们训练出了一个名为"殷契GPT"的甲骨文识别模型。这个模型学习了超过10万片甲骨的高清影像和人工标注数据,能够以相当高的准确率识别甲骨上的文字。经过测试,在识别常见的甲骨文字时,模型的准确率可以达到90%以上。更令人惊喜的是,这个模型还能够"猜测"那些模糊不清的笔画可能是什么字,为学者提供参考意见。虽然这种猜测并非绝对准确,但它极大地提高了研究效率——学者们不再需要逐一比对可能的字形,只需在模型给出的候选名单中进行筛选和确认。
还有一些研究者尝试用深度学习方法来研究甲骨文的演变规律。通过分析不同历史时期甲骨文的字形特征,计算机可以自动归纳出文字演变的规律和脉络。比如,研究者发现某些字形从早期到晚期呈现出明显的简化趋势,某些字形则在演变过程中发生了方向性的改变。这些发现,为研究商代社会的变迁提供了新的线索。
当然,甲骨文识别目前仍面临诸多困难。甲骨上的文字往往残缺不全,而且刻写风格因时代和刻手而异,这给机器学习带来了很大的挑战。目前的人工智能系统,在识别清晰的文字时表现不错,但对于模糊、残缺、变形的字形,准确率仍然有限。这说明,至少在目前阶段,AI无法完全取代人类学者的判断和推理,而更适合作为辅助工具来提高研究效率。
但即便如此,AI与甲骨文的相遇,已经深刻改变了这个古老学问的面貌。它让那些散落四方的珍贵甲骨得以汇聚在一个虚拟的"数字博物馆"中,让全球的研究者可以便捷地访问和利用这些资料;它让那些曾经需要数十年经验才能掌握的专业技能,变得可以通过工具来弥补;它还为那些悬而未决的未识字问题提供了新的研究思路,或许在不远的将来,AI真的能帮助我们破解那些困扰学界百年的难题。
数字人文的发展简史
数字人文的发展历程,本身就是一部技术与学术相互促进的历史。如果我们要给这段历史画一条时间线,大致可以划分为三个阶段:萌芽期、成长期和爆发期。
萌芽期(1940-1980年代)是数字人文的奠基时代。这一时期,计算机刚刚被发明不久,主要被用于一些基础性的文献处理工作。1949年,意大利学者罗伯特·巴恩斯利尝试用计算机编制古典文献索引;1952年,IBM公司赞助了一个用计算机处理《圣经》词汇的项目;1960年代,著名语言学家弗朗茨·博厄斯的学生开发了一套用于分析人类学文本的软件。同一时期,中国学者也开始尝试用计算机来处理古籍文献,虽然受限于当时的计算条件,这些早期实验的规模和应用范围都比较有限。
这一阶段的核心特征是计算工具的初步应用。研究者们主要利用计算机的高速计算能力来处理文本、统计数据、建立索引。这些工作虽然看起来简单,但为后来的发展奠定了重要基础——没有这个阶段的积累,就不会有后来数字人文的蓬勃发展。
成长期(1980-2000年代)是数字人文从边缘走向主流的关键时期。1980年代个人电脑的普及,极大地降低了数字技术的使用门槛;1990年代互联网的兴起,让数字资源的共享成为可能。在这一时期,涌现出了一批具有里程碑意义的数字人文项目。
1984年,中国启动了"中国古代文献数据库"项目,这是中国最早的大型古籍数字化工程之一。1990年代,"二十五史全文检索系统"、"中国基本古籍库"等数据库相继问世,学者们可以在电脑上检索和分析海量古籍文献,这在此前是不可想象的。
在国际上,1996年启动的"弥兰陀王经计划"(The Canterbury Tales Project)是一个标志性项目。牛津大学的学者们利用数字技术来研究《坎特伯雷故事集》的不同手稿版本,通过计算机比对和分析,他们发现了一些此前未被注意到的文本关系和版本特征。这个项目的成功,向学术界展示了数字方法在传统人文研究中的巨大潜力。
这一阶段的核心特征是大规模语料库和数据库的建设。学者们不再满足于处理零散的文本,而是开始构建系统化的数字资源库。这些资源库成为后来数字人文研究的重要基础设施。
爆发期(2010年代至今)是数字人文全面开花的时代。人工智能、云计算、大数据等技术的飞速发展,为数字人文注入了强大的动力。2010年代中期,深度学习技术的突破让计算机在图像识别、自然语言理解等方面的能力大幅提升,这为人文研究提供了更多可能性。
2016年,谷歌公司发布了"谷歌艺术与文化"项目,与全球数百家博物馆合作,将海量艺术品的图像和资料搬到网上。用户可以通过这个平台虚拟参观博物馆、欣赏高清艺术作品、了解艺术品背后的故事。这个项目虽然不是严格意义上的学术研究,但它极大地推动了文化遗产的数字化传播。
2020年以来,大语言模型的兴起更是为数字人文带来了新的想象空间。研究者们开始尝试用ChatGPT这样的工具来辅助古籍翻译、文献分析、甚至文学创作。虽然这些应用还处于探索阶段,但它们已经展现出惊人的潜力。
在中国,数字人文的发展同样如火如荼。2019年,国家图书馆发起"中华古籍资源库"建设,计划将超过10万部珍贵古籍数字化并向公众开放;2021年,复旦大学发布了"鼎古"古籍智能整理平台,利用AI技术自动识别古籍文字、断句标点;2023年,浙江大学团队开发了"宋韵文化数据库",系统整理了宋代相关的历史文献、文物图像、艺术作品等资料。这些项目的规模和水平,已经达到国际一流水准。
从萌芽到爆发,数字人文走过了八十余年的历程。回顾这段历史,我们可以看到一个清晰的趋势:技术与人文的结合越来越紧密,数字工具在人文研究中的地位越来越重要。这种趋势并非偶然——它反映了知识生产方式的深刻变革,也反映了人类对文化传承的新理解和新需求。
数字人文与传统人文学科:不是取代,而是赋能
谈到数字人文,一个无法回避的问题是:它与传统的人文学科是什么关系?会不会有一天,计算机能够完全取代人文学者的工作?
要回答这个问题,我们首先需要理解数字人文与传统人文学科之间的区别和联系。
从研究对象来看,数字人文和传统人文学科其实没有本质区别。无论是甲骨文、《诗经》、还是敦煌壁画,它们既可以是传统学者的研究对象,也可以是数字人文的研究课题。区别只在于研究方法和工具的不同。
从研究方法来看,数字人文更强调计算方法的应用和数据的分析。传统人文学科侧重于文本细读、文献考据、哲学思辨等方法,强调学者的个人学识和洞察力;数字人文则引入统计学、机器学习、网络分析等计算方法,通过对大规模数据的分析来发现规律和趋势。
从研究规模来看,数字人文更适合处理大规模、批量化的研究对象。传统学者可能一辈子只研究一部典籍、一个作者,但数字工具可以同时处理成百上千部文献,发现跨越单个文本的宏观规律。
这三种差异,让数字人文和传统人文学科形成了互补的关系,而非竞争关系。传统人文研究的长处在于深度——对单个文本的精深解读,对历史语境的了然把握,对文化意蕴的敏锐感知;数字人文的长处在于广度——对海量文献的全面掌握,对隐蔽规律的发现能力,对研究效率的极大提升。两者结合,才能既见树木又见森林。
当然,数字人文也面临一些质疑和挑战。
第一个质疑是关于"去人性化"的担忧。有人认为,人文研究的价值恰恰在于人的参与——学者对文本的阅读和理解,本身就是一种人文体验。如果一切都交给计算机处理,人文学科是否还保留其"人文"属性?
这种担忧不无道理,但显然是过虑了。数字工具只是手段,不能替代学者对文本意义的追问。一段古代铭文,用计算机可以很快识别出上面的文字,但这些文字究竟是什么意思?它们反映了怎样的社会观念和制度?这些问题仍然需要学者凭借深厚的学养和敏锐的洞察来回答。计算机可以帮助我们更高效地获取信息、更全面地掌握资料,但最终的理解和阐释,仍然属于人类。
第二个质疑是关于技术门槛的问题。数字人文要求研究者既懂人文又懂技术,这对传统人文学者来说是一个很大的挑战。很多资深学者虽然在本领域有深厚造诣,但未必熟悉计算机工具;而年轻一代虽然掌握技术,但可能在传统学养方面有所欠缺。
这个问题正在得到逐步改善。随着数字工具的日益傻瓜化,越来越多的传统学者开始能够使用数字方法进行研究;同时,也有越来越多的高校开设了数字人文课程,培养既有人文底蕴又有技术能力的复合型人才。学科之间的壁垒正在被打破。
第三个质疑是关于"大数据陷阱"的问题。有学者指出,在数字人文研究中,研究者可能过于依赖数据和算法,而忽略了对文本的深入阅读。他们可能会满足于统计数字和图表,而忘记追问这些数字背后的深层含义。
这种警惕是必要的。任何工具都有其局限性,数字方法也不例外。数据可能存在偏颇,算法可能产生误导,统计结果需要合理解释。如果只是机械地套用方法,而不动用脑子去思考,那么再先进的工具也是徒劳。真正优秀的数字人文研究,一定是技术方法与人文洞察的深度融合。
总而言之,数字人文不是传统人文学科的"掘墓人",而是它们的"好帮手"。它为研究者提供了新的工具和方法,帮助他们看到以前看不到的东西,想到以前想不到的问题。在这个意义上,数字技术就像一副"放大镜"和"望远镜"——它放大了我们观察细节的能力,延长了我们眺望远方的视野,让我们对人文世界的理解更加深入、更加全面。
技术的放大镜与望远镜
在开篇的概述中,我们把数字技术比作人文学者的"放大镜"和"望远镜"。这个比喻非常贴切地描述了数字技术对人文研究的赋能作用。让我们来详细展开这个比喻的含义。
放大镜的功能,是让我们能够看清本来看不清的细节。在人文研究中,这意味着数字技术可以帮助我们更清晰地观察文本、图像、器物中的细微之处。
比如,在传统方式下研究一幅古代绘画,学者们通常只能通过印刷品或照片来观看。这些复制品往往会损失大量细节——颜料的质感、笔触的变化、微小的修补痕迹等,都可能在复制过程中被忽略或模糊。而现在,借助超高分辨率的数字扫描技术,我们可以捕捉到画作每一个像素的信息。研究者可以在屏幕上将画面放大数十倍甚至数百倍,清楚地看到画家在某一笔上的犹豫或果断,看到年代久远后颜料的变化,看到后人修补的痕迹。这些细节往往蕴含着丰富的历史信息,可以帮助我们更准确地判断作品的年代、作者的意图、甚至使用的材料和工具。
又比如,在传统方式下研究古籍版本,学者们需要亲自翻阅原书,仔细比对不同版本的字体、纸张、墨色、版式等特征。这不仅耗时耗力,而且对珍贵古籍存在一定的损坏风险。而现在,通过数字化方式,研究者可以在电脑前舒适地翻阅多种古籍版本,轻轻一点就能切换,高清影像确保每一个细节都不会遗漏。这大大降低了研究的门槛,也让珍贵古籍得到了更好的保护。
望远镜的功能,是让我们能够看到本来看不到的远处。在人文研究中,这意味着数字技术可以帮助我们发现超越个案、跨越时空的宏观规律和联系。
比如,如果我们想研究唐代诗歌的演变规律,在传统方式下,可能需要阅读成百上千首唐诗,在脑海中建立对这一演变的主观印象。这种方式不仅耗时漫长,而且很难避免个人偏见的影响。而现在,通过计算工具,我们可以快速统计唐代不同时期诗歌的用词频率、韵律特征、意象类型等指标,绘制出量化的演变曲线。这些数据可以帮助我们更客观地理解唐诗发展的脉络,发现一些凭直觉难以察觉的规律。
又比如,如果我们想研究古代丝绸之路上的文化交流,在传统方式下,可能需要阅读大量历史文献、考古报告、艺术史论著等资料,在浩如烟海的文字中寻找相关线索。而现在,通过构建涵盖历史文献、考古遗址、艺术作品的综合数据库,研究者可以在几秒钟内检索出与丝绸之路相关的所有记录,系统分析不同地区、不同时期的文化交流痕迹。这种"全景式"的研究视角,是传统方式难以企及的。
放大镜与望远镜,一个关注微观,一个放眼宏观;一个深化细节,一个把握整体。它们共同扩展了人文学者的认知边界,让研究工作变得更加高效、更加深入。
当然,就像望远镜不是天文台的唯一工具一样,数字技术也不是人文研究的唯一手段。真正有价值的学术成果,永远需要学者的问题意识、学术积累和理论思考。技术只是工具,它为学者服务,而不是反过来。明白这一点,我们就能以正确的心态来拥抱数