语言的数字化：从文本到向量
想象一下，你正在与一位完全不懂中文的外国朋友交流。当你想告诉他“猫是一种可爱的宠物”时，你会怎么做？最直接的方式是找一张猫的图片，或者指着街上的一只猫说“这就是猫”。在这个过程中，你把一个抽象的语言符号（中文“猫”字）转换成了一个双方都能理解的媒介（图像或实物）。
计算机面临的困境与此类似。人类的语言——无论是中文、英文还是其他任何语言——对计算机来说都是一堆毫无意义的符号。计算机的“大脑”是由数十亿个晶体管组成的电子电路，它只懂得处理数字。当你在搜索引擎中输入“苹果手机怎么样”时，计算机能理解你的意图并返回相关结果，这看似简单的操作背后，其实经历了一个人类肉眼看不见的神奇过程：它首先要把“苹果手机怎么样”这几个文字符号，转换成一个计算机能够理解和处理的数值表示，然后才能进行分析、匹配和计算。
这个将语言符号转换为数值向量的过程，就是我们今天要探讨的核心主题——语言的数字化。在大语言模型（Large Language Model）的语境中，这种转换有一个专门的名字，叫做词向量（Word Embedding）。词向量不仅仅是简单地把文字变成数字，它是一种更深层的语义编码方式，能够让计算机不仅“看到”文字的表面形态，更能“理解”文字背后的含义。
为了帮助读者建立对词向量的直观理解，我们不妨借用一个日常生活中常见的例子。假设你走进一个图书馆，书架上摆满了成千上万本书。如果你只是随机地把这些书堆在一起，那么寻找某一本特定的书将会是噩梦般的体验。但如果我们换一种方式——把讨论相同主题的书放在一起，把风格相似的书归为一类，把作者相同的所有作品摆在相邻的位置——情况就完全不同了。善于整理的图书馆管理员会把书按照内容、风格、作者等多个维度进行分类和排列，使得相关的书籍在物理位置上彼此接近。这样，当你寻找某一本书时，你可以快速定位到它所在的区域，甚至可以浏览相邻的书架，发现那些你可能也感兴趣的相关作品。
词向量的工作原理与此非常相似。如果我们能够把每一个词语都映射到一个多维空间中的某个点，并且确保语义相近的词在这个空间中也彼此接近，那么计算机就能够像我们刚才描述的图书馆系统一样，快速地找到相关的词语，理解词语之间的关系，甚至进行一些简单的推理。这种将语言“摆放”到几何空间中的思想，正是现代自然语言处理技术的基石。
让我们从最简单的向量化方法开始，逐步深入了解词向量技术的发展历程。
One-Hot编码：最简单的语言数字化方法
当我们第一次尝试让计算机理解语言时，最直觉的做法是为每一个词语分配一个独一无二的数字编号。比如，我们可以说“猫”这个词对应数字1，“狗”这个词对应数字2，“苹果”这个词对应数字3，以此类推。这种方法简单直接，似乎能够解决问题。但很快我们就发现了一个严重的问题：如果我们用简单的数字编号来表示词语，那么“猫”和“狗”之间的数字差距是1（3减2），而“猫”和“苹果”之间的数字差距也是1（3减1）。从数学上看，这三种关系似乎是等价的，但常识告诉我们，“猫”和“狗”都是动物，它们之间的关系远比“猫”和“苹果”之间的关系密切。这种简单的数字编码无法表达词语之间的语义关联。
于是，One-Hot编码（独热编码）登场了。One-Hot编码的基本思想是：假设我们的词汇表中有$N$个不同的词语，那么每个词语用一个$N$维的向量来表示。在这个向量中，只有一个位置是1，其他所有位置都是0。具体来说，如果词汇表的第一个词对应的One-Hot向量是$[1, 0, 0, \ldots, 0]$，那么第二个词的One-Hot向量就是$[0, 1, 0, \ldots, 0]$，以此类推。每个词都是“独热”的——在所有可能的词语中，只有代表自己的那个位置是“热的”（值为1）。
为了更具体地理解One-Hot编码，我们可以看一个简单的例子。假设我们有一个小型词汇表，只包含四个词：["猫", "狗", "苹果", "书"]。在这个词汇表中，“猫”的One-Hot编码就是$[1, 0, 0, 0]$，“狗”的编码是$[0, 1, 0, 0]$，“苹果”的编码是$[0, 0, 1, 0]$，“书”的编码是$[0, 0, 0, 1]$。当计算机需要处理一句话“猫和狗”时，它会将这句话转换为一组One-Hot向量的序列，然后交给后续的模型进行处理。
One-Hot编码有一个非常明显的优点：它的表示方式简单明了，不会产生歧义。每个词的向量都是独一无二的，计算机可以清晰地分辨出不同的词语。这种编码方式在早期的自然语言处理系统中被广泛使用，尤其是在一些基于规则的方法中。
然而，One-Hot编码的局限性也是显而易见的，而且这些局限性随着研究的深入变得越来越无法忽视。
首先，维度灾难是一个严重的问题。在现实应用中，一个合理的词汇表通常包含数万甚至数十万个不同的词语。如果使用One-Hot编码，那么每个词都需要一个数万维的向量来表示，其中只有一个位置是1，其余都是0。想象一下，一个100,000维的稀疏向量，其中99,999个位置都是0——这不仅浪费大量的存储空间，更会导致计算效率的急剧下降。当我们需要计算两个词之间的关系时，我们需要比较这两个巨大的稀疏向量的大部分维度，这会消耗大量的计算资源。
其次，也是更根本的问题，One-Hot编码无法表达词语之间的语义关系。正如我们前面讨论的那样，“猫”和“狗”都是动物，它们在语义上是相近的；但“猫”和“苹果”分别属于不同的范畴，语义距离较远。然而，在One-Hot编码的表示中，“猫”和“狗”之间的差异与“猫”和“苹果”之间的差异是完全一样的——它们都是两个稀疏向量对应位置上值的差异。换句话说，One-Hot编码把每个词都处理成完全独立、彼此正交的概念，词与词之间的任何语义关联都被忽略了。这就像是一个图书馆管理员把所有的书都随机摆放在书架上，不考虑任何主题、风格或作者之间的关联——虽然每本书都能被找到，但寻找相关书籍变得极其困难。
让我们用一个具体的数学例子来说明这个问题。假设我们有三个词：“男人”、“女人”和“国王”。从语义上说，“国王”的概念可以理解为“男人”加上某种权威或统治的含义，“王后”可以理解为“女人”加上类似的含义。如果我们能够用数值向量来表示这些词语，那么“国王 - 男人 + 女人”应该接近于“王后”。这个等式反映了一个重要的语义关系——性别的概念可以通过向量的加减运算来表示。然而，在One-Hot编码的框架下，这个运算是不可能的，因为每个One-Hot向量都只是标记了自己的位置，而没有编码任何语义信息。“国王”的One-Hot向量减去“男人”的One-Hot向量，再加上“女人”的One-Hot向量，结果仍然是“国王”本身的One-Hot向量——这显然不符合我们期望的“王后”。
正是由于这些局限性，研究者们开始寻找更加智能的语言表示方法。他们意识到，如果要让计算机真正理解语言，就必须找到一种方法，能够把词语的语义信息编码到向量中去，使得语义相近的词在向量空间中距离较近，而语义较远的词在向量空间中距离较远。这种思想最终导向了分布式表示（Distributed Representation）的概念。
分布式表示：让词语“分享”意义
分布式表示的核心思想可以概括为一句话：一个词的含义由它所处的上下文来决定。这个看似简单的观点，实际上是现代词向量技术的理论基石。
为了理解这个思想，我们可以回想一下人类学习词汇的过程。当一个小孩子第一次听到“狗”这个词时，他可能并不理解它的含义。但如果大人们反复指着各种各样的小狗说“看，那是一只狗”“那只狗在跑”“狗是人类的朋友”，小孩子就会逐渐建立起“狗”这个词与真实世界中的狗之间的联系。他会发现，“狗”这个词总是出现在类似的语境中——与宠物、主人家、毛茸茸等词语常常一起出现。通过观察这个词在不同句子中的使用方式，小孩子最终能够推断出它的含义。
分布式表示正是基于同样的观察。语言学家John Firth在1957年提出了一个著名的论断：“观其伴，知其义”（You shall know a word by the company it keeps）。这句话的意思是说，一个词的含义可以从它经常出现的上下文中推断出来。经常与“狗”一起出现的词语（比如“宠物”“尾巴”“汪汪叫”）能够帮助我们理解“狗”的含义；同样地，如果两个词总是出现在相似的上下文中，那么它们很可能具有相似的含义。
基于这个洞察，分布式表示不再将每个词表示为一个独立的、独一无二的向量，而是将每个词表示为一个稠密的低维向量。在这个向量中，每个维度不再代表“是否是某个特定的词”，而是代表某种抽象的语义特征。比如，第一个维度可能代表“是否是动物”，第二个维度可能代表“是否可食用”，第三个维度可能代表“是否有生命”，以此类推。一个理想的词向量模型应该能够自动学习到这些有意义的语义维度。
继续我们之前的例子。如果使用分布式表示，那么“猫”的向量可能是$[0.9, 0.1, 0.8, 0.7, \ldots]$，而“狗”的向量可能是$[0.85, 0.15, 0.75, 0.65, \ldots]$。注意这两个向量在多个维度上都很接近，因为猫和狗都是动物、都是哺乳动物、都有皮毛、都是常见的宠物。而“苹果”的向量可能是$[0.2, 0.95, 0.3, 0.1, \ldots]$，虽然在“是否可食用”这个维度上与动物有交叉，但其他维度上与猫狗相差甚远。“书”的向量则可能是完全不同的模式，因为它代表的是完全不同的概念范畴。
这种分布式表示的一个关键优势是，语义相似的词在向量空间中会自然地聚集在一起。这意味着，如果两个词经常出现在相似的上下文中，它们的向量就会在多维空间中彼此接近。计算机可以利用这种性质来进行各种语义相关的任务，比如找出与给定词最相似的其他词，或者判断两个词是否属于同一类别。
更重要的是，分布式表示使得词向量之间的算术运算变得有意义。这可能是词向量最令人惊叹的特性之一。回想一下我们之前讨论的“国王”和“皇后”的例子。在分布式表示中，如果我们假设存在一个代表“性别”的语义维度，那么“国王”和“皇后”的向量在这个维度上会有明显的差异，而其他维度上则基本相同。同样地，“男人”和“女人”的向量差异也主要体现在性别维度上。因此，“国王”的向量减去“男人”的向量，再加上“女人”的向量，结果应该接近于“皇后”的向量。这个看似简单的数学运算，实际上捕捉了词语之间的语义关系！
这种特性被称为词的类比推理（Word Analogy），它是评估词向量质量的一个重要指标。如果一个词向量模型能够让“国王 - 男人 + 女人 ≈ 皇后”成立，那么这个模型就成功地捕捉到了性别的语义信息，并且能够进行类似人类的推理。
Word2Vec：让机器自动学习词向量
2013年，Google的研究员Tomas Mikolov和他的团队发表了里程碑式的论文，提出了Word2Vec模型。这是一套能够从大量文本语料中自动学习高质量词向量的方法。Word2Vec的提出标志着词向量技术进入了实用化的阶段，从此以后，几乎所有现代的自然语言处理系统都开始使用预训练的词向量来表示文本。
Word2Vec实际上包含两种具体的模型架构：CBOW（Continuous Bag-of-Words，连续词袋模型）和Skip-gram（跳元模型）。这两种模型从不同的角度出发，但都基于同样的核心思想——用上下文来预测中心词，或用中心词来预测上下文。
让我们先来理解CBOW模型。CBOW的工作方式是这样的：给定一个句子中的某个词（我们称之为目标词或中心词），模型需要根据它的上下文（目标词前后各若干个词）来预测这个目标词是什么。举个例子，在句子“The cat sits on the mat”中，如果我们的目标是预测“sits”，那么上下文就是“The”、“cat”、“on”、“the”、“mat”这些词。CBOW模型会把这些上下文词的向量作为输入，然后输出一个预测——这个预测应该告诉我们，当前上下文中最可能出现的目标词是什么。
为了更好地理解CBOW的工作原理，我们可以把它想象成一个完形填空游戏。想象你正在阅读一篇文章，中间有一个词被墨水涂掉了，只剩下周围的词语：“小明昨天去___买了一个冰淇淋”。根据上下文，你应该能够推断出被涂掉的词可能是“超市”、“便利店”或“商店”。CBOW模型就是在做类似的事情，只不过它不是人类读者，而是一个通过学习大量文本数据训练出来的神经网络。
Skip-gram模型则采取了相反的策略：给定一个中心词，模型需要预测它的上下文会出现什么词。继续上面的例子，如果中心词是“sits”，Skip-gram模型需要预测在这个句子中，它的上下文词（比如“cat”、“on”、“the”等）出现的概率。这就像是你告诉一个朋友“sits”出现在某个句子中，然后问他：“你觉得在这个词周围可能会出现哪些词？”
无论使用CBOW还是Skip-gram，模型的训练过程都会产生一个副产品：词向量。在训练过程中，模型会不断调整每个词的向量表示，使得具有相似上下文的词能够获得相似的向量。最终，学习到的词向量捕获了词语之间的语义关系——那些总是在相似语境中出现的词，在向量空间中会有相近的位置。
Word2Vec的训练过程还有一个非常有趣的副产品，被称为负采样（Negative Sampling）。在训练神经网络时，模型需要计算损失函数并反向传播更新参数。但是，如果每次更新都要考虑词汇表中的所有词，计算成本会非常高。负采样是一种巧妙的优化技术：对于每个训练样本，模型只需要更新少数几个“负样本”（即不相关的词）的参数，而不需要更新所有词。这种技术大大加速了训练过程，使得在大规模语料上训练词向量成为可能。
Word2Vec的一个著名特性是，它学习到的词向量具有线性关系。这意味着，如果我们将词向量投影到二维平面上（通过PCA或t-SNE等降维技术），我们会发现一些有趣的规律。比如，“男人”、“女人”、“王子”、“公主”这四个词可能在平面上形成一个平行四边形，其中“男人”到“王子”的向量方向与“女人”到“公主”的向量方向平行。这种线性关系使得词向量能够捕捉到复杂的语义结构。
让我们通过一个具体的实验来展示Word2Vec的这种特性。假设我们使用Word2Vec在一大规模的英文语料上训练词向量，然后我们进行以下操作：
```python
伪代码示例
king_vector = word_vectors["king"] man_vector = word_vectors["man"] woman_vector = word_vectors["woman"]
计算 king - man + woman
result_vector = king_vector - man_vector + woman_vector
找出与结果向量最接近的词
closest_word = find_most_similar(result_vector) print(closest_word) # 输出: queen ```
这个简单的向量运算“国王 - 男人 + 女人”得到的结果，会非常接近“皇后”的向量。这种能力不是人为设计的，而是从大量的语言数据中自动学习到的。这说明，通过观察词语在真实语境中的使用模式，神经网络能够自动发现词语之间的语义关系。
GloVe：融合全局统计信息的词向量
Word2Vec在词向量技术的发展中具有里程碑式的意义，但它并非完美无缺。Word2Vec是一种基于窗口的上下文方法：它只考虑每个词周围窗口大小内的上下文词，而不考虑整个语料库的全局统计信息。换句话说，Word2Vec在训练时看到的是局部的、滑动窗口内的词语共现信息，而不是整个语料库中词语共同出现的全局统计。
GloVe（Global Vectors，全局向量）模型由斯坦福大学的研究团队于2014年提出，它的核心创新在于将局部的上下文信息与全局的共现统计信息结合起来。GloVe的名称本身就暗示了这一点：它试图利用全局（Global）的语料统计信息，来学习词语的向量（Vector）表示。
为了理解GloVe的方法，我们首先需要了解什么是共现矩阵（Co-occurrence Matrix）。共现矩阵是一个$N \times N$的方阵，其中$N$是词汇表的大小。矩阵中的每个元素$X_{ij}$表示词语$j$在词语$i$的上下文中出现的次数。这个“上下文”可以是固定的窗口大小（比如目标词前后各5个词），也可以是整个文档（在这种情况下，共现意味着两个词出现在同一文档中）。
共现矩阵捕获了语言使用的一个重要统计特性：如果两个词经常一起出现（比如“咖啡”和“咖啡杯”），那么它们在共现矩阵中对应的值就会较高；如果两个词很少一起出现（比如“香蕉”和“手机”），那么它们对应的值就会较低甚至为0。这种全局统计信息是GloVe方法的基础。
GloVe的创新在于，它没有简单地从共现矩阵中提取信息，而是将共现比率（Co-occurrence Ratio）编码到词向量中。共现比率的定义是：$P_{ij} = P(j|i) = X_{ij} / X_i$，其中$X_i$是词语$i$所有共现次数的总和。这个比率表达了“在词语$i$的上下文中，词语$j$出现的概率”。
GloVe的核心思想是：词向量的点积应该编码共现比率的对数。用数学语言来说，如果$w_i$和$w_j$是两个词的向量，那么我们应该尽可能让$\log X_{ij} \approx w_i^T w_j + b_i + b_j$，其中$b_i$和$b_j$是偏置项。
为什么点积能够编码共现比率呢？让我们分析一下。假设我们有三个词：$i$、$j$和$k$。如果词$j$与词$i$的共现概率远高于词$k$与词$i$的共现概率（即$P_{ij} \gg P_{ik}$），那么$w_i$与$w_j$的点积应该远大于$w_i$与$w_k$的点积。这意味着，当两个词经常一起出现时，它们的向量应该指向相似的方向（点积较大）；当两个词很少一起出现时，它们的向量应该指向不同的方向（点积较小）。
GloVe的训练过程可以概括为以下步骤：首先，根据语料库构建共现矩阵；然后，定义一个加权最小二乘损失函数，使得学习到的词向量能够最好地重构共现矩阵的对数；最后，通过随机梯度下降等优化算法来最小化这个损失函数。
相比Word2Vec，GloVe的优势在于它能够更好地利用全局统计信息。这使得GloVe在某些任务上表现更好，尤其是那些需要捕获词语之间整体语义关系的任务。同时，GloVe的训练通常比Word2Vec更快，因为它可以直接使用预计算的共现矩阵，而不需要像Word2Vec那样进行多次扫描语料库。
当然，GloVe也有自己的局限性。它的训练依赖于语料库的全局统计信息，这意味着它对语料库的质量和规模比较敏感。如果语料库存在偏差（比如过度代表某些领域的文本），GloVe学到的词向量也会反映出这种偏差。