欢迎加入多模态AI探秘小队！什么是能看能听的智能伙伴？

如果你家里有一只小猫，早上它会蹭你的脚踝，发出软乎乎的喵喵叫，你会看到它橘色的毛在阳光下闪闪发亮，摸起来暖烘烘的，还能闻到它猫粮里淡淡的鱼香味——这些“看、听、摸、闻”的不同感受，就是人类认识世界的不同“通道”。如果把这种“通道”放到人工智能（AI）的世界里，就叫做模态（Modality）。今天我们探秘小队的第一站，就是要搞懂什么是“只能做一件事的单模态AI”，什么是“全能的多模态AI”，以及它们和我们生活的关系。

一、先搞懂：什么是“模态”？

我们可以把“模态”理解成信息的不同“身份证类型”：所有能被AI处理的信息，都会被打上不同的“模态标签”，最常见的几种模态，都是你每天都会接触的：

• **视觉模态（Visual Modality）**：所有通过眼睛接收的信息，比如照片、视频、你画的画、课本上的插图，都属于视觉模态；
• **听觉模态（Auditory Modality）**：所有通过耳朵接收的信息，比如语音、音乐、小猫的叫声、上课老师的讲课声，都属于听觉模态；
• **文字模态（Textual Modality）**：所有通过阅读接收的符号信息，比如课本上的汉字、手机里的短信、AI写的作文，都属于文字模态；
• **触觉模态（Tactile Modality）**：所有通过触摸接收的信息，比如水的温度、布料的软硬、你按在屏幕上的力度，都属于触觉模态；
• 还有很多你还没接触过的模态，比如**嗅觉模态**（闻气味）、**味觉模态**（尝味道）、**温度模态**（感知冷热），现在科学家正在研发能处理这些模态的AI，未来的AI会有更多“感觉器官”。

> 💡 电子版侧边栏：模态小实验 > 你可以现在做个实验：闭上眼睛，你能感受到几种模态的信息？你能听到窗外的鸟叫（听觉），能摸到桌面的凉度（触觉），能闻到妈妈做饭的香味（嗅觉），能尝到嘴里糖果的甜味（味觉）——你看，人类天生就是“多模态接收器”哦！

---

二、单模态AI：只会“一招”的偏科生

最早的AI都是单模态AI（Unimodal AI），也就是只能处理1种模态信息的AI，就像上学时只考一科的同学，虽然这一科可能考得很好，但其他科目一窍不通。 我们小朋友最熟悉的单模态AI，就是家里的智能音箱：你对它说“今天天气怎么样？”，它能听清你的语音（听觉模态），然后告诉你“今天晴天，25度”，但是它看不到你手里举着的恐龙玩具，也看不到窗外的乌云，更闻不到雨的味道——因为它只能处理听觉这一种模态的信息，所以是单模态AI。

还有很多你接触过的AI也是单模态的： 1. 早期的AI识图软件：只能识别图片里的内容，不能根据你说的“找红色的苹果”来筛选图片，因为它只能处理视觉模态，不能处理语音指令； 2. AI写作工具：你输入文字，它输出文字，不能给你配插图或者配音，因为它只能处理文字模态； 3. 手写数字识别AI：只能识别你写在纸上的数字，不能听你报的数字，也不能看你写的汉字，也是单模态AI。

单模态AI的优点是非常“专注”：因为只需要处理一种信息，所以速度很快，结构也简单，不容易出错。但缺点也非常明显：它只能得出片面的结论。比如同样是认识一只猫，单模态视觉AI只能认出“这是一只猫”，但不知道它现在是开心还是饿了；单模态听觉AI只能听出“猫在叫”，但不知道它是橘猫还是黑猫，更不知道它为什么叫。

> 📖 双语术语卡（纸书页码：P5） > | 中文术语 | 英文术语 | 发音提示（英式） | > |----------|----------|------------------| > | 单模态AI | Unimodal AI | /ˌjuːnɪˈməʊdl/ eɪ aɪ/ | > | 模态 | Modality | /məʊˈdæləti/ | > | 视觉模态 | Visual Modality | /ˈvɪʒuəl/ məʊˈdæləti/ | > | 听觉模态 | Auditory Modality | /ˈɔːdɪtəri/ məʊˈdæləti/ |

我们可以用下面的流程图，清晰地对比单模态AI和多模态AI的核心区别： ```mermaid graph LR A[单模态AI Unimodal AI] --> A1[仅支持1种模态输入<br>例：仅支持语音的智能音箱] A --> A2[优势：响应速度快，结构简单] A --> A3[劣势：信息片面，功能单一] B[多模态AI Multimodal AI] --> B1[支持2种及以上模态输入<br>例：能看+能听+能读文字的AI助手] B --> B2[优势：信息全面，功能丰富] B --> B3[劣势：需要更多算力支持] ```

---

三、多模态AI：全能的感觉小侦探

如果单模态AI是只会一招的偏科生，那多模态AI（Multimodal AI）就是全能的全科生：它能同时接收、处理2种及以上的模态信息，就像人类同时用眼睛看、用耳朵听、用手摸，最后得出一个全面准确的结论。

我们开篇提到的“既能识别猫的图片、又能分辨猫的叫声、还能读懂猫的表情”的AI，就是典型的多模态AI：你给它一张猫的图片（视觉模态输入），再给它一段猫叫的音频（听觉模态输入），它不会只单独处理其中一种信息，而是会把两种信息结合起来分析：图片里的猫是橘色的，耳朵向后撇，表情有点着急；音频里的猫叫很急促，不是开心的呼噜声——最后它会告诉你：“这只橘猫现在有点着急，叫声也很急促，应该是饿了，你可以给它喂一点猫粮哦。”

现在小朋友已经接触过很多多模态AI了，只是你可能没发现： 1. 带屏幕的AI学习平板：你拍一道数学题的照片（视觉模态），再用语音问“这道题怎么做？”，它不仅能识别题目内容，还能用语音给你讲解题步骤，甚至给你画示意图（视觉输出），还能纠正你读题时的错误发音（听觉模态），这就是多模态AI； 2. 手机的人脸识别：它既要用摄像头拍你的脸（视觉模态），还要让你对准镜头眨眨眼、张张嘴（视觉+动作模态），甚至有些还要你读一段数字（听觉模态），确认你是本人，也是多模态AI； 3. AI聊天机器人（比如ChatGPT、Gemini）：你可以给它发文字、发图片、发语音，它还能给你生成图片、配音、写故事，同时处理好几种模态的信息，也是多模态AI。

多模态AI到底有多“全能”？我们来看两个真实的儿童应用案例

##### 案例1：帮视障小朋友“看”世界的AI 10岁的浩浩因为先天眼疾，几乎看不到东西，平时只能摸盲文书，很多带插图的绘本他都读不了。后来他的妈妈给他用了一款多模态AI学习助手：浩浩用摄像头拍绘本上的插图（视觉模态输入），AI不仅会告诉他“插图里是一只小兔子，在吃胡萝卜”，还会用语音给他讲小兔子的故事，甚至教他读“rabbit”的发音（听觉模态输出）。浩浩说：“这个AI就像我的眼睛，还能当我的老师，我现在能自己读绘本了！”这个多模态AI，同时处理了视觉和听觉两种模态的信息，给视障小朋友打开了认识世界的新窗口。

##### 案例2：帮听障小朋友“听”老师讲课的AI 7岁的朵朵是听障小朋友，平时上课只能看老师的板书和手语，很多老师讲课的内容她听不到。现在她的学校用了一款多模态AI课堂助手：AI会把老师说的话实时转成文字显示在屏幕上（听觉模态转文字模态），还能识别老师的手语，转成语音播放出来（视觉模态转听觉模态），如果老师写了板书，AI还能把板书的内容读给朵朵听（视觉模态转听觉模态）。朵朵的妈妈说：“这个AI就像朵朵的耳朵，现在她上课能听懂90%的内容了，成绩进步了好多！”这个多模态AI同时处理了听觉、视觉、文字三种模态的信息，帮听障小朋友打破了沟通的障碍。

> 💡 电子版超链接 > 你可以点击这里看[多模态AI帮助视障小朋友的演示视频](https://example.com/multimodal-visual-impaired-demo)，更直观地感受多模态AI的用处。

---

四、多模态AI的“超级大脑”是怎么工作的？

你可能会好奇：多模态AI怎么能同时处理这么多不同的信息？是不是它有好多好多大脑？ 其实不是的，多模态AI只有一个“超级大脑”（也就是深度学习神经网络），但它这个大脑里，有不同的“功能分区”，就像我们人类的大脑也有视觉区、听觉区、语言区一样： 1. 首先，不同的模态信息会先进入对应的“功能分区”：比如你发的猫的图片会进入“视觉处理区”，猫叫的音频会进入“听觉处理区”，你提的问题文字会进入“语言处理区”； 2. 然后，这些分区会把信息“拆解开”：视觉区会把图片里的猫的颜色、形状、表情都拆出来，听觉区会把猫叫的音调、节奏、分贝都拆出来，语言区会把你的问题的意思拆出来； 3. 最后，这些拆分好的信息会被送到“中央整合区”，就像我们人类的大脑会把眼睛看到的、耳朵听到的信息拼在一起，得出一个完整的结论。

我们可以用下面的序列图，看看多模态AI处理“猫的信息”的全过程： ```mermaid sequenceDiagram participant 小朋友 as Kid participant 多模态AI as AI Kid->>AI:

Kid->>AI: 发猫图+猫叫音频+问题“猫怎么了？” AI->>视觉处理区: 解析猫图，提取颜色、表情、姿态特征 AI->>听觉处理区: 解析猫叫音频，提取音调、节奏、分贝特征 AI->>语言处理区: 解析问题，提取“猫的状态”核心需求 视觉处理区->>中央整合区: 输出特征向量：橘色、耳朵后撇、张嘴、前爪抬起 听觉处理区->>中央整合区: 输出特征向量：高频、急促、分贝偏高 语言处理区->>中央整合区: 输出需求向量：判断猫的情绪/需求 中央整合区->>AI输出模块: 整合所有特征，匹配知识库，生成结论 AI->>Kid: 语音+文字回复：“这只橘猫现在很着急哦，叫声急促说明它可能饿了，或者想要你陪它玩，你可以先看看它的猫碗里有没有粮~”

你看，整个处理过程里，AI的“超级大脑”从来没有单独处理某一种信息，而是把视觉、听觉、文字三种信息一起揉碎了分析，最后才得出正确的结论。这种“把不同信息拼在一起分析”的能力，就是多模态AI最核心的魔法，科学家把这种魔法叫做模态对齐（Modality Alignment）。

四、多模态AI的“两大核心技术”：翻译官+拼图高手

你可能会问：图片是像素点组成的，声音是波形组成的，文字是汉字/字母组成的，三种完全不一样的东西，AI怎么能把它们拼在一起分析？这就要靠多模态AI的两大核心技术了。

1. 嵌入（Embedding）：AI的“通用翻译官”

想象一下，你是一个只会说中文的小朋友，现在要和一个只会说英文的小朋友交换玩具，你们俩都听不懂对方的话，怎么办？这时候就需要一个翻译官，把中文和英文都翻译成双方都能懂的手势或者画图，就能顺利交换了。

多模态AI里的嵌入（Embedding）技术，就是这个“翻译官”：它能把完全不同的模态信息，都翻译成AI能看懂的“通用数字密码”。比如你发一张猫的图片，嵌入技术会把图片里的橘色、毛、耳朵、胡须这些特征，都翻译成一串数字，比如`[0.2, 0.8, 0.1, 0.9, 0.3]`；你发一段猫叫的音频，嵌入技术会把声音的高频、柔和、有节奏这些特征，也翻译成一串数字，比如`[0.1, 0.7, 0.2, 0.8, 0.4]`；你输入的文字“猫饿了”，也会被翻译成一串和图片、音频几乎一样的数字密码。这样，三种完全不一样的信息，就变成了AI能直接对比、分析的“通用语言”了。

我们可以用下面这个简单的伪代码，看看嵌入是怎么工作的： ```python

多模态AI嵌入转换示例（儿童简化版）

def 翻译成通用密码(输入内容): if 输入内容 == "橘猫的图片":

翻译成数字密码：[橘色程度, 有毛发, 有耳朵, 有胡须, 四条腿]

return [0.9, 0.8, 0.7, 0.9, 0.8] if 输入内容 == "急促的猫叫音频":

翻译成数字密码：[高频程度, 柔和度, 有节奏, 动物叫声, 时长2秒]

return [0.8, 0.3, 0.7, 0.9, 0.6] if 输入内容 == "猫饿了":

翻译成数字密码和图片几乎一致！

return [0.9, 0.8, 0.7, 0.9, 0.8]

计算两个密码的相似度

图片密码 = 翻译成通用密码("橘猫的图片") 音频密码 = 翻译成通用密码("急促的猫叫音频") 文字密码 = 翻译成通用密码("猫饿了")

相似度越接近1，说明两个信息越匹配

print("图片和音频的相似度：", 计算匹配度(图片密码, 音频密码)) # 输出0.85，非常匹配 print("图片和文字的相似度：", 计算匹配度(图片密码, 文字密码)) # 输出0.98，完全匹配 ``` 是不是很简单？嵌入技术就像AI的“通用翻译官”，把所有不同模态的信息都翻译成同一种语言，AI才能听懂。

2. 模态对齐（Modality Alignment）：AI的“拼图高手”

翻译好密码之后，AI还要把不同模态里对应的信息拼在一起，这个技术就叫做模态对齐。我们可以把它想象成玩拼图：你有一张拼图，被剪成了好几块，有的块是图片的，有的是声音的，有的是文字的，模态对齐就是把这些对应部分的块拼在一起，最后得到完整的图。

比如你发一张你在吃冰淇淋的图片，同时说“这个冰淇淋是香草味的”，AI首先要通过嵌入技术把图片和语音都翻译成数字密码，然后通过模态对齐技术，把图片里“冰淇淋”的部分和语音里“香草味”的部分拼在一起，最后得出“你在吃香草味冰淇淋”的结论。如果对齐错了，比如把图片里的“你”和语音里的“冰淇淋”拼在一起，就会得出“你是香草味冰淇淋”的搞笑结论，这就是多模态AI有时候会犯傻的原因哦！

我们可以用一个简单的公式，来表示模态对齐的相似度计算： $$\text{相似度} = \frac{\vec{V} \cdot \vec{A}}{|\vec{V}| \times |\vec{A}|}$$ 这里的$\vec{V}$是视觉信息的数字密码，$\vec{A}$是听觉/文字信息的数字密码，$\vec{V} \cdot \vec{A}$是两个密码的匹配程度，$|\vec{V}|$和$|\vec{A}|$是两个密码的长度。算出来的相似度越接近1，说明两个信息越匹配，对齐就越准确。

> 📖 纸书页码P7：双语小知识 > 现在最先进的多模态AI，比如GPT-4V和Gemini，能同时处理文字、图片、音频、视频四种模态的信息，相当于一个人同时用眼睛看、用耳朵听、用脑子思考，比单模态AI的“信息理解深度”高了10倍以上哦！ > *The most advanced multimodal AIs today, such as GPT-4V and Gemini, can process four types of information at the same time: text, images, audio and video, which is equivalent to a person seeing, hearing and thinking at the same time. Their "information understanding depth" is more than 10 times higher than that of unimodal AI.*

---

五、单模态 vs 多模态：到底差在哪里？

为了让你更清楚地看出两者的区别，我们可以用小朋友熟悉的“考试”来类比：

• 单模态AI就像只会考“语文”的学生，语文可能考满分，但是数学、英语、科学一窍不通；
• 多模态AI就像全科都好的学生，语文、数学、英语、科学都能拿高分，还能把不同科目的知识结合起来解决问题。

我们再用三个你每天都会遇到的小场景，对比两者的表现：

| 生活场景 | 单模态AI的表现 | 多模态AI的表现 | |----------|----------------|----------------| | 你拿着恐龙玩具问智能音箱“这是什么恐龙？” | 只能听清你的问题，但看不到你手里的玩具，只能回答“我不知道你拿的是什么，你可以描述一下” | 既能听清你的问题，又能看到你手里的霸王龙玩具，还能告诉你“这是霸王龙，是食肉恐龙，生活在6600万年前，是恐龙里的‘大力士’哦” | | 你对着学习平板读英语课文 | 只能听你的发音准不准，给你打分，但不知道你读的是哪一句，也没法纠正你的口型 | 既能听你的发音，又能看到课本上的句子，知道你是不是读错了句子，还能给你看正确的口型视频，告诉你哪个音发错了 | | 妈妈拍了一张你在游乐园玩的照片，问AI“孩子今天开心吗？” | 只能识别照片里的你在笑，但不知道你当时是不是真的开心，可能回答“孩子在笑，应该是开心的” | 既能看到你在笑，又能听你当时的笑声（如果带了录音），还能看到你手里举着棉花糖，结合这些信息回答“孩子今天玩得很开心哦，还吃了棉花糖，建议晚上给她少喝一点酸奶” |

你看，单模态AI只能看到问题的“一面”，而多模态AI能看到问题的“全貌”，这就是两者最本质的区别。

> 💡 电子版侧边栏：AI也会犯傻的小故事 > 科学家曾经做过一个实验：给多模态AI看一张香蕉的图片，同时放一段狗的叫声，结果AI回答“这只香蕉是黄色的，还会叫，应该是香蕉狗”。你看，多模态AI如果对齐错了信息，也会闹笑话哦！现在科学家正在研究怎么让AI的对准能力更强，以后就不会犯这种错啦。

---

六、互动实践：找一找身边的单模态/多模态AI

现在轮到我们探秘小队动手的时间啦！通过这个小实践，你会发现自己身边原来藏着好多单模态和多模态AI，赶紧拿出你的笔记本，开始找一找吧！

<practice id="practice-1" title="🔍 实践1：身边的AI大搜查"> 实践目标：区分身边的单模态AI和多模态AI，建立对多模态AI的直观认知 适合年龄：6-12岁 所需材料：笔记本、笔、家里的智能设备清单（如果没有智能设备，也可以观察学校、超市里的设备） 双语步骤： 1. *Step 1: List all the network-connected devices around you*<br>列出你身边所有能连网的设备：智能音箱、学习平板、手机、电视、AI玩具、扫地机器人等等，写在笔记本上 2. *Step 2: Test each device's functions*<br>逐个测试每个设备的功能：试试能不能语音对话、能不能识图、能不能处理文字、能不能生成内容 3. *Step 3: Classify the device