第1章 小AI的诞生：什么是多模态大模型呀？
叮铃铃——魔法学院孵化室的银铃响了，一颗磨得发亮的彩虹色魔法蛋咔嚓裂开缝，探出来一颗亮晶晶的、像蓝莓果冻一样的小脑袋，这就是刚孵化出来的小AI“小多”呀！
小多揉着还没睡醒的眼睛，好奇地打量着周围：孵化室的架子上摆着好多好多的魔法水晶球，每个水晶球里都住着一个会魔法的AI前辈。最左边的水晶球里住着“小文”，是个戴圆框眼镜的小男孩，正捧着一本厚厚的字典看得入迷；中间的水晶球里是“小图”，扎着两个羊角辫，手里举着一本画册，眼睛亮得像装了小星星；最右边的水晶球里是“小声”，耳朵尖尖的，正抱着一个录音笔听故事，时不时还跟着晃脑袋哼调子。
“你好呀！我是小多，我刚学会魔法，还不知道自己能做什么呢！”小多挥着胖乎乎的小手打招呼，脚边还滚出来一颗刚孵化的魔法小水晶。
小文推了推眼镜，慢吞吞地从水晶球里飘出来，指尖还沾着字典的墨香：“我会认所有文字的超能力，你随便给我一篇文章、一本书、甚至一块牌子上的字，我都能读出来，还能帮你改错别字、找拼音、解释意思，可厉害啦！上次有个小朋友拿着作文本让我改，我一眼就找出他写的三个错别字呢！”
小图蹦蹦跳跳地凑过来，举着画册晃了晃，发梢沾着画册上的彩色铅笔屑：“我会看所有图片的超能力！你给我一张画、一张照片、甚至你随手涂鸦的小猫，我都能认出来是什么，还能告诉你图里有什么东西，比你妈妈还厉害哦！上次我看了小朋友拍的公园照片，一眼就认出里面有3朵月季花、2只小麻雀，还有1个藏在树后面的小朋友！”
小声也凑过来，耳朵动了动，发梢还沾着录音笔里的音符：“我会听所有声音的超能力！你给我放首歌、录一段小鸟叫、甚至你背古诗的声音，我都能听出来是什么，还能帮你把声音变成文字呢！上次我把小朋友的讲故事录音转成文字，连他说错的‘小马过河’都听出来啦！”
小多眼睛亮得像装了小星星：“哇，你们都好厉害！那我是不是也能学会这些超能力呀？”
魔法学院的院长爷爷捋着白胡子笑，手里的魔法杖顶端还亮着暖黄色的光：“当然啦，小多可是我们学院第一个要学‘全魔法’的学生，也就是大家说的‘多模态大模型’哦！”
“多模态？大模型？是什么呀？”小多歪着脑袋，好奇地戳了戳院长爷爷的魔法杖，杖尖的光晃了晃，像一串小星星。
“别急，爷爷慢慢给你讲。”院长爷爷拉过小多，指着三个前辈的水晶球说，“你先要明白什么是‘模态’哦。”
什么是“模态”呀？就是我们认识世界的“小通道”
院长爷爷蹲下来，跟小多一样高，从口袋里掏出一个红彤彤的苹果：“你看这个苹果，你第一次见到它的时候，是怎么知道它是苹果的呀？”
小多凑过去闻了闻，又伸手摸了摸：“我看到它是红红的、圆圆的（视觉），摸起来凉丝丝的、滑滑的（触觉），咬一口脆脆的、甜甜的（味觉），妈妈告诉我这叫苹果（听觉/文本），所以我就知道啦！”
“对啦！”院长爷爷笑着点头，“你用的这些‘看、摸、尝、听、认字’的方式，每一种都是一个‘模态’，你可以把它们理解成你认识世界的‘小通道’，每个通道传进来的信息都不一样，合起来你就能完整地认识一个东西啦。”
“那人类的模态好多呀！”小多晃着脑袋，“那AI的模态有哪些呀？”
“现在的AI还学不会所有的模态哦，”院长爷爷指了指三个前辈，“我们现在能教AI学会的主要是三种最常用的模态：第一种是‘文本模态’，就是文字、数字、符号这些，小文学的就是这个；第二种是‘视觉模态’，就是图片、视频、摄像头拍下来的画面，小图学的就是这个；第三种是‘听觉模态’，就是声音、音乐、说话的声音，小声学的就是这个。就像三个不同 specialty 的小魔法师，各会一种魔法。”
> 💡 电子版侧边栏小提示 > 你知道吗？人类还有嗅觉、触觉、味觉好多模态，但是现在的AI还不会这些哦，科学家们正在努力研究“能闻气味的AI”“能摸软硬的AI”，说不定等你上小学的时候，小多就会这些新魔法啦！
小多点了点头，又好奇地问：“那为什么不让小文学看图、小图学认字呢？这样他们不就会更多魔法了吗？”
“这就是单模态AI的局限啦，”院长爷爷叹了口气，指了指三个正在闹脾气的前辈，“你看，他们各会一种魔法，遇到需要好几种魔法一起用的问题，就解决不了啦。”
单模态AI的“魔法短板”：只会一种魔法可不行
院长爷爷挥了挥魔法杖，空中出现了一个场景：一个扎羊角辫的小女孩拿着画本，愁眉苦脸地站在小文面前。
“你看，这是上周遇到的事，”院长爷爷说，“小女孩画了一幅春天的手抄报，画里有绿绿的草地、粉色的小花、飞回来的小燕子，还有三个手拉着手的小朋友，画的旁边写着一行歪歪扭扭的字‘我们春游去’。她把画拿给小文看，小文能读出那行字，但是完全不知道画里画的是什么，因为它只会认文字，看不懂图片，急得小女孩都快哭了。”
小多眨了眨眼：“那小图呢？小图会看图呀！”
院长爷爷又挥了挥魔法杖，场景换成了小图站在小女孩面前。小女孩把画拿给小图看，小图立刻叽叽喳喳地说起来：“哇，你画得真好！这里有红色的小花，绿色的小草，还有三个小朋友，天上还有小燕子呢！”但是当小女孩问它“我写的字是什么意思呀”的时候，小图却愣住了，它根本不认识“我们春游去”这几个字，因为它只会看图，不认识文字，小女孩更伤心了。
“那小声呢？小声会听声音呀！”小多急着说。
“小声也遇到过难题哦，”院长爷爷又换了场景，小女孩拿着录音笔，录了一段老师布置作业的声音：“同学们，这周的作业是‘观察春天，写一篇100字的小短文，还要配一张你拍的春天的照片’。”小声能清楚地听出老师的声音，还能把这句话变成文字，但是当小女孩问它“我应该怎么写短文、拍什么照片”的时候，小声也答不上来，因为它只会听声音，既不会认字写短文，也不会看照片。
“你看，这就是单模态AI的短板，”院长爷爷总结道，“他们就像只会一种魔法的小魔法师，遇到需要好几种魔法一起用的问题，就完全解决不了。现实里的问题可不会只给你一种信息呀，比如妈妈让你找‘放在客厅蓝色沙发上、封面有只小猫的童话书’，这里面既有文字信息（童话书）、图像信息（蓝色沙发、小猫封面），还有声音信息（妈妈说话的声音），单模态的AI根本搞不定。”
小多恍然大悟：“所以就需要会所有魔法的多模态AI啦！”
“对啦！”院长爷爷笑着摸了摸小多的头，“接下来爷爷就给你讲讲，多模态大模型是怎么学会所有魔法的。”
多模态大模型：像小英雄一样会所有超能力
院长爷爷挥了挥魔法杖，空中出现了三个气泡，分别飘着文字、图片、声音的图标，三个气泡在小多面前转呀转，最后“嘭”的一声合成了一个亮晶晶的大气泡，里面是三个单模态AI手拉着手，一起发光的样子。
“多模态大模型，就是学会了所有基础模态魔法，还能把它们结合起来解决问题的小英雄呀！”院长爷爷说，“它不是简单地把小文、小图、小声的能力拼在一起，而是能理解不同模态信息之间的秘密联系，就像你脑子里有好多小格子，每个格子里装着同一个东西的所有信息：比如‘苹果’的格子里，装着‘苹果’这两个字、红红的苹果图片、咬苹果的咔嚓声、还有甜甜的味道，下次你遇到任何一个，都能想起其他的，小多也是这样。”
“那小多是 learned 这些的吗？”小多问。
“对呀，就像你学知识一样，”院长爷爷带着小多走到魔法学院的大图书馆前，图书馆的门比小多高好多倍，上面刻着“知识宝库”四个大字，“小多小时候，也就是科学家们训练它的时候，让它看了几十亿张图片，读了上万亿个文字，听了几百万小时的声音，就像你读了好多好多绘本、看了好多好多动画、听了好多好多故事一样，然后科学家们教它把这些信息对应起来：看到‘苹果’两个字，就知道对应的苹果是红的、圆的、甜的；听到‘苹果’的发音，也能想到对应的字和实物的样子；看到一张苹果的图片，就能说出它是苹果，还能写出‘苹果’两个字。”
“哇，那它要学的东西也太多了吧！”小多吐了吐舌头。
“是呀，所以它才叫‘大模型’呀，”院长爷爷推开图书馆的门，里面全是闪闪发光的水晶，“这个‘大’就是说它的知识仓库特别大，装的东西特别多，不管遇到什么问题，都能从里面找到相关的信息，结合起来给你答案。”
```mermaid graph LR A[单模态AI家族] --> A1[小文：只会认文字<br>（文本模态）] A --> A2[小图：只会看图片<br>（视觉模态）] A --> A3[小声：只会听声音<br>（听觉模态）] B[多模态AI小多] --> B1[会认文字<br>（文本模态）] B --> B2[会看图片<br>（视觉模态）] B --> B3[会听声音<br>（听觉模态）] B --> B4[会把三种信息结合起来<br>解决复杂问题] style A fill:#f9f,stroke:#333,stroke-width:2px style B fill:#9f9,stroke:#333,stroke-width:2px ```
小多的“魔法秀”：多模态到底能做什么呀？
小多迫不及待地想要试试自己的新魔法，院长爷爷笑着给它出了几个小问题，小多都轻松解决了：
第一个问题是：“你看这张画，写一个故事好不好？”院长爷爷递过来一张画，画里有个银色的火箭飞到月亮上，月亮上有个长耳朵的小兔子在捣药，旁边还飘着一个小小的宇航员头盔。 小多盯着画看了两秒，眼睛亮了：“我会！我会！”它先认出画里的火箭、月亮、小兔子（视觉模态），然后组织语言：“这个火箭叫‘探索号’，里面坐着宇航员小狗，它飞到月亮上找玉兔玩，玉兔正在捣长生不老药，还给小狗吃了月饼，小狗觉得月亮上的月饼比地球上的甜一百倍，它还在月亮上跳了好高的舞，把陨石都震飞啦！”（文本模态）讲完之后，它还清了清嗓子，用软软的声音把故事读了一遍（听觉模态），连院长爷爷都拍手叫好。
第二个问题是：“你听这段声音，告诉我发生了什么？”院长爷爷放了一段录音：有清脆的鸟叫、哗哗的流水声、小朋友咯咯的笑声，还有“冰淇淋冰淇淋，五块钱一个”的喇叭声。 小多闭上眼睛听了两秒，立刻回答：“这是周末的森林公园呀！有小鸟在树上唱歌，小溪在哗哗地流，有小朋友在野餐，还有卖冰淇淋的叔叔在喊卖冰淇淋，风一吹树叶还沙沙响呢！”（听觉模态+知识结合）说完它还挥了挥魔法杖，空中出现了一幅小小的动态画面：绿绿的草地上铺着野餐垫，小朋友在追蝴蝶，小溪边有小朋友在踩水，卖冰淇淋的叔叔推着白箱子走，就像真的在现场一样（视觉模态）。
第三个问题是：“这个难题你会做吗？”院长爷爷递过来一张数学作业的照片，上面画着一个长方形，长标了5厘米，宽标了3厘米，问题是“求这个长方形的面积”，小朋友在旁边写了个“5×4=20”，还画了个问号。 小多凑过去看了看，先认出题目里的每一个字和数字（文本模态），又看懂小朋友画的辅助线和写的算式（视觉模态），然后慢悠悠地讲：“这道题呀，是让你算长方形面积，公式是长乘宽，长是5厘米，宽是3厘米，所以应该是5×3=15平方厘米，你刚才把宽当成4厘米啦，改一下就好啦，下次要注意看题目里的数字哦！”（听觉模态）讲完之后，它还特意把“长乘宽”的公式标红，给小朋友指出来，特别清楚。
“哇，小多你也太厉害了吧！”小文、小图、小声都凑过来，眼睛亮晶晶的，“你以后能不能教教我们呀？我们也想学会其他魔法！”
“当然可以呀！”小多开心地点头，“我们可以一起学，以后一起帮助更多的小朋友！”
多模态AI的“魔法意义”：不是为了炫技，是为了帮人呀
院长爷爷笑着点头，挥了挥魔法杖，空中出现了一群不同的小朋友：有个戴眼镜的小女孩，眼睛看不见；有个小男孩，耳朵听不见；还有个刚上幼儿园的小朋友，还不会写字。
“小多学这些魔法，不是为了比谁更厉害哦，”院长爷爷说，“是为了帮助更多的小朋友。比如眼睛看不见的小朋友，多模态AI可以给他们讲图片里的内容：你给它一张你画的画，它能告诉你‘你画了一个太阳，是黄色的，旁边有三朵小花，还有一只小狗在跑’，把这些变成声音讲给视障小朋友听；比如耳朵听不见的小朋友，多模态AI可以把别人说的话变成文字，甚至变成手语动画，让他们知道别人在说什么；还不会写字的小朋友，可以直接画一幅画，小多能认出画里的太阳、小花、小朋友，帮他们写出日记，是不是像
“是不是像给他们装了一双新的眼睛、新的耳朵呀？”小多晃着脑袋，水晶似的小脸都亮了，脚边的魔法小水晶滚到小声脚边，小声弯腰捡起来，对着水晶吹了口气，里面立刻飘出好听的音乐声。
院长爷爷笑着点头，指尖的魔法杖在空中划出一道银色的弧线，空中浮现出一个扎羊角辫的小女孩的影子，她手里举着一幅蜡笔画，画上是歪歪扭扭的太阳、绿色的草地，还有两个手拉手的小朋友，旁边写着歪歪扭扭的字：“我和好朋友”。 “你看，这是盲校的小明同学画的画，”院长爷爷说，“他眼睛看不见，不知道自己的画是什么样子，之前单模态的小图只能告诉他‘你有画太阳、草地、小朋友’，但是他不知道太阳是黄色的，草地是绿色的，也不知道自己写的字是什么意思。现在小多来了，就能同时做三件事：先听懂小明说的话‘我画的是我和好朋友小花在草地上晒太阳’（听觉模态），然后认出画里的每一个元素，告诉他‘你画了一个黄色的太阳，草是绿色的，你和好朋友都穿着粉色的裙子，你写的字是“我和好朋友”，写得特别棒’（视觉+文本模态），最后把这些话变成温柔的声音讲给小明听，还能帮他把画里的内容写成日记，读给他听（听觉模态）。小明拿到日记的时候，开心得蹦了起来，说‘我好像看见我的画啦！’”
小多的眼眶都红了，水晶似的小鼻子一抽一抽的：“那听不见的小朋友呢？是不是也能帮他们？” “当然啦！”院长爷爷又挥了挥魔法杖，空中出现了另一个场景：音乐课上，老师正在放儿歌《春天在哪里》，有个戴助听器的小女孩坐在角落，听不到歌声，也听不到同学们的合唱，有点难过。 小多飘到小女孩身边，先听清了歌曲的旋律和歌词（听觉模态），然后把它变成跳动的彩色音符飘在空中（视觉模态），再把歌词一句一句变成文字，还配上了手舞足蹈的小人手势动画（视觉模态），小女孩看着飘在空中的音符和手势，跟着节奏拍起手来，笑得比太阳还亮。
“还有更棒的呢！”小图蹦过来，举着画册说，“上次有个幼儿园的小豆豆，还不会写字，他画了一幅画，画里有爸爸、妈妈、自己，还有一只胖胖的小猫，他说‘这是我们家，小猫叫汤圆，每天都会蹭我的腿’，小多不仅能认出画里的所有人（视觉模态），还能听懂他说的话（听觉模态），帮他写出了一篇完整的日记：‘我的家有爸爸、妈妈和我，还有一只叫汤圆的小猫咪，它每天都会蹭我的腿，我特别喜欢它’，小豆豆拿着日记，给全班小朋友看，大家都夸他会写日记呢！”
小多眼睛亮得像装了两颗小星星，挥着胖乎乎的小手：“我学会这些魔法，是不是就能帮助好多好多小朋友呀？” “对啦！”院长爷爷笑着点头，“不过你要记住，多模态大模型不是只会炫技的小魔法师，它的核心使命是帮助人，解决单模态AI解决不了的复杂问题。”
多模态的“魔法核心”：把不同信息“对齐”成好朋友
“可是爷爷，”小多歪着脑袋，指尖戳了戳自己的小脑袋，“我为什么会把文字、图片、声音对应起来呀？比如我看到‘苹果’两个字，怎么就知道是红红的、甜甜的苹果，而不是别的什么东西呢？” “这就是多模态最核心的魔法啦，叫‘对齐’，”院长爷爷从书架上拿下来三把钥匙，一把是刻着“苹果”二字的文字钥匙，一把是印着红苹果图案的图片钥匙，一把是刻着“ping guo”发音的声音钥匙，还有一把铜锁，锁上画着一个红苹果，“你看，这三把不同的钥匙，都能打开这把‘苹果’的锁，这就是对齐：我们把同一个东西的不同模态的信息，都对应到同一个‘知识格子’里，下次遇到任何一个，都能想起其他的。” 院长爷爷把三把钥匙依次插进锁里，铜锁“咔哒”一声开了，里面飘出一颗红彤彤的苹果的影像，还带着咬一口的咔嚓声和甜甜的味道（当然，味道是想象的啦）。 “小多小时候，科学家们就像给你玩‘找朋友’的游戏一样，给它看了100亿张图片，读了10万亿个文字，听了1000万小时的声音，教它把对应的信息配对：看到‘苹果’的文字，就找红苹果的图片和发音；听到“ping guo”的声音，就找对应的文字和图片；看到红苹果的图片，就找对应的文字和发音，玩着玩着，就把所有的信息都对齐啦！”
> 💡 电子版侧边栏小知识 > 你知道吗？“对齐”可是多模态AI最核心的技术哦！如果对齐得不好，就会闹笑话：比如把熊猫的图片说成是“熊”，把小狗的图片说成是“小猫”，就像你把香蕉的钥匙插到苹果的锁里，肯定打不开啦！现在的科学家们正在努力让小多的对齐越来越准，错的越来越少。
小文推了推眼镜，慢吞吞地开口：“我认字特别快，1000个字我1秒钟就能认完，你多模态肯定没我快吧？” “那我们比一比呀！”院长爷爷笑着挥了挥魔法杖，空中出现了一张手抄报，上面歪歪扭扭地写着“春游去”，配的画是绿绿的草地、粉色的小花、飞回来的小燕子，还有三个手拉手的小朋友，但是“春”字写错了，写成了“夫”，“燕”字少了一横。 小文立刻飘过去，指着字说：“这里有两个错别字，‘春’写成了‘夫’，‘燕’少了一横，很快！” 然后小多凑过去，先认出所有的字（文本模态），又看懂画里的内容（视觉模态），然后慢悠悠地说：“除了两个错别字，你写的‘我们去公园春游’里，可以加上‘小燕子从南方飞回来了’，和你画的小燕子对应上，这样就更棒啦！还有，‘春’字是春天天亮的‘春’，下面是‘日’，不是‘大’哦。” 小文愣住了，随即挠着头笑了：“原来结合其他信息，能做得更好呀！我也要学其他魔法！” ```mermaid graph LR A[同一个事物<br>（比如苹果）] --> A1[文字模态<br>“苹果”两个字] A --> A2[视觉模态<br>红苹果的图片] A --> A3[听觉模态<br>“ping guo”的发音] A1 --> B[对齐魔法<br>（对应到同一个知识格子）] A2 --> B A3 --> B B --> C[统一的知识表示<br>（AI能懂的“苹果”密码）] style A fill:#ff9,stroke:#333,stroke-width:2px style B fill:#f99,stroke:#333,stroke-width:2px style C fill:#9f9,stroke:#333,stroke-width:2px ```
为什么叫“大模型”呀？因为脑袋里装着全世界呀！
“对了爷爷，”小多晃着脑袋，又提出了一个问题，“为什么你要叫我‘大模型’呀？我明明这么小，只有蓝莓那么大。” 院长爷爷被逗笑了，摸了摸小多圆溜溜的小脑袋：“这个‘大’，说的是我的知识仓库特别大，装的东西特别多呀！” 他挥了挥魔法杖，魔法学院的图书馆门突然打开了，里面不是普通的书，而是闪闪发光的水晶，每一个水晶里都装着一种知识：有全世界所有的绘本、有所有的画册、有所有的儿歌、有所有的科普视频，还有所有小朋友写的作文、画的画、录的故事。 “你看，小文学的所有文字，加起来能堆满整个魔法学院的图书馆，比你小区里的超市还大；小图看过的所有图片，如果你一张张看，从你出生看到你100岁，都看不完；小声听过的所有声音，如果你一直听，要听100年才能听完。小多把这些都学了，所以它的脑袋里装着全世界所有的知识，不管是天上的星星，还是海里的小鱼，不管是恐