出发！AI也需要考试吗？
第 1 章 出发！AI 也需要考试吗？
清晨的阳光穿过窗帘的缝隙，落在小评测师豆豆的课桌上。今天是期中考试的第一天，豆豆盯着书桌上一摞厚厚的复习资料，深深地吸了一口气。
"唉——"豆豆叹了一口气，把脸埋进了胳膊里，"又要考试了。语文、数学、英语、还有科学……每张试卷都像一只小怪兽，张着大嘴等着把我吃掉。"
豆豆今年九岁，在阳光小学读三年级。她有一个不太喜欢却又不得不面对的事情——考试。每次考试前一天晚上，她都会把课本从头到尾翻一遍；考试当天早上，她的心总是"扑通扑通"跳得比平常快一倍。
就在她对着窗外发呆的时候，书桌上忽然"叮"的一声，冒出了一阵淡蓝色的光。光点像一只萤火虫，慢慢汇聚，凝结成一个巴掌大的小机器人。它眨了眨眼睛——两颗圆溜溜的小灯泡——然后用细细的、有点像金属铃铛的声音说：
"你好呀！我是评测机器人小评，初次见面，请多关照！"
豆豆吓得差点从椅子上摔下来："你……你从哪里来的？你是什么？"
小评歪了歪脑袋——它的脑袋是一个圆圆的金属球，"我是从'评测世界'来的小机器人。我的工作，就是给各种各样的 AI 出考卷、改卷子，再帮它们变得更强。"
"AI……就是人工智能？"豆豆瞪大了眼睛，"就是那种会下棋的、会说话的电脑？"
"对，也不对。"小评从豆豆的笔筒里抽出一支铅笔，在空中画了画，"会下棋的、说话的、画画的、翻译的、推荐歌曲的、识别照片的……这些都是 AI。AI 就像一群特别能干的小朋友，只不过它们不住在房子里，住在电脑和手机里。"
豆豆点点头，又摇摇头："可是，AI 住在电脑里，它们也要考试吗？它们也会紧张吗？它们也会像我现在这样担心考砸了回家被妈妈说吗？"
小评"哈哈"笑了起来，声音清脆得像风铃碰撞：
"好问题！这正是我今天要带你去看一看的事情——一场 AI 评测的'大冒险'。你愿意跟我一起去探索吗？"
豆豆的眼睛一下子亮了起来。她把铅笔一收，跳下椅子："当然愿意！走走走！"
一、从一张考卷说起：AI 其实就在我们身边
小评带着豆豆走出了家门。一路上，豆豆发现到处都是 AI 的身影。
早晨，妈妈用手机叫豆豆起床——那个温柔的女声"豆豆，该起床啦"，其实是语音合成 AI 在说话。她在厨房里喊一声"小爱同学，播放儿歌"，音箱里就响起了欢快的歌声——这是语音识别 AI 在听她说话，并且理解了"播放儿歌"这个指令。
早餐桌上，爸爸打开手机看新闻。屏幕上推荐的新闻都是豆豆爸爸可能感兴趣的——这是推荐 AI 在工作，它根据爸爸过去看过的内容，猜他可能会喜欢读什么。
去学校的路上，妈妈开车用导航，导航会告诉她哪条路堵、哪条路更快——这是路径规划 AI 在帮忙。路上遇到红灯，摄像头拍下车牌——这是图像识别 AI 在看。
到了学校，豆豆拿出翻译笔，扫一扫英语单词，屏幕上立刻出现中文翻译——这是机器翻译 AI。
"哇！"豆豆瞪大了眼睛，"这么多 AI！那 AI 到底是什么呀？"
小评停在一个红绿灯前，认真地说：
"AI，中文叫'人工智能'，英文是 Artificial Intelligence。它是一种让机器'看起来像有智慧'的技术。机器本来只会按照人写好的程序，一步一步照做。可是 AI 更厉害——它可以从大量的数据里自己'学'到规律，然后回答它从没见过的题目。"
"自己学？"豆豆好奇地问。
"对，比如你给它看一千张猫的照片，再给它看一千张狗的照片，它慢慢就学会了区分猫和狗。下次你给它一张它从没见过的猫的照片，它也能认出'这是猫'——这种'举一反三'的能力，就是 AI 的本事。"
豆豆若有所思地点点头："那为什么还要给它们考试呢？"
小评眨眨眼睛："这就跟你们要考试一样。我们得想办法知道它到底学得怎么样、对不对、好不好。如果不考试，怎么知道它学得好不好呢？"
二、什么是 AI 评测？给机器打分的过程
小评带着豆豆飞到了一片奇异的"评测王国"。这里没有高楼大厦，而是一片片漂浮的彩色岛屿，每一座岛屿上都有各种各样的"考场"。
"欢迎来到评测王国！"小评张开双臂，"这里就是 AI 们接受考试的地方。你马上要看到的就是——AI 评测。"
豆豆东张西望："AI 评测，到底是个什么东西呀？"
小评掏出一个小本子——上面画满了各种图标——耐心地解释起来：
"咱们先把'评测'这两个字拆开看。"
"'评'就是评价、判断的意思；'测'就是测量、测试的意思。合在一起，'评测'就是'评价和测试'，也就是——给 AI 做一次全面的检查，看看它到底有多聪明、能力有多强。"
"那具体怎么测呢？"豆豆问。
"跟你们学校的考试很像，"小评说，"我们要做三件事——"
第一件事：准备考卷
评测工程师（就是设计考卷的叔叔阿姨）会给 AI 设计一套题目。这套题目不是随便出的，它要能考出 AI 的真实水平。比如想让 AI 学认猫，就准备一千张各种各样猫的照片让它认；里面有真猫、有假猫、有的是真猫但背景很复杂……通过这些不同的题目，就能知道它在什么情况下能认对、什么情况下容易认错。
第二件事：让 AI 答题
把准备好的题目交给 AI，让它一道一道地回答。一边回答，评测系统一边把它给出的答案记录下来。
第三件事：打分和找问题
等 AI 答完所有题目，评测系统会自动对比 AI 的答案和"标准答案"——就像你们老师批改试卷一样——看看 AI 答对了多少、答错了多少、在哪些类型的题目上最容易出错。
"哇，听起来跟我们人类的考试好像啊。"豆豆兴奋地拍手。
"对！"小评点点头，"不过，AI 评测比人类的考试还要多做一件事——它要找出 AI 为什么会出错，并且给出改进的方向。这就是评测最厉害的地方。"
```mermaid flowchart LR A[数据收集] --> B[模型训练] B --> C[测试与评测] C --> D{是否达标?} D -->|否| E[找出问题] E --> F[反馈改进] F --> B D -->|是| G[部署应用] G --> H[持续评测] H --> C ```
小评指着这个流程图说："你看，这就是一个 AI 从'出生'到'长大'的全过程。评测这个环节就像一个负责任的教练，一直盯着每一步：AI 学得怎么样，要不要继续学，哪里有问题，得改一改。评测不是一锤子买卖，而是一个循环往复的过程。AI 学一学，测一测，改一改，再学一学，再测一测——就像你们练钢琴、练舞蹈一样，要反复练习和评估，才能越来越厉害。"
豆豆盯着流程图，眼睛里闪着好奇的光芒。
三、AI 真的需要考试吗？——一场有意义的"考试会"
时间回到学校门口。豆豆和小评降落在一棵大槐树下，几个小同学正背着书包往里走。
"豆豆，你刚才问我'AI 是不是真的需要考试'，我现在告诉你三个超有说服力的理由。"小评认真地说。
理由一：考试能让 AI 知道自己几斤几两
想象一下，如果你从来不知道自己考试能得多少分，那你是不是心里会很慌？"我到底学得怎么样？我是不是需要再努力一点？"——这些问题都需要通过考试来回答。
AI 也是一样。如果不让 AI 考试，AI 的"老师"——也就是设计 AI 的工程师——就不知道 AI 现在到底学会了什么、还差什么。就像你们班的数学考试，如果不考，数学老师怎么知道哪些同学对分数加减已经掌握得很熟了，哪些同学还在掰着手指头数？
如果不考，AI 可能会"自以为是"地认为自己很厉害，结果一放到真实世界中——糟糕，把猫认成狗，把"谢谢"翻译成"三谢"，那可就闹笑话了。
理由二：考试能让 AI 发现自己的弱点
豆豆，你知道考试最重要的意义是什么吗？不是为了那个分数，而是为了那张考卷上"红叉叉"告诉你——"这里我不会，这里要再学一学"。
小评拿出一个虚拟屏幕，屏幕上一只 AI 把"猫"认成了"狐狸"，还特别自信地说"我很有把握"——这就是评测的重要任务之一：戳破 AI 的"盲目自信"。
"盲目自信？"豆豆觉得这个词很有趣。
"对！AI 有时候会'过度自信'，就是它对自己给的答案特别肯定，但其实答案是错的。这种情况在 AI 行业里叫做'高置信度错误'——它不是不知道答案，而是它'以为'自己知道。"
"哦，"豆豆好像懂了一点，"那评测就是要让 AI 别那么自大，要让它诚实一点。"
"没错！"小评竖起大拇指，"通过评测，我们可以设计一些'陷阱题'——比如把一张稍微有点模糊的猫照片给它，或者把一张真正的猫照片和一只有点像猫的狗照片放在一起让它选——看看 AI 会不会中招。如果中招了，那就说明这个 AI 在这类图片上还不够强，工程师们就要回去想办法，让它学得更扎实。"
理由三：考试能让 AI 在"上岗"前做好准备
你们考试是为了升学、为了拿毕业证书。AI 的"考试"也类似——是为了拿到"上岗证"，证明自己可以真正为大家服务。
小评讲了一个真实的故事：
有一个图像识别 AI，工程师们说它可以认出手写的数字了——从 0 到 9。在实验室里，它表现得特别好。可是当它被放到医院里，帮医生看 X 光片的时候，它把一张写着"7"的处方给认成了"1"——结果医生少开了 6 天的药！
"为什么会这样呢？"豆豆急切地问。
"因为医院里的医生手写得比较潦草，有些数字写得又细又小，跟训练时那些写得规规矩矩的数字很不一样。这个 AI 没在'实战'中练过，所以一上场就掉链子了。"
"好险啊！"豆豆拍了拍胸口。
"你看，这就是'上岗前评测'的重要性——必须用各种各样、各种难度、各种真实环境的题目好好考一考它，只有在严格的评测下表现良好的 AI，才能被允许上岗。这样才能保护我们大家的安全。"
四、AI 的'考试科目'：每个 AI 都是独特的学生
下午，豆豆和小评来到了评测王国的"科目展览馆"。一进门，豆豆就惊呆了——这里一共有二十多个展厅，每个展厅里都在进行不同类型的 AI 评测。
"我以为评测就是做一张卷子呢，没想到有这么多名堂。"豆豆感叹道。
"哈哈，AI 也是分很多种类的。有的 AI 专门学画画，有的 AI 专门学翻译，有的 AI 专门学下棋……它们的'考试科目'当然不一样。"小评掏出小本子，"我给你介绍几种最常见的吧——"
第一类：图像识别 AI 的'考试'
这种 AI 的工作就是"看"图像、说图像里有什么。比如你说"看下这张照片里有没有自行车"，它就要给出"有"或"没有"的答案。
它的考试题目一般包括：
- 识别题：给一张照片，问"这是什么？"（答：猫、狗、汽车……）
- 分类题：把一堆照片分成几堆——猫一堆、狗一堆、鸟一堆
- 定位题：在照片上把要找的东西用一个方框框起来（比如问："图中的所有红绿灯在哪里？"）
评分方式：看它答对了多少张图。100 张图答对 95 张，准确率就是 95%。
第二类：语音 AI 的'考试'
这种 AI 是"用耳朵听"的，作用是把你说的话变成文字，或者反过来把文字变成声音。它的考试题目包括：
- 听写题：给一段音频，让它写出对应的文字
- 朗读题：给一段文字，让它用自然的声音读出来
- 听懂题：给它一句话，问它"这句话是什么意思？"
评价维度有两个：一个叫"准确率"（听写对了多少字），一个叫"自然度"（朗读得像不像真人说话，0 到 5 分）。可见 AI 评测不仅是"对不对"的问题，还有"好不好的问题。
第三类：翻译 AI 的'考试'
翻译 AI 的考试最直接——给它一句中文，让它翻译成英文；或者给它一段英文，让它翻译成中文。
评分有两种：
- 一种叫"BLEU 分"——就是用机器自动对比 AI 的翻译和人工标准翻译的相似度，从 0 到 100 分，分数越高说明翻译得越好
- 另一种叫"人工评测"——请专业的翻译家来看 AI 翻译得"信不信、达不达、雅不雅"
第四类：对话 AI（聊天机器人）的'考试'
这种 AI 大家最熟悉——比如你跟某个 APP 聊天，它会回答你。这种 AI 的考试要复杂一些：
- 一致性测试：你问了它同一个问题两次，它不能给出前后矛盾的答案
- 安全性测试：故意说一些奇怪的话、诱导它做坏事，看它会不会上当
- 有用性测试：让它帮你想个点子、解决一个问题，看看它的回答有没有价值
小评停下脚步，认真地说："你看，不同的 AI 有不同的特长，所以它们的考试卷子也不一样。评测不是一张统一的大卷子，而是要针对每一种 AI 的特点，量身定做适合它的评测方案。这样才能真正测出它的本事。"
五、如果没有评测，AI 是什么样？
太阳渐渐西沉，豆豆和小评来到了评测王国的一片荒芜之地。这里的小岛灰蒙蒙的，植物都耷拉着脑袋。
"这里是什么地方？"豆豆问。
"这里是'没有评测的孤岛'。"小评的声音变得严肃起来，"你知道吗？在这个世界上，曾经有过一段时期，科学家们不太重视评测，造出来的 AI 自己也不知道自己有多厉害。"
"后来呢？"豆豆紧张地问。
"后来——"
小评讲了一个真实的历史故事：在 AI 发展的早期，有一种 AI 叫做"专家系统"，它的特点是人类专家把规则一条一条写进去。这种 AI 在小范围测试时表现得特别好，能跟医生一样看病、能跟律师一样审合同。可是当它被大规模推广后，人们才发现它的局限——它只会处理写过的规则，遇到稍微不一样的情况就傻眼了。
"为什么会这样？"豆豆问。
"因为没有严格的评测。科学家们在小型演示上感觉'还行'，就以为它能用了。结果一投入到真实世界，'小问题'变成了'大问题'——这就是没有评测的代价。"
小评指着这座荒芜的孤岛："你看，没有评测的 AI，就像一个没有成绩单的学生。我们不知道它到底学会了什么、哪里还不会、什么时候可以毕业、什么时候不能让它走出校门。这太危险了！"
"所以评测就像老师的眼睛——"豆豆试着总结。
"没错！而且不止是老师的眼睛，更是 AI 的'成长伴侣'。它陪伴 AI 的每一个阶段：在收集数据时，评测可以帮助我们判断数据够不够好；在训练模型时，评测可以告诉我们训练得对不对；在投入使用前，评测是 AI 的'上岗体检'；在使用过程中，评测还是'定期复查'——确保 AI 一直表现得很好，没'变笨'、没'学坏'。"
六、回到现实：你也能找一找生活中的 AI
天色渐晚，豆豆和小评回到了阳光小学的门口。
"豆豆，今天的冒险就要结束了。"小评说，"但是关于 AI 评测的故事，才刚刚开始。我希望你能记住三件事——"
第一件事：AI 评测就像 AI 的"成绩单"和"教练"。没有它，我们就不知道 AI 是不是真的准备好了。
第二件事：AI 评测不是一锤子买卖，而是一个持续进行的过程。AI 学一学，测一测，改一改，再学一学，再测一测——这样才能越来越好。
第三件事：不同的 AI 有不同的"考试科目"。识别图像的 AI 考"看图"，识别语音的 AI 考"听话"，翻译 AI 考"语言"，聊天 AI 考"说话"……评测要量身定做。
"可是我只是一个小孩，"豆豆有点沮丧，"我能做什么呢？"
小评眨眨眼，笑着说："你可以做一件事——观察。走出家门，用心看一看哪些地方有 AI。试着去找一找，一天之内你能找出多少个'藏起来的 AI'。这是一个小游戏，但你做完之后，你对 AI 评测的理解就会更深一层。"
小评从口袋里掏出一个小任务卡，递给豆豆。上面写着：
> 豆豆的 AI 寻宝任务 > > 1. 早上起床时，谁在叫我？它属于哪一类 AI？ > 2. 看视频时，APP 是怎么知道我喜欢什么的？这是哪种 AI 的工作？ > 3. 出门在外，导航是怎么规划路线的？ > 4. 跟外国人说话，翻译软件是怎么工作的？ > 5. 打开购物 APP，它是怎么猜到我想买什么的？ > > 请在每个问题后面写下你的答案，并且想一想：这些 AI 是怎么"考试"的？谁来给它们打分？
"明天我要把这些答案告诉爸爸妈妈，让他们也知道 AI 评测是什么！"豆豆兴奋地说。
"好！"小评挥挥手，身影慢慢变淡，"那我们下一章再见——我会带你去认识一位更特别的 AI 老师，它会告诉你：AI 评测到底是怎么'打分'的，又有哪些'评分标准'是 AI 们必须严格遵守的。"
豆豆看着小评消失的方向，嘴角露出了笑容。她不再害怕明天的考试了——因为她知道，考试不是坏事，考试是让我们知道自己几斤几两、让我们变得更强的好帮手。
无论是人类，还是 AI，都需要这样一个"公正的老师"。
本章小结
在这一章里，我们和豆豆一起走进了 AI 评测的奇妙世界。我们了解了几件重要的事：
第一，AI 已经悄悄渗透到我们生活的每一个角落——手机里的语音助手、看新闻时的推荐系统、外出时的导航、翻译软件里的即时翻译……它们都是 AI。
第二，AI 评测就是给 AI"打分"的过程。它要做三件事：准备考卷、让 AI 答题、给 AI 打分并找出问题。
第三，AI 真的需要考试。三个最重要的理由是：考试能让 AI 知道自己几斤两两、能帮 AI 发现自己的弱点、能确保 AI 在"上岗"前准备好了——避免在真实应用中闹笑话甚至造成事故。
第四，不同种类的 AI 有不同的"考试科目"。图像 AI 考"看"，语音 AI 考"听"，翻译 AI 考"翻译"，对话 AI 考"聊天"——评测要量身定做。
第五，没有评测的 AI 是危险的。没有评测就像一个没有成绩单的学生，我们不知道它到底学得怎么样，也不知道什么时候可以放心让它服务大家。
第六，评测是 AI 成长路上不可或缺的"教练"。AI 不是一考定终身，而是要持续学习、持续评测、持续改进——这是一个"学-测-改"的循环过程。
在下一章里，我们将遇到一位更特别的 AI 老师——它会带我们走进评测实验室，看看评测到底是怎么"打分"的，又有哪些"评分标准"是 AI 们必须严格遵守的。准备好了吗？更大的冒险还在后面等着我们呢！