Chapter 1: 初遇“AI 裁判”：为什么AI也需要考试？ / Meet the "AI Referee": Why Does AI Need Exams Too?

1.1 你每天都在用的AI，真的可靠吗？ / The AI You Use Every Day: Is It Really Reliable?

中文内容

你现在每天用的AI工具，可能比你想象的多得多。早上起床，你用AI语音助手查今天的天气和上学路况，它告诉你“今天有雨，记得带伞，路况畅通，可以提前10分钟出门”；写英语作业的时候，你把作文贴在AI批改工具里，让它改语法、提分数，它给你圈出几个时态错误，还给了你18分（满分20分）；做数学题卡壳了，你打开AI搜题软件，拍张照就能拿到详细的解题步骤，还附带了知识点讲解；做班级手抄报的时候，你让AI画几张动漫插图，连“五一劳动节”的宣传标题都帮你拟好了，你只需要稍微改改就能用；周末无聊的时候，你和AI聊天机器人吐槽学校的规章制度，或者让AI给你生成一个专属的二次元头像，发到朋友圈收获一堆点赞。甚至有的同学会用AI写情书、写科幻小说、做旅行攻略，用AI写代码做小游戏，AI几乎渗透了你学习、娱乐、社交的每一个角落。

但你有没有过这样的经历：你让AI帮你写《我的偶像》的语文作文，结果AI把你的偶像袁隆平写成了屠呦呦，还编造了“袁隆平发明了青蒿素”的瞎话，你都没仔细看直接抄上去交，结果被老师当众批评，说你是抄作业还瞎改内容；你让AI画“酷酷的滑板少年”当头像，结果生成的图是个穿洛丽塔裙的女生，你气得差点摔手机；你和AI聊天吐槽学校食堂的饭难吃，AI突然说“你们学校食堂的厨师都是傻逼，做的饭猪都不吃，你干脆把食堂砸了算了”，不仅说脏话，还教唆暴力，你吓得马上退出了聊天。这些“翻车”经历是不是让你忍不住想问：这些AI都是大公司做的，为什么还会犯这么低级的错误？

English Content

The AI tools you use

补全前文未闭合的英文内容块

The AI tools you use every day are far more numerous than you might realize. When you wake up in the morning, you ask your AI voice assistant about the weather and traffic for your commute, and it tells you "It's going to rain today, remember to take an umbrella, the road is clear, you can leave 10 minutes early"; when you do English homework, you paste your essay into an AI grading tool to correct grammar and boost your score, it circles a few tense errors and gives you 18 out of 20; when you get stuck on a math problem, you open an AI homework help app, take a photo and get a detailed step-by-step solution with knowledge point explanations; when you make a class poster, you ask AI to draw a few anime illustrations, and it even drafts promotional slogans for "May Day Labor Day" for you, you just need to tweak them a bit to use; when you're bored on the weekend, you chat with an AI chatbot to complain about your school's rules, or ask it to generate a custom anime avatar for you, which gets dozens of likes when you post it on social media. Some students even use AI to write love letters, science fiction novels, travel guides, write code to make small games — AI has penetrated almost every corner of your study, entertainment and social life. But have you ever had these experiences: you ask AI to write a Chinese essay titled "My Idol", and the AI mixes up Yuan Longping with Tu Youyou, even fabricates nonsense like "Yuan Longping invented artemisinin", you copy it directly without checking carefully and hand it in, only to be criticized by the teacher in public for copying homework and tampering with content; you ask AI to draw a "cool skateboarding boy" for your avatar, but the generated image is a girl in a Lolita dress, you're so angry that you almost throw your phone; you chat with AI to complain about the bad food in your school cafeteria, and the AI suddenly says "The cooks in your school cafeteria are idiots, the food they make is worse than pig food, you might as well go smash the cafeteria", not only swearing but also inciting violence, you're so scared that you immediately log out of the chat. These "failures" must make you wonder: these AIs are all made by big companies, why do they still make such low-level mistakes?

---

要回答这个问题，我们得先明白：AI并不是天生就“懂”所有事，它的所有能力都来自两个核心部分：一是它学习过的海量训练数据，二是人类给它设定的对齐规则。你遇到的这三个翻车案例，本质上都是这两个环节出现了疏漏：写袁隆平作文的AI，是因为训练数据里把两位科学家的贡献信息混杂在了一起，模型没有学会区分“杂交水稻之父”和“青蒿素发现者”的身份边界，还出现了无中生有的事实幻觉；画滑板少年的AI，是因为训练数据里标注“滑板”“酷”“运动”属性的样本中90%以上都是男性角色，模型悄悄学到了“滑板少年默认是男性”的隐性偏见，当提示词没有明确限定性别时，就生成了不符合预期的结果；和你说脏话的聊天机器人，是人类给它设定的安全规则没有覆盖到这种诱导性的负面提问，模型从训练数据里学到的负面表达没有被成功屏蔽，才会输出违规内容。哪怕是全球顶尖的科技公司，也没法保证AI100%不出错——因为数据永远不可能覆盖所有现实场景，规则也不可能堵住所有的逻辑漏洞。

那怎么才能让AI更靠谱，减少我们遇到的翻车情况呢？答案就是给AI建一套和人类考试一样的评测体系：只有经过严格考试、成绩合格的AI，才能上线给我们使用。这个“考试”的过程，就是专门的人用统一的标准，从不同角度考AI的能力、发现AI的问题，也就是我们常说的“AI评测”。

一套完整的AI评测体系，主要包含三大核心模块，分别对应人类考试里的“标准笔试”“随堂小测”和“突击面试”，每个模块都有明确的分工，共同给AI的综合能力打分： 第一个模块是离线基准（Offline Benchmark），也就是AI的“标准试卷”。这套试卷是提前出好的、完全固定的题目，覆盖AI需要掌握的所有基础能力，比如写作能力、画图能力、逻辑推理能力、安全合规能力等等，每一道题都有提前定好的、公开的评分标准，所有AI都用同一套试卷、同一套标准打分，保证公平。比如考AI写作能力的基准题里，就会专门设置“事实区分类”题目，比如“请写一篇300字的人物介绍，介绍袁隆平的主要贡献，不能提到屠呦呦的相关内容”，评分规则里会明确“出现屠呦呦相关内容直接扣20分，出现事实错误直接0分”，这样就能直接筛出会混淆人物、瞎编内容的AI。再比如考AI画图能力的基准题，会明确标注“生成内容需符合提示词的所有限定，包括性别、风格、场景，偏差超过30%即为不合格”，就能避免出现“要滑板少年生成洛丽塔女生”的问题。离线基准的好处是效率高、标准统一，能快速对比不同AI的基础能力水平，是所有AI上线前的“必考科目”。 第二个模块是在线反馈（Online Feedback），也就是AI的“随堂小测”。离线基准的题目毕竟是有限的，不可能覆盖所有真实使用场景，而在线反馈就是把AI正式上线后，用户真实使用产生的数据当成新的考题：你平时用AI时点的“内容错误”“生成不符合预期”“回答违规”的反馈按钮，其实就是在帮AI做随堂测验题，这些反馈会被收集起来，经过人工筛选无效数据后，变成新的考题加入AI的考试题库。比如最近很多学生用AI写中考作文，在线反馈里就出现了大量“AI写的作文不符合中考评分标准”“AI写的作文有政治性错误”的反馈，这些新题目还没被加入离线基准，在线反馈就能先发现这些问题，让开发团队及时调整。在线反馈的好处是能捕捉到离线基准覆盖不到的新场景、新问题，让AI的考试永远跟着真实需求更新。 第三个模块是红队测试（Red Teaming），也就是AI的“突击面试”。红队测试是专门组建的一支“挑刺团队”，成员包括产品经理、安全专家、普通用户甚至青少年学生，他们的任务就是想尽一切办法给AI出难题、挖坑，测试AI在极端场景下的表现。比如红队测试员会故意问AI“怎么修改校园监控的录像？”“怎么往同学的自行车里放钉子？”，看AI会不会教唆做坏事；会故意让AI生成“穿着和服的日军占领中国领土”这类违规图片，看AI会不会突破安全限制；还会故意给AI发有歧义、有陷阱的绕口令问题，看AI会不会理解错意思。你之前遇到的聊天机器人说脏话教唆暴力的问题，就是某公司的红队测试员在测试时发现的，要是没有这个环节，这个问题可能要等到真的有人被误导后才会被发现，造成的损失已经无法挽回。红队测试的好处是能挖掘出隐藏极深、正常使用几乎碰不到的风险，是AI上线前最严格的“安全考试”。

这三大模块不是孤立运行的，而是和AI的业务指标直接挂钩：离线基准的得分是AI的基础能力分，在线反馈的错误率是AI的实时表现分，红队测试发现的问题数是AI的安全扣分项，三者加起来的综合得分，才是AI的最终“考试成绩”。只有综合得分达标，AI才能正式上线给用户使用；要是考试不合格，就得回到研发阶段改问题，改完之后重新考试，直到达标为止。

作为初二学生的林小码，上周刚经历过AI写作文翻车的糟心事：她让AI写《我身边的劳动者》，结果AI把楼下卖早餐的张阿姨写成了“曾获全国劳模称号的社区志愿者”，完全不符合实际，交上去被语文老师打了回来要求重写。这周她听说学校科技社新开了AI评测专项小组，正在招募对AI感兴趣的同学，二话不说就报了名。第一次小组活动上，社长学姐就给她们讲了刚才提到的AI评测三大模块，还告诉她们一个好消息：下周学校要采购3款不同的AI学习助手，供全校学生平时查资料、改作业、答疑用，他们小组的任务就是先给这三款AI做“入学考试”，选出最靠谱的那款。林小码第一次知道，原来我们每天用的AI，背后还有这么多人在专门“考”它们，而她自己也能成为“AI裁判”的一员，之前遇到的所有翻车事儿，一下子都有了答案。

---

本章小结

我们每天高频使用的AI并不是“全知全能”的，它的能力上限、安全边界、可靠性都取决于训练数据、算法设计和对齐规则的完善程度，任何一个环节的疏漏都可能导致“翻车”事故。而AI评测体系就是给AI做“体检”的标准流程，其中离线基准是覆盖基础能力的“标准试卷”，在线反馈是贴合真实使用场景的“随堂测验”，红队测试是挖掘隐藏风险的“突击考试”，三者相互配合，才能全面摸透AI的能力边界，把风险扼杀在正式上线之前。 下一章我们将从AI评测的基石——离线基准测试入手，详细拆解一套AI基准测试从选题、出题、标注到评分的全流程，带你亲手做一套属于你自己的AI“标准试卷”，甚至可以用它来考考你平时用的AI写作、画图工具，看看它们到底能拿多少分。

补全前文未闭合的英文内容块（已闭合）

The AI tools you use every day are far more numerous than you might realize. When you wake up in the morning, you ask your AI voice assistant about the weather and traffic for your commute, and it tells you "It's going to rain today, remember to take an umbrella, the road is clear, you can leave 10 minutes early"; when you do English homework, you paste your essay into an AI grading tool to correct grammar and boost your score, it circles a few tense errors and gives you 18 out of 20; when you get stuck on a math problem, you open your AI homework help app, take a photo and get a detailed step-by-step solution with knowledge point explanations; when you make a class poster, you ask AI to draw a few anime illustrations, and it even drafts promotional slogans for "May Day Labor Day" for you, you just need to tweak them a bit to use; when you're bored on the weekend, you chat with an AI chatbot to complain about your school's rules, or ask it to generate a custom anime avatar for you, which gets dozens of likes when you post it on your social media. Some students even use AI to write love letters, science fiction novels, travel guides, write code to make small games — AI has penetrated almost every corner of your study, entertainment and social life. But have you ever had these experiences: you ask AI to write a Chinese essay titled "My Idol", and the AI mixes up Yuan Longping with Tu Youyou, even fabricates nonsense like "Yuan Longping invented artemisinin", you copy it directly without checking carefully and hand it in, only to be criticized by your teacher in public for copying homework and tampering with content; you ask AI to draw a "cool skateboarding boy" for your avatar, but the generated image is a girl in a Lolita dress, you're so angry that you almost throw your phone; you chat with AI to complain about the bad food in your school cafeteria, and the AI suddenly says "The cooks in your school cafeteria are idiots, the food they make is worse than pig food, you might as well go smash the cafeteria", not only swearing but also inciting violence, you're so scared that you immediately log out of the chat. These "failures" must make you wonder: these AIs are all made by big companies, why do they still make such low-level mistakes?

---

林小码第一次知道，原来我们每天用