第1章 会“偏心”的AI选书机
梧桐叶的影子被午后的阳光剪成碎金，落在阳光小学大厅的银灰色AI选书机上，那台刚安装三天的机器顶部还贴着红底黄字的标语：“智能推荐，一书一世界”，圆溜溜的电子眼时不时眨一下，看起来可爱得很。艾可背着印着宇航员图案的书包挤进人群时，刚好听见班里的“科学小达人”张磊欢呼了一声：“Wow！真的给我推了《恐龙百科大图鉴》！上次我跟管理员老师说我想看这个，老师说太忙了忘了帮我找，选书机居然记得！”
扎着羊角辫的李朵朵凑过去，踮着脚在屏幕上输入自己的学号和“I like stories about little kittens”，没过三秒，选书机的出书口“咔哒”一声吐出来一本包装精美的《白雪公主与七个小矮人贴纸绘本》，还附赠了一张闪闪发光的公主贴纸。李朵朵撇了撇嘴：“I wanted to borrow *Diary of a Stray Cat Family*! I saw it in the library last week, but it was already borrowed.”
艾可的好奇心一下子被勾起来了。她刚从别的学校转来阳光小学一周，最喜欢的东西就是编程和航天故事，书包里还装着昨天刚拼好的火星车模型。她往前挤了挤，伸手在屏幕上输入：“艾可，三年级2班，想看航天和编程相关的书。”
屏幕闪了三下，出书口“咔哒”一声吐出来的居然也是一本贴纸绘本——《芭比梦想城堡公主书》，还配了一张比李朵朵那张还大的亮片贴纸。艾可愣在原地，手里还攥着上周在旧书店淘来的《少儿编程入门》，半天没反应过来。
“哎？怎么给你推公主书啊？”张磊凑过来，挠着头说，“我上次试过，输入‘I want books about DIY’，它给我推了奥特曼折纸大全，I wanted to learn how to make bracelets, you know?”
“就是就是，太奇怪了！”旁边的女生王小雨也嘟着嘴，“I said I wanted detective stories, but it gave me *The Princess Who Lost Her Diamond*! I read that last month!”
这时候艾可书包里传来一阵轻微的咔哒声，一个银白色的小机器人从内袋探出头，圆滚滚的屏幕上跳出来两个弯弯的笑眼——那是艾可自己编程做的小AI伙伴小芯，平时只有艾可能看见它，还能帮艾可查资料、改代码。小芯抖了抖头顶的猫耳状接收器，软乎乎的电子音只有艾可能听见：“艾可，我扫描了选书机的推荐逻辑，发现它的推荐结果和用户的性别标签强相关哦。输入‘女生’相关的需求，大概率推童话绘本；输入‘男生’相关的需求，大概率推科普或冒险类读物。这是典型的AI偏见（AI bias）现象呀。”
艾可眨了眨眼，压低了声音问小芯：“AI偏见是什么？为什么选书机会偏心呀？”
小芯的屏幕跳出来一行中英双语的解释： > AI 偏见 / AI Bias > 是指人工智能系统因为训练数据、算法设计或者人为设置的偏差，做出不公平、不合理的判断或推荐。就像小朋友考试的时候，如果课本里的内容都是错的，那考出来的答案肯定也有问题。
“就像我们学数学，如果课本里只写了$1+1=3$，那我们算所有加法都会算错，是不是？”艾可恍然大悟，“那选书机的‘课本’是什么呀？”
“是它的训练数据呀。”小芯的屏幕闪了闪，跳出来一张简单的流程图，艾可凑过去看，上面画着三个小盒子，分别写着“输入用户信息”“匹配训练数据里的规律”“输出推荐结果”： ```mermaid graph LR A[用户输入需求] --> B[AI匹配训练数据规律] --> C[输出推荐结果] style B fill:#f9f,stroke:#333,stroke-width:2px ``` “AI的学习过程和小朋友认东西很像哦。”小芯用软乎乎的声音解释，“如果你给AI看1000本借书记录，告诉它‘借童话绘本的都是女生，借科普读物的都是男生’，那AI就会把这个当成固定的规律，下次不管用户喜欢什么，只要看到性别是女生，就推童话，看到是男生，就推科普。它根本不会管用户到底喜欢什么。”
> 📖 纸书格式提示：此处可配插图：艾可和小芯凑在选书机前看后台流程图的场景，选书机的电子眼眨呀眨，背景是围在周围的同学。 > 📱 电子版格式提示：点击流程图可查看AI推荐逻辑的动画演示，点击“AI偏见”可跳转至儿童科普视频《什么是AI偏见？》。
这时候旁边的李朵朵突然拉了拉艾可的袖子，小声说：“艾可，你说是不是学校觉得女生就只能看公主书呀？我上次跟妈妈说我想当航天工程师，妈妈说‘女生学什么工科，安稳一点才好’，难道选书机也这么想吗？”
艾可的耳朵尖一下子红了。上周她拿着自己做的火星车模型给同桌张磊看，张磊眼睛都亮了，说“你做的太酷了！”，结果李朵朵撇了撇嘴：“女生玩什么编程啊，好好看绘本不好吗？”她当时没说话，只是把火星车藏进了书包，现在想来，原来不止同学有这种偏见，连AI都学会了。她攥紧了手里的书包带，小声说：“不是的！女生也可以喜欢航天和编程，男生也可以喜欢童话和手工！是选书机的‘课本’错了！”
张磊也凑过来，挠着头说：“其实我还挺喜欢《小王子》的，上次在图书馆翻了两页，觉得挺好看的，但是不好意思借，怕同学笑我‘男生看公主书’。”
“那我们能不能帮选书机改掉这个坏毛病呀？”艾可眼睛一亮，转头问小芯。
小芯的猫耳晃了晃：“当然可以呀！只要找到选书机的训练数据，把里面的性别刻板印象内容删掉，再加入更多元的借书记录，重新训练AI就可以啦。不过我们需要信息技术老师的权限才能进入后台哦。”
艾可立刻转身往信息教室跑，小芯啪嗒啪嗒跟在她后面，银白色的外壳在阳光下闪呀闪。信息教室的门没锁，年轻的王老师正坐在电脑前改编程社团的课件，看见艾可闯进来，笑着揉了揉她的头发：“慢点跑，怎么了艾可，这么着急？”
“王老师，我们学校的AI选书机有偏见！”艾可把刚才在大厅发生的事说了一遍，又把小芯扫描到的结果给王老师看。王老师的眉头一下子皱了起来，她点开选书机的后台管理页面，果然看到训练数据里的借书记录被标上了醒目的性别标签：童话类书籍的借阅者标注“女”的比例高达82%，科普类书籍的借阅者标注“男”的比例高达78%，甚至还有几条十几年前的旧借书记录备注里写着“女生不要借太凶险的科普书，吓到了怎么办”“男生不要借童话书，没出息”。
“天啊，这些数据都是什么时候的？”王老师惊讶地说，“我去年刚入职的时候，选书机还没装呢，这些旧数据怎么会自动导进去？”
小芯跳到键盘上，用小爪子点了点屏幕：“我查了一下，这些数据是学校十年前的数字图书馆系统迁移过来的，当时的工作人员录入的时候，习惯给借阅者加性别标签，而且当时的童书推荐本身就带有很重的性别刻板印象，这些数据一起被导进来，就成了选书机的训练素材。”
王老师点了点头，伸手敲了敲键盘：“看来得把这些有偏见的数据删掉，再加入一些新的、没有性别标签的借书记录，比如喜欢编程的女生、喜欢手工的男生、喜欢科普的跨性别同学的借书记录，重新训练AI才行。正好咱们编程社团最近在做AI伦理的小项目，这个案例太适合当教材了！”
艾可眼睛一下子亮了：“王老师，我能帮忙吗？”
“当然可以呀！”王老师笑着揉了揉她的头发，“刚好你可以带着小芯一起标注新的训练数据，等你改完选书机，咱们社团的AI伦理小讲座就让你来讲，好不好？”
> 🤖 Markdown 格式标签：`#AI训练数据` `#性别刻板印象` `#AI伦理教育` `#阳光小学系列`
接下来的三天，艾可带着小芯泡在信息教室里，翻遍了学校图书馆近三年的借书记录，把里面所有带有性别刻板印象的标注都删掉，还特意加了很多“反刻板印象”的样本：比如三年级女生刘佳佳借了《汽车修理入门》，五年级男生陈宇借了《蝴蝶标本制作手册》，六年级的非二元性别同学林林借了《宇宙简史》和《小王子》……一共加了1200多条新的训练数据，王老师把这些数据喂给选书机，重新训练了三天。
训练的过程中，艾可还发现了很多之前没注意到的偏见：比如选书机的推荐算法里，给“女生”标签的用户默认推粉色封面的书，给“男生”标签的用户默认推蓝色封面的书；如果用户搜“编程”，给女生推的是“儿童编程绘本”，给男生推的是“少儿C++入门”，难度差了好几个等级。艾可把这些都记在了自己的小本子上，一条一条标出来，和王老师一起改。
> 📱 电子版格式提示：此处可插入艾可的小本子笔记照片，点击笔记可查看每一条偏见的详细说明。 > 📖 纸书格式提示：此处可配跨页插图：艾可坐在信息教室里，面前摆着三台电脑，小芯趴在她的键盘上，屏幕上跳着代码，旁边堆着翻烂的借书记录本，王老师站在旁边笑着指屏幕。
改完的那天下午，艾可拉着李朵朵、张磊一起到大厅试选书机。李朵朵输入“我想看航天相关的书，有没有女航天员的故事呀？”，选书机的屏幕闪了三下，吐出来一本《中国女航天员的故事》，封面上刘洋阿姨穿着航天服笑着，旁边还贴了个小标签：“适合所有喜欢航天的小朋友”。张磊输入“我想看可以编手链的书，有没有简单一点的？”，选书机吐出来一本《儿童创意手链编织大全》，里面还有用彩绳编小星星的教程，张磊拿着书开心得跳起来：“太酷了！我昨天还在网上搜这个来着！”
轮到艾可的时候，她输入“我想看少儿科幻和编程相关的书”，选书机这次没有推公主绘本，而是吐出来两本书：《少儿编程趣味入门》和《火星救援少儿版》，封面上还贴了个小火箭的贴纸，是艾可最喜欢的样式。她抱着书，眼睛弯成了月牙。
这时候小芯从她书包里探出头，屏幕上跳出来一行字： > 小知识时间 / Knowledge Time > AI本身是没有情感的，它所有的判断都来自人类给它的训练数据。就像一面镜子，你给它看什么，它就反射什么。如果我们给AI看充满偏见的世界，它就会变成有偏见的AI；如果我们给AI看公平、多元的世界，它就能变成帮助所有人的
“AI本身没有情感，它所有的判断都来自人类给它的训练数据，就像一面镜子，你给它看什么，它就反射什么。”小芯的屏幕跳着柔和的蓝光，把这句话同时显示成中文和英文，“If we show AI a world full of bias, it becomes a biased AI. If we show it a fair and diverse world, it can become a helper for everyone.”
艾可盯着选书机出书口吐出来的两本书，指尖摸着《少儿编程趣味入门》封面上那个卡通小机器人的脸，忽然想起半年前在以前的学校，数学老师拿着她的奥数竞赛奖状，皱着眉说“女生学奥数这么厉害，以后能当老师就不错了，搞什么科研”。当时她把奖状塞进书包最里面，整整三天没碰数学题。原来那些藏在大人嘴里的“女生不适合”“男生应该”，早就悄悄爬进了机器的代码里，变成了选书机的“偏心”。
“那我们改训练数据的时候，还要改算法里的权重哦。”小芯的猫耳晃了晃，跳出来一张新的对比表，左边是改之前的算法规则，右边是改之后的： | 改之前的算法规则（有偏见） | 改之后的算法规则（公平） | |--------------------------|--------------------------| | 性别标签匹配度占70% | 兴趣标签匹配度占100% | | 女性用户默认推粉色封面书籍 | 按用户实际兴趣匹配书籍 | | 女性用户搜“编程”默认推入门绘本 | 按用户年龄和基础匹配难度 | | 男性用户搜“手工”默认推难度高的专业工具书 | 按用户实际需求匹配难度 |
“算法权重就像老师给考试内容打分哦。”小芯用软乎乎的电子音解释，“之前的选书机就像老师把‘性别’这道题占了70分，‘兴趣’只占30分，所以不管学生喜不喜欢，只要性别对了，分数就高了。我们把‘性别’的分全部去掉，只按‘兴趣’打分，选书机就不会偏心啦。”
> 📖 纸书格式提示：此处可配跨页插图：表格旁边画着两个小天平，左边的天平因为放了“性别70%”的砝码，歪向童话绘本的一侧；右边的天平只有“兴趣100%”的砝码，稳稳地停在中间，天平两边放着航天书、编程书、童话书、科普书，都摆得整整齐齐。 > 📱 电子版格式提示：点击表格可查看算法权重调整的动画演示，点击“算法权重”可跳转至儿童科普视频《AI是怎么做决定的？》。 > 🤖 Markdown 格式标签：`#算法权重` `#AI决策逻辑` `#公平算法`
艾可凑过去看表格，忽然发现改之前的规则里还有一条：“如果用户是女生且年龄小于10岁，默认屏蔽‘冒险’‘科幻’类标签”。她瞪圆了眼睛：“这条我之前没看到！是不是上次我搜航天的时候，它本来想推科幻，但是看到我是女生，就给我屏蔽了？”
小芯点了点头，屏幕跳出来一行红色的备注：“这条规则是十年前的系统预设，当时的图书管理员认为‘冒险、科幻类书籍太刺激，不适合小女生’，所以加进了算法里。我们把它删掉啦！”
艾可气得腮帮子鼓鼓的，手指在键盘上飞快地敲，把这条规则删掉，还在备注里写了一行字：“所有小朋友都可以看任何自己喜欢的书，和年龄、性别都没有关系！”王老师站在她身后，笑着拍了拍她的肩膀：“说得对，我们当年选这个选书机，本来是想帮小朋友更快找到喜欢的书，没想到旧观念居然藏在了代码里，还好你发现了。”
接下来的三天，艾可带着李朵朵、张磊泡在信息教室里，一起整理新的训练数据。李朵朵负责找女生借阅非传统类别书籍的记录，张磊负责找男生借阅非传统类别书籍的记录，艾可负责把有偏见的备注全部删掉，小芯则负责扫描所有数据里的性别标签，确保不会漏掉任何一条带有偏见的规则。
他们翻到2008年的一条借书记录：五年级的男生赵明借了《小公主》，备注是“男生借童话书，没出息，下次不准借”。李朵朵当场就生气了，把书本“啪”地合上，羊角辫都翘了起来：“That's so ridiculous! *A Little Princess* is one of the best books I've ever read! The little princess is so brave, she shares her bread with poor kids even when she has nothing! Boys can like it too! My brother loves it!” 张磊也挠着头点头：“I read that book last month! I even wrote a book report about it! The teacher gave me an A+! Why would anyone say it's not good for boys?”
艾可也记得这本书，她小学三年级的时候看过，里面的萨拉公主明明比很多男孩都勇敢，为什么大人会觉得男生看这本书“没出息”？她把这条备注删掉，特意在训练数据里加了一条：“五年级男生赵明借《小公主》3次，写了1000字的读后感，获得班级读书分享会一等奖。”小芯的屏幕闪了闪，跳出来一行笑脸：“这样AI就会知道，男生也可以喜欢童话书，童话书也不是只有女生能看哦。”
> 💡 小侦探提示：性别刻板印象就像一副有色眼镜，让大家觉得“男生必须怎样，女生必须怎样”，但其实每个人都是不一样的，你喜欢的东西，不管别人说什么，只要是好的、不伤害别人的，就都可以喜欢呀！
他们还翻到很多有意思的记录：三年级女生刘佳佳借了12次《汽车修理入门》，还在图书馆的留言本上写“我长大要当汽车工程师，修很多很多漂亮的车”；五年级男生陈宇借了8次《蝴蝶标本制作手册》，还把自己的蝴蝶标本拿到学校科技节上展览，拿了二等奖；六年级的非二元性别同学林林借了《宇宙简史》《小王子》《手工编织大全》，留言说“我想当宇航员，还要给自己织一件太空服”。每找到一条这样的记录，大家都开心得跳起来，因为这些记录就是打破偏见的证据，AI看到这些记录，就会知道原来喜欢这些书的男生、女生、跨性别小朋友都有很多，不是只有“女生看童话，男生看科普”这一种可能。
> 📱 电子版格式提示：此处可插入真实的旧借书记录扫描件（已打码隐私信息），点击每条记录可查看对应小朋友的借书趣事。 > 📖 纸书格式提示：此处可配插图：三个小朋友围在一摞旧借书记录本旁边，李朵朵举着一条记录笑得前仰后合，张磊凑过去看，艾可拿着笔在本子上标注，小芯趴在本子边上，屏幕上跳着笑脸。
整理完1200多条新的训练数据，王老师把数据喂给选书机，开始重新训练。艾可每天放学都来信息教室看选书机的训练进度，小芯会给她讲AI训练的原理：“AI训练就像小朋友复习考试，给它看足够多的正确答案，它就会记住正确的规律。现在我们给它看的‘正确答案’是‘喜欢编程的女生应该推编程书，喜欢手工的男生应该推手工书’，它慢慢就会忘掉之前错的规律啦。”
训练到第二天的时候，艾可发现进度条卡在了98%，不动了。她奇怪地问小芯：“是不是出问题了？”
小芯扫描了一下后台，屏幕上跳出来一行红色的提示：“算法预设权重冲突，性别标签权重与兴趣标签权重不兼容”。艾可挠了挠头，问王老师这是什么意思。王老师敲了敲键盘，调出后台的权重设置页面，果然看到里面还有好几条隐藏的性别预设规则：比如“女生用户默认降低推荐书籍难度1-2个等级”“男生用户默认优先推荐冒险、科普类书籍”“如果用户搜索内容同时符合童话和科普，给女生推童话，给男生推科普”。
“这些规则是之前的工作人员加进去的，他们没有删掉，所以就算我们改了训练数据，AI还是会按这些规则偏心。”王老师叹了口气，“这些旧观念真是无处不在，连代码里都藏着。”
艾可咬了咬嘴唇，伸手把这几条规则全部删掉，把性别相关的权重全部改成0，只保留“兴趣匹配度”“年龄匹配度”“阅读水平匹配度”三个权重，每个权重占33.3%，没有性别的位置。她把键盘敲得哒哒响，边敲边说：“AI为什么要管用户是男生还是女生？只要用户喜欢什么，就推什么就好了呀！”
> 🤖 Markdown 格式标签：`#隐藏偏见` `#算法预设` `#性别权重` > 📱 电子版格式提示：点击隐藏规则可查看每条规则的添加时间和添加人，点击“删除规则”可观看删除过程的动画演示。
重新训练了两个小时之后，进度条终于走到了100%。艾可拉着李朵朵、张磊冲到大厅试选书机。李朵朵先输入了自己的学号，然后说：“I want a book about space and female astronauts, please!” 屏幕闪了三下，出书口“咔哒”一声吐出来一本《中国女航天员刘洋的故事》，封面上刘洋穿着航天服在太空里挥手，旁边还贴了个小火箭的贴纸，是李朵朵最喜欢的蓝色。李朵朵抱着书蹦了起来：“It's perfect! I've been wanting to read this for weeks!”
张磊接着输入：“I want a book about making friendship bracelets, easy for beginners.” 这次选书机没有推奥特曼折纸，也没有推难度的编织工具书，而是吐出来一本《儿童创意手绳编织