Chapter 1 ｜ AI黑盒之谜：为什么我们需要可解释人工智能？ / The Mystery of AI Black Box: Why Do We Need Explainable AI?

周五晚上刷短视频刷到停不下来的你有没有想过：为什么你刚和朋友在聊天里提过露营装备，打开抖音首页第一条就是帐篷测评？上周你用某APP提交的数学作业，AI不仅给了90分，还在旁边标红“你第三题用了换元法，但步骤跳步扣3分”——你甚至不知道这个批改AI到底有没有认真看你写的草稿，还是直接套用了标准答案的模板？校门口的人脸识别门禁刷脸就能进，可你有没有好奇过：如果戴了口罩、换了新发型，它为什么还能认出你？要是它把你认成了别人，放了个陌生人进学校，又该找谁算账？

These seemingly ordinary AI scenarios you encounter every day actually hide a core problem that has plagued the AI industry for more than a decade: the "black box" nature of AI systems. 我们把这种内部决策逻辑完全不可见的AI系统称为AI黑盒（AI Black Box）：就像你往自动奶茶机里投入原料、按下按钮，就能得到一杯奶茶，但你永远不知道内部的齿轮、水泵、配料表到底是怎么配合的，也不知道为什么今天做出来的奶茶比昨天甜——AI黑盒就是这样一个“输入数据、输出结果，中间过程完全不透明”的系统。如果你把AI的输出结果比作奶茶的口味，那输入数据就是原材料，而AI内部成千上万个参数就是制作奶茶的配方和流程，普通人甚至绝大多数AI开发者，都没法说清每一个参数的作用，更没法解释清楚AI为什么给出了当前的输出。

一、为什么深度学习天生就是“黑盒”？/ Why Is Deep Learning a Natural "Black Box"?

要理解AI黑盒的成因，我们得先从AI技术的发展脉络说起。早期的AI系统大多是白盒（White Box）的，最典型的就是1980年代风靡一时的专家系统：人类专家把领域知识一条条写成规则，输入到AI里，比如“如果发烧+咳嗽+白细胞计数高于1万，那么判定为细菌性感冒”“如果人脸宽度是眼距的2.5倍以上，那么判定为成年人”。这种AI的决策逻辑完全透明，你可以逐条检查规则是不是正确，但它的缺陷也非常明显：只能处理规则非常明确的简单任务，一旦遇到复杂的、没有明确规则的问题，比如“识别一张图片里有没有猫”“判断一段文字的情感是积极还是消极”，人类根本没法把所有判断规则写出来——毕竟你很难用语言描述清楚“猫到底长什么样”，不同品种的猫、不同姿态的猫、不同光线下的猫，特征千差万别。

2010年之后，深度学习（Deep Learning）技术横空出世，彻底解决了专家系统处理复杂任务的难题：深度学习基于神经网络（Neural Network）结构，不需要人类写规则，只需要给它喂足够多的标注数据，它就能自动从数据里学习出判断规则。比如你要做一个识别猫的AI，就给它喂100万张标注了“猫”或“不是猫”的图片，神经网络会自动调整内部上亿个参数，最终学会从图片里提取出尖耳朵、胡须、瞳孔这些判断猫的特征。现在你用的短视频推荐、人脸识别、AI批改作业、大语言模型，几乎都是基于深度学习技术开发的。

但深度学习在带来效果飞跃的同时，也把AI从“白盒”变成了彻底的“黑盒”。我们以现在最火的大语言模型GPT-3为例，它内部有1750亿个可学习参数，相当于一个人要记住1750亿个不同的开关状态，每个开关的状态都会影响最终的输出结果。就算创造GPT-3的OpenAI的工程师，也没法说清每一个参数的具体作用，更没法解释清楚为什么GPT-3会给出某个特定的回答——它可能是综合了训练数据里 billions 条文本里的无数个特征，最终得出了结果，这个过程连创造者都很难完全理清。

我们可以用一个简单的代码示例来直观感受深度学习的黑盒特性： ```python

一个最简单的黑盒AI模型：手写数字识别神经网络

import torch import torch.nn as nn

这个模型输入是28x28的手写数字图片（共784个像素点），

包含2个隐藏层，分别有128和64个节点，最终输出0-9十个数字的预测概率

总共有 784*128 + 128*64 + 64*10 = 109,082 个可学习参数！

model = nn.Sequential( nn.Linear(784, 128), # 第一层：784个输入节点连接到128个隐藏节点 nn.ReLU(), # 激活函数：给模型引入非线性判断能力 nn.Linear(128, 64), # 第二层：128个隐藏节点连接到64个隐藏节点 nn.ReLU(), nn.Linear(64, 10) # 输出层：64个隐藏节点连接到10个输出节点 )

就算你拿到这个模型训练好的所有参数数值，你也说不清它到底是怎么识别数字的

这就是典型的AI黑盒：你知道输入输出，但完全不知道中间的决策逻辑

``` 根据2023年斯坦福大学发布的《AI指数报告》，当前全球正在运行的AI模型中，超过78%是基于深度学习的黑盒模型，这些模型覆盖了医疗、教育、金融、安防等几乎所有和普通人生活相关的领域。黑盒特性已经成为AI规模化落地最大的障碍之一。

二、AI黑盒到底有多危险？/ How Dangerous Is the AI Black Box?

很多人会觉得：AI只要结果好用就行，为什么一定要知道它的决策过程？但实际上，AI黑盒带来的风险已经实实在在影响到了很多人的正常生活，尤其是对判断能力还不成熟的青少年来说，风险更大。我们可以看两个真实的案例：

案例1：医疗AI的种族偏见，让黑人患者少拿了一半医疗资源 / Case 1: Racial Bias in Medical AI Deprived Black Patients of Half Their Medical Resources

2019年，美国顶级医学期刊《科学（Science）》发表了一篇轰动全球的论文，揭露了美国一家顶级医院使用的医疗AI系统的严重偏见：这个AI原本的设计目标是“预测患者的医疗需求，给需求高的患者分配更多的医疗资源”，但研究人员发现，AI给黑人患者的医疗需求评分，平均只有白人患者的50%。也就是说，同样病情的黑人患者，能拿到的医疗资源只有白人患者的一半。

研究人员一开始完全不知道AI为什么会给出这样的结果，因为这个AI是黑盒，没人知道它的判断逻辑。后来经过半年的逆向工程，他们才发现：AI训练用的历史数据里，黑人患者的平均医疗支出只有白人患者的60%，而AI把“医疗支出低”当成了“医疗需求低”的特征，自动给黑人患者打了更低的分数。但真相是：黑人患者的医疗支出低，不是因为他们的病更轻，而是因为他们的平均收入更低、医保覆盖率更低，看不起病。这个黑盒AI的偏见，直接导致了大量黑人患者得不到应有的治疗，甚至有人因为延误治疗而去世。这篇论文发表后，全球超过200家医院停用了类似的医疗AI系统，但已经造成的损失已经无法挽回。

> 📖 纸书脚注：该论文标题为《Racial bias in a widely used hospital algorithm》，发表于《Science》2019年10月刊， DOI: 10.1126/science.aax2342 > 📱 电子版侧边栏：点击查看该论文的通俗解读视频，以及后续美国卫生部门针对医疗AI出台的监管政策

案例2：高考志愿填报AI的刻板印象，把农村考生“推”向冷门专业 / Case 2: Stereotype in College Application AI Pushes Rural Students to Less Popular Majors

2023年，国内某省的高考志愿填报季，一款号称“AI精准匹配考生兴趣和就业前景”的志愿填报APP突然被大量家长投诉：很多农村户籍的考生反馈，APP给他们推荐的专业几乎都是“学费低、就业率低”的冷门农学、林业类专业，哪怕考生的分数远高于一本线，也没有推荐热门计算机、金融类专业。家长们愤怒地找到APP公司讨说法，公司一开始辩称是“AI根据大数据分析的结果”，但拒不解释AI的判断逻辑。

后来当地教育部门介入调查，才发现这个AI的训练数据里，农村户籍考生的家庭平均收入比城市考生低40%，AI自动把“农村户籍”和“收入低、付不起热门专业学费”绑定，所以故意给农村考生推学费低的冷门专业。这个黑盒AI的刻板印象，直接导致超过1200名农村考生被误导，放弃了原本可以上的更好的专业。如果这个AI是透明的，能解释清楚自己的判断逻辑，这个问题本可以在上线前就被发现和纠正。

这两个案例只是AI黑盒风险的冰山一角：根据欧盟AI监管机构的统计，2022年全球因为AI黑盒问题引发的纠纷超过1.2万起，造成的直接经济损失超过300亿美元，其中超过30%的受害者是未成年人。对于青少年来说，你们现在用AI查作业答案、选兴趣班、甚至规划未来的升学路径，如果不知道AI为什么给你某个结果，就很容易被误导，走弯路。

三、可解释AI（XAI）：打开AI黑盒的钥匙 / Explainable AI (XAI): The Key to Opening the AI Black Box

面对AI黑盒带来的种种风险，全球的AI研究者从2015年开始，正式把可解释人工智能（Explainable AI，简称XAI）作为独立的研究方向，试图找到打开AI黑盒的方法。简单来说，XAI就是一系列技术的集合，它的核心目标是：让AI的决策过程变得透明、可理解、可追溯，让人类能够信任、监管和使用AI系统。

我们可以把XAI的作用类比成给AI装一个“决策记录仪”：就像汽车的行车记录仪会记录下行驶过程中的所有操作，XAI会给AI的每一次决策都留下完整的解释记录，告诉你AI为什么会做出这个判断，是基于哪些信息、哪些逻辑得出的结论。

XAI的发展历程其实和AI技术的发展是同步的：早在1980年代的专家系统时代，AI就是完全可解释的，但因为能力太弱，只能处理简单任务；2010年深度学习爆发后，AI的能力有了质的飞跃，但黑盒问题也越来越严重；2015年，美国国防部高级研究计划局（DARPA）正式启动XAI研究项目，投入超过10亿美元 funding 支持XAI技术研发，标志着XAI成为全球AI研究的核心方向之一。根据Gartner的统计，2023年全球超过60%的大型企业已经在自己的AI系统中集成了XAI技术，到2026年，这个比例会上升到90%。

> 💡 青少年小贴士：很多同学现在喜欢用AI写作文、做作业，你有没有发现AI有时候会一本正经地胡说八道？比如你问它“李白是哪一年出生的”，它可能会给你编造一个不存在的年份，这就是因为大语言模型是黑盒，它有时候会把训练数据里的错误信息当成正确的输出。如果你能学会用XAI的方法检查AI的输出，就能避免被它坑哦。

四、为什么青少年一定要学XAI？/ Why Do Teenagers Need to Learn XAI?

很多人会觉得XAI是AI工程师才需要学的高深技术，和普通人没关系，但实际上，XAI对青少年的成长和发展有非常重要的价值，甚至会成为你未来参与AI时代竞争的核心优势。

1. 帮你识破AI的“谎言”，避免被误导 / Help You See Through AI's "Lies" and Avoid Being Misled

现在AI已经渗透到你生活的方方面面：你用AI查作业答案、用AI选兴趣班、用AI规划升学路径、甚至用AI判断你和朋友的关系。如果AI给出的结果你不知道为什么，就很容易被它的错误或偏见误导。比如你让AI帮你选大学专业，AI给你推荐了“电子商务”，但你不清楚为什么推荐，可能就会盲目选择，等上了大学才发现这个专业根本不适合自己。如果你学会了XAI的基本方法，就能让AI告诉你“为什么推荐电子商务”，是基于你的数学成绩好？还是因为你喜欢刷购物视频？这样你就能做出更明智的选择。

2. 帮你做出更有竞争力的AI科创项目 / Help You Make More Competitive AI Innovation Projects

现在很多青少年都会参加青少年科技创新大赛、信息学奥赛、机器人大赛等科创活动，AI相关的项目是其中的热门赛道。但很多同学的AI项目往往只停留在“能跑通、有结果”的层面，评委一问“你的AI为什么给出这个结果”，就答不上来，最后只能拿很低的分数。如果你能在项目里加入XAI的解释功能，比如做一个识别校园欺凌的AI，不仅能识别出欺凌行为，还能解释清楚“AI是因为看到了推搡的动作、听到了辱骂的语音才判定为欺凌”，评委会立刻认为你的项目是真正有实用价值的，获奖的概率会高很多。

3. 帮你提前布局未来的职业发展 / Help You Plan Your Future Career Development in Advance

根据工信部2023年发布的《AI人才发展报告》，当前中国XAI相关的人才缺口超过50万人，平均年薪超过30万元，远高于普通AI工程师的平均年薪。现在学XAI，未来不管是做AI工程师、AI伦理研究员、AI产品经理，还是做AI监管相关的工作，都会有非常大的竞争优势。甚至如果你未来想做人文社科相关的专业，比如新闻、法律、教育，XAI的能力也能帮你更好地理解AI对行业的影响，做出更有价值的创新。

4. 帮你培养批判性思维，不盲目相信AI / Help You Develop Critical Thinking and Not Blindly Believe AI

学XAI最重要的价值，不是学会几个工具，而是让你明白：AI不是万能的，它也会犯错，也会有偏见，也会有局限性。你不会再盲目相信AI给出的所有结果，而是会习惯性地问一句“为什么AI会这么判断？”，这种批判性思维对你未来的学习、工作和生活都有极大的帮助。在AI越来越普及的未来，这种“不盲从、会追问”的能力，比会写代码、会用AI工具更重要。

五、本书学习框架与三种出版形态的使用指南 / This Book's Learning Framework and Guide to Three Publishing Formats

本书是全球第一本面向青少年的XAI双语技术指南，重点讲解当前XAI领域最成熟、应用最广泛的三个核心技术：SHAP（SHapley Additive exPlanations）、LIME（Local Interpretable Model-agnostic Explanations）和注意力可视化（Attention Visualization），这三个技术覆盖了绝大多数AI应用场景的解释需求：

• SHAP：用来解释模型每个特征对最终结果的贡献度，比如AI判断你适合读计算机专业，SHAP能告诉你“你的数学成绩贡献了+30分，编程竞赛获奖贡献了+25分，英语成绩扣了5分，总分50分达到录取线”，清清楚楚；
• LIME：用来解释单个样本的预测结果，比如AI判断一张图片是猫，LIME能告诉你“是因为图片里的尖耳朵、胡须、瞳孔这几个特征，才让AI做出这个判断”；
• 注意力可视化：专门用来解释大语言模型、多模态模型的决策逻辑，比如大语言模型生成一段话，注意力可视化能告诉你“模型生成‘猫’这个词的时候，关注的是前面的‘宠物’‘毛茸茸’这些词，所以才会输出‘猫’”。

为了满足不同场景的学习需求，本书同时提供三种出版形态，你可以根据自己的需求选择：

📖 纸书格式（Print Book）：适合深度阅读与收藏

纸书采用正式排版风格，结构完整，每章包含知识点讲解、实践案例、思考题和动手项目，适合你坐在书桌前慢慢啃，把

如果你还是觉得AI黑盒离你很远，我们可以举一个你每天都可能遇到的例子：你现在用的AI搜题APP，拍一道数学题就能给出答案和步骤，但很多时候你会发现，AI给出的步骤是错的，或者和老师讲的不一样，你问它“为什么这一步要这么算”，它要么答不上来，要么给你一个看起来正确但其实逻辑不通的解释——这就是典型的AI黑盒：你知道输入是题目图片，输出是答案和步骤，但完全不知道AI内部的模型是怎么算出这个答案的，也不知道它为什么会出错。如果这个AI搜题工具用了XAI技术，它就能给你解释清楚：“这道题我给出这个答案，是因为我识别到了题目里的‘一元一次方程’关键词，匹配了训练数据里80%相似题目的答案，但你的题目里有一个隐藏的‘绝对值’条件我没识别到，所以答案错了”，你就能立刻发现AI的错误，而不是被它误导。

The example above might still feel distant to you, so let’s take a scenario you encounter every day: the AI homework helper app you use to snap a photo of a math problem and get an instant answer with steps. More often than not, you’ll find the steps provided by the AI are wrong, or don’t match what your teacher taught in class. When you ask it “why do I need to calculate it this way?”, it either can’t answer, or gives a seemingly correct but logically flawed explanation. This is a classic AI black box: you know the input is the photo of the problem, and the output is the answer and steps, but you have no idea how the internal model of the AI calculated this answer, or why it made a mistake. If this AI homework helper used XAI technology, it could explain to you clearly: “I gave this answer because I identified the keyword ‘linear equation in one variable’ in your question, and matched it to answers for 80% similar problems in the training data, but I missed a hidden ‘absolut