第一章 信任的裂痕：当AI诊断遭遇质疑 · When Trust Cracks: The Diagnosis Dilemma
第一章 信任的裂痕：当AI诊断遭遇质疑
Chapter 1: When Trust Cracks: The Diagnosis Dilemma
---
凌晨两点十七分，启明医院十一楼的走廊白得像一条冻僵的河。陈墨靠在护士站的台面上，手机屏幕把她的脸照得发青。屏幕上是一封刚跳出的邮件，主题栏写着「伦理委员会紧急质询函（72 小时）」。她揉了揉太阳穴——三个小时前，一位 47 岁的女性患者因持续性右上腹疼痛被送入急诊，CT 影像被推入「启明计划」AI 辅助诊断系统（Qiming AI Diagnostic Assistant, QADA），系统在 0.8 秒内返回「肝血管瘤，建议随访」的概率为 0.94；放射科主治医师李锐看了一眼 AI 给出的标签，又看了一眼影像，签下了「同意随访」四个字。二十二个小时后，那位患者因肝血管瘤破裂导致失血性休克被推回急诊，手术台上的外科医生抬头看着监护仪上骤降的血氧饱和度，问了一句：「既然 AI 已经判过『良性』了，你们为什么没做进一步检查？」
陈墨合上手机。这不是她第一次面对 AI 系统的失误——但这一次，是「启明计划」上线四年来第一次在临床主任、伦理委员会、医务处和市卫健委四个节点同时被点燃。在三甲医院内部，QADA 的内部测试准确率（accuracy）高达 95.2%，F1 分数 0.941，AUC 0.973。这些数字在论文里是漂亮的玫瑰色曲线，在走廊里却无法回答一个简单的问题：那个 0.94 的概率，是根据影像的哪一个区域、哪一组特征做出的？
这正是本书要回答的根本问题。当一个 AI 系统的准确率足够高，它为什么仍然需要被解释？（Why does a high-accuracy AI system still need to be explained?）换言之，「黑盒」（black box）思维会让我们付出哪些真实代价？本章将沿着陈墨的处境，把这个问题从医院走廊延展到自动驾驶事故现场，从 1970 年代的专家系统（expert system）一路推进到 2024 年的 LLM 可解释性研究，并最终落到三组核心二分法与法律框架上。这张地图，将为后续十四章的「光」铺好地基。
---
一、从一次误诊说起：当 95% 准确率不再是免罪符
1.1 「数据不骗人」是一个危险的幻觉
「数据不骗人」是陈墨团队在内部宣贯会上反复强调的口号。QADA 的训练集来自三所三甲医院过去 8 年共 12.4 万例肝脏 CT 影像，由 3 位副主任以上放射科医师双盲标注，再经过 5 折交叉验证。在所有常见的「肝占位性病变」分类任务（肝囊肿、肝血管瘤、肝细胞癌、肝转移瘤、肝脓肿等 8 类）中，模型加权平均准确率为 95.2%。从纯技术指标看，这是一项接近人类专家平均水平的工作——根据放射学会（RSNA）2019 年发布的多中心研究，高年资放射科医师在肝占位性疾病诊断的总体准确率约为 91%–96%。换言之，AI 已经在「平均水平」上反超了人类同行。
但是，准确率（accuracy）只是机器学习评估指标的一个维度。在医疗场景里，它至少遮蔽了三件事：
第一，类别不均衡（class imbalance）。在 QADA 的训练集中，肝血管瘤约占 26%，肝细胞癌约占 7%。当模型遇到一例罕见的肝细胞癌时，它在 95% 的「整体准确率」里几乎不会留下痕迹，但它在这一个病人身上犯下的错误，却是 100% 的代价。我们需要的不只是「整体正确率」，更应是每类召回率（per-class recall）和混淆矩阵（confusion matrix）。
第二，校准度（calibration）。0.94 的概率输出，并不等于「这个病人有 94% 的概率是良性的」。如果模型是过度自信（over-confident）的，那么这个 0.94 实际上可能只相当于 0.6 的真实概率。概率只有在被校准过的前提下，才能成为临床决策的依据。
第三，分布外样本（out-of-distribution, OOD）。训练集来自三所医院，病人的年龄、性别、肝脏基础病、CT 设备型号（GE、Siemens、Philips）、增强扫描协议都相对稳定。但当一位 47 岁、近期服用过口服避孕药、CT 影像来自县级医院并带有金属伪影的病人进入系统时，模型的「内部特征空间」可能从未见过这种样本。此时的 0.94 概率，不是「判断」，而是「猜测」。
这正是黑盒模型（black-box model）的最大陷阱：它把不确定性（uncertainty）悄悄塞进了「高准确率」的锦盒里，让医生在签字时无法分辨这是「知识」还是「信仰」。
1.2 当我们说「AI 误诊」，到底在说什么
李锐在陈述会上说了一句让所有人沉默的话：「我不是被 AI 骗了，我是在 AI 给的答案里，放弃了自己的怀疑。」 这句话把责任和算法分开：AI 没有「骗」任何人；它只是没有告诉李锐，它为什么做出这个判断。
从法律责任的角度看，这又引出三个层次：
- **过失责任**（negligence）：医生是否尽到了「合理注意义务」？在没有 AI 时，标准做法是结合增强 MRI、甲胎蛋白（AFP）检测、家族史等综合判断。AI 给出的「建议」如果让医生**降低**了这种标准，那么 AI 的不可解释性就构成了「医疗过失」的一部分。
- **产品责任**（product liability）：AI 系统作为「医疗器械软件」（SaMD, Software as a Medical Device），其开发者是否在说明书中充分披露了模型的局限性、适用边界和已知风险？
- **可问责性**（accountability）：当事故发生，谁是「责任人」？是放射科医生？是 AI 厂商？是伦理委员会？是采购方？**只有当 AI 的决策可以被追溯到具体的特征、规则和训练数据子集时，这条责任链才能被合理地建立起来。**
在陈墨的案例里，QADA 的模型是一个深度卷积神经网络（Deep Convolutional Neural Network, DCNN），基于 ResNet-50 改造，融合了通道注意力机制（Channel Attention）。它从一张 512×512 的 CT 切片里提取了 2048 维的特征向量，再经全连接层映射到 8 类概率。在这个过程中，没有任何一个中间节点是用「人话」表达的。它不告诉李锐「我看到了影像的哪个区域」；也不告诉他「我是基于哪些特征做出的判断」。它只是冷冷地吐出一个 0.94。
李锐事后回忆：「如果 AI 当时能告诉我，它看的是肝脏右后叶的一个边界不清的低密度灶，且和门脉右支关系密切，我至少会让他加做一个 MRI。」——这就是「解释」（explanation）最朴素、最具体的价值：它让人类专家能够「接过」AI 的判断，并继续用人类的专业知识去质疑、去补充。
1.3 误诊事件的涟漪：医院之外的连锁反应
凌晨四点，陈墨的导师、启明医院信息中心主任郑远打来电话，让她立刻看一份文件——市卫健委拟于次日发布「关于规范医疗机构 AI 辅助诊断系统临床应用的指导意见（征求意见稿）」，要求所有临床 AI 必须满足「可解释、可追溯、可问责」（Explainable, Traceable, Accountable, ETA）三项要求。文件背后，是这起误诊在院外引发的连锁反应：
- **医院层面**：医务处要求所有 AI 系统的输出必须附带「医生复核签字」环节，否则系统不能直接生成报告。
- **科室层面**：放射科召开紧急会议，部分高年资医生表态「**再也不敢看 AI 的结论就签字**」。
- **患者层面**：患者家属在社交媒体发帖（虽然很快被删除），引发对「AI 替代医生」的集体不信任。
- **监管层面**：伦理委员会要求陈墨团队在 **72 小时内**提交可解释性报告——这正是本章开头那封邮件的来历。
- **行业层面**：另一家医院原计划上线的 AI 心电诊断系统，被紧急叫停。
这就是一个高准确率 AI 在黑盒状态下「翻车」的典型涟漪效应：技术指标看起来都很好，但当现实场景出现一个长尾（long-tail）样本，整个信任链条都会瞬间崩塌。信任，是脆弱的工程结构——它不是靠 95% 的准确率堆出来的，而是靠「当那 5% 出错时，我们能够解释它为什么出错」来维系的。
---
二、黑盒的真实代价：从医疗到自动驾驶的事故图谱
黑盒决策的真实代价，并不只发生在医院里。在过去十年里，至少有四个高调的领域已经为「不解释」付出了沉重的代价：医疗、自动驾驶、刑事司法与公共福利。本节将沿着这四个场景，给出具体案例与机制分析，让读者直观看到「不可解释性」如何从技术问题演化为社会问题。
2.1 医疗：IBM Watson for Oncology 的教训
2013 年开始，IBM 与德州大学 MD Anderson 癌症中心合作开发 Watson for Oncology（WfO），目标是用 AI 为肿瘤学家提供循证治疗方案建议。该项目最终于 2017 年被内部评估为「未能达到临床可用标准」并终止合作。其后，《STAT》于 2017 年 7 月披露的一份内部文件显示，WfO 在某些罕见癌种上推荐了「不安全且不正确的治疗方案」。其问题核心并不是「准确率低」（它在常见癌种上的建议与专家共识吻合度高达 73%–96%），而在于：
- **不透明**：医生无法看到 Watson 为什么推荐这个方案。它是一个黑盒，输出是一个「推荐治疗列表」，却没说依据是哪些临床试验、哪些病人特征、哪条 NCCN 指南。
- **训练-部署偏差**：Watson 的训练数据大量来自 Memorial Sloan Kettering（MSK）的「假设性病例」（hypothetical cases），而非真实世界数据。这造成模型在「教学场景」和「临床场景」之间存在显著分布漂移（distribution shift），但用户完全不知情。
- **外部效度低**：MD Anderson 在 2016 年一次内部演示中发现，Watson 在白血病亚型上推荐了与实际指南不一致的方案。
教训：在医疗领域，「准确但不可解释」比「稍微不那么准确但可解释」更危险。因为医疗决策天然要求「知情同意」（informed consent），而「知情」的前提是「理解」——理解 AI 看到了什么、为什么这么判断、置信度是多少。
2.2 自动驾驶：Tesla Autopilot 与 Uber ATG 的悲剧
2016 年 5 月 7 日，佛罗里达州的一位特斯拉车主 Joshua Brown 在使用 Autopilot 时撞上一辆白色卡车顶，死亡。这是全球首例被广泛报道的涉及 L2 级自动驾驶系统的致命事故。NHTSA（美国国家公路交通安全管理局）后续调查报告显示：当时的 Autopilot 系统在强光条件下无法将卡车的白色侧面与明亮的天空区分开来，也没有任何警报或可视化解释告诉驾驶员「系统未识别前方障碍物」。换言之，驾驶员以为系统在「自动驾驶」，但系统无法告诉他「它实际上什么都没看到」。
更典型的案例是 2018 年 3 月 18 日发生在亚利桑那州坦佩市的 Uber ATG 自动驾驶测试车撞人事件。49 岁的 Elaine Herzberg 在推着自行车横穿马路时被测试车撞击身亡。国家运输安全委员会（NTSB）最终报告指出，系统的紧急制动功能在事发时已被关闭，而车辆的感知系统在中距离（约 1.2 秒反应时间）就检测到了行人，但分类系统将其判定为「其他物体」。驾驶员当时正在看手机上的视频流，没有收到任何系统级别的「我看到的是 X 而不是 Y」的解释。
教训：在自动驾驶场景里，「解释」不仅是给车主的，也是给监管者、给保险公司、给未来可能被改造为 L4 的系统的。当一辆车在 0.3 秒内做出「不刹车」的决策时，我们需要能够事后回溯：「它看到了什么、它为什么这么判断、它在哪些边界条件下会失效」——这正是 XAI 在自动驾驶领域的核心需求。
2.3 刑事司法：COMPAS 与「风险评分」的种族争议
2016 年 5 月，ProPublica 记者 Julia Angwin 发表了一篇引起全球关注的长文《Machine Bias》。文章分析佛罗里达州 Broward 县使用的 COMPAS 累犯风险评估系统（Correctional Offender Management Profiling for Alternative Sanctions），发现：尽管系统在整体准确率上表现良好（约 65%–70%），但黑人被告被错误地标记为「高风险」的比例是白人被告的两倍，而白人被告被错误地标记为「低风险」的比例是黑人被告的两倍。这就是著名的「公平性悖论」（fairness paradox）：
- 如果用「预测准确率」衡量，系统是「公平」的；
- 如果用「群体均等」或「机会均等」衡量，系统是「不公平」的。
但更关键的问题是：法官在判刑时并不知道系统为什么给出某个分数。COMPAS 的开发者 Northpointe（现 Equivant）以「商业秘密」为由拒绝公开模型细节，法院最终接受了这一抗辩。这种「不可解释」不是技术问题，而是权力问题：算法提供方单方面地划定了「解释」的边界。
教训：在公共决策领域，「准确率」与「公平性」之间可能存在张力。而解释（explanation）正是调和这种张力的工具——它让不同利益相关方能够质疑、检视、修正系统的偏差。
2.4 公共福利：荷兰 SyRI 案的宪法审判
2020 年 1 月，荷兰政府启用「系统风险指示」（Systeem Risico Indicatie, SyRI），通过整合税务、福利、社保、罚款等数十项政府数据，对低收入社区居民进行「欺诈风险」评分，触发高风险人群的预防性调查。然而该系统的算法细节从不公开。
2020 年 3 月，一批公民社会组织和工会将荷兰政府告上法院。2020 年 2 月 5 日，海牙地区法院裁定 SyRI 违反《欧洲人权公约》第 8 条（私生活受尊重权），并违反欧盟《通用数据保护条例》（GDPR）。这是欧洲法院系统首次以「算法不可解释性」为由，否决一项政府 AI 系统。
更具悲剧性的后续是 2021 年荷兰「托斯卡纳案」（Toeslagenaffaire）——荷兰税务局曾使用类似的算法系统错误地将数以万计的有移民背景的家庭标记为「福利欺诈嫌疑人」，强制要求其偿还所谓的「多领款项」，导致超过 1,000 个家庭被错误地拆散、儿童被送入寄养家庭、许多人破产甚至自杀。该事件直接导致吕特政府在 2021 年 1 月集体辞职。
教训：在公共领域，「不解释」不是中性的技术选择，而是政治选择。它把权力集中到了算法提供方的手中，剥夺了被算法影响的人的「知情权」和「辩护权」。XAI 不仅是技术议题，更是公民权利议题。
2.5 一张图总结：黑盒的「四类成本」
``` 【医疗】 IBM Watson Oncology → 推荐不安全治疗 → 医院放弃合作 【自动驾驶】 Tesla / Uber → 系统不识别障碍物 → 致命事故 + 信任崩塌 【刑事司法】 COMPAS → 种族偏差无法被质疑 → 司法不公争议 【公共福利】 SyRI / Toeslagenaffaire → 算法独裁 → 政府倒台 ```
这四类场景的共性是：高准确率并没有带来高可信度，反而放大了系统性风险的隐蔽性。因为当一个系统看起来「很准」时，人们倾向于更少质疑、更多信任——而这正是黑盒思维最危险的地方。
---
三、XAI 三十年：从 MYCIN 到 DARPA 的演进
要理解今天的「可解释 AI」（Explainable AI, XAI）为什么是这个样子，我们不能跳过它的历史。XAI 并不是一个「2020 年之后才被发明」的领域——它的根可以追溯到 1970 年代的专家系统。下面我们沿着时间线，梳理 XAI 三十余年的演进。
3.1 第一阶段（1970s–1990s）：专家系统的「天生可解释」
XAI 的真正起点是 1970 年代的医疗专家系统 MYCIN。MYCIN 由斯坦福大学的 Edward Shortliffe 等人开发，目的是用规则推理（rule-based reasoning）辅助诊断细菌感染并推荐抗生素治疗方案。它的核心结构是这样的：
```python
MYCIN 风格的规则（伪代码）
RULE 042 IF: 1) 感染类型是 "bacteremia"（菌血症） 2) 病原体是 "Pseudomonas"（假单胞菌） 3) 患者对药物 "gentamicin"（庆大霉素）过敏 THEN: 推荐使用 "chloramphenicol"（氯霉素），置信度 0.7 ```
这种「IF-THEN 规则」+ 「置信度（certainty factor）」的范式，天生地具有可解释性——医生可以直接读懂规则，追溯推理链。MYCIN 本身在临床评估中表现不俗：它的治疗建议被独立专家评价为「可接受」的比例约为 69%，与人类专家的 64.5% 相当甚至略高。
但专家系统的致命弱点是「知识获取瓶颈（knowledge acquisition bottleneck）」：要构建一个高质量的专家系统，需要领域专家花数年时间手工编写上千条规则。这在 1980 年代是巨大的成本，也限制了系统的可扩展性。
同一时期，XAI 的另一支脉络——基于案例的推理（Case-Based Reasoning, CBR）和可解释的决策树（Decision Tree, 如 ID3、C4.5）——也得到了发展。决策树的可解释性极高，每一条从根到叶的路径都对应一条可读的判断规则。直到今天，决策树仍被广泛用作 XAI 的「基线方法」和「教学工具」。
3.2 第二阶段（1990s–2010s）：连接主义的「黑盒回归」
1986 年，Rumelhart、Hinton 和 Williams 发表反向传播算法（backpropagation）的论文，连接主义（connectionism）重新成为主流。但在 1990 年代到 2010 年代初期，神经网络在大多数工业应用上效果并不如 SVM、随机森林、GBDT 等「浅层模型」。这一阶段，XAI 的研究主要围绕「让浅层模型更好解释」展开——例如：
- **特征重要性排序**（Feature Importance）：决策树中的