迷雾中的巨人：当AI成为决策者
第1章：迷雾中的巨人：当AI成为决策者
那一夜的值班室里，林医生盯着屏幕上的诊断报告，陷入了一种前所未有的困惑。作为一名从业二十年的心内科专家，她刚刚完成了一位六十二岁男性患者的诊断——根据心电图、心肌酶指标和临床表现，她认为这很可能是一例急性心肌梗死。然而，医院的智能辅助诊断系统却给出了一个截然不同的结论：非ST段抬高型心肌缺血，建议保守治疗。
系统没有解释。它只是输出了那个冰冷的结论，附带一个表示置信度的数字：87.3%。
林医生试图追问这个判断的依据。她点击了系统界面上的每一个按钮，翻阅了每一个下拉菜单，找到的只有一行小字：“该诊断基于深度学习模型综合分析。”
综合分析什么？分析心电图上的哪个波形？哪个指标超标了多少？哪个特征让系统认为这不是心梗而是缺血？
她不知道。
系统不知道她不知道。它只是继续运行着，等待她的确认，仿佛她的专业知识只是一个可以被轻易覆盖的变量。
这不是某个遥远的未来场景，而是2023年中国某三甲医院真实发生的一幕。当林医生最终坚持了自己的判断并启动紧急导管手术时，她发现患者的左主干血管已经堵塞了95%。如果她选择了相信系统，如果她没有追问的勇气，那个人的生命或许就会终结在一个她永远无法理解的算法手里。
同样的困惑也在大洋彼岸的美国上演着。迈阿密的软件工程师丹尼尔·威廉姆斯在申请住房抵押贷款时遭遇了人生的至暗时刻。他的信用评分、收入证明、债务比率都符合银行公布的申请标准，但他的贷款申请却被拒绝了。更令人沮丧的是，他没有收到任何解释，只有一封自动发送的邮件：“感谢您的申请，经过综合评估，我们很遗憾地通知您，您的申请未能通过。”
丹尼尔打电话给银行客服，试图了解拒绝的具体原因。客服人员翻了翻系统，告诉他：“这是我们AI系统做出的决定，我也没有权限查看具体的决策过程。”
为什么被拒绝？是收入不够稳定？是信用分数不够高？还是某个他自己都不知道的“综合指标”出了问题？丹尼尔不知道。银行也不知道——或者说，他们选择不知道。
这不是个案。2019年，美国消费者金融保护局收到了超过10万份关于信贷算法歧视的投诉。2021年，ProPublica的一项调查发现，美国多个州使用的犯罪风险评估算法对非裔美国人存在系统性偏见，将他们错误地标记为“高风险”的概率是白人的两倍。2022年，英国广播公司报道了一起令人震惊的案例：一名自闭症患者因为算法将他标记为“潜在的暴力风险”而无法获得人寿保险。
当算法成为法官、当代码成为裁判、当我们把关乎生死、财富、自由的决策权交给一个无法解释的“黑箱”时，我们究竟在做什么？
这就是我们这个时代最紧迫的问题之一：一个深度学习系统做出了影响我们生活的重大决策，但我们既无法知道它为什么做出这个决策，也无法验证这个决策是否公正、是否合理、是否正确。
这个问题的根源，可以追溯到深度学习技术本身的设计哲学。
从学术前沿到社会核心：深度学习的崛起之路
要理解今天的困境，我们需要回到深度学习刚刚起步的年代。
2012年，那场在多伦多大学举办的ImageNet图像识别竞赛，成为了人工智能历史上的一个转折点。杰弗里·辛顿（Geoffrey Hinton）领导的研究团队提交了一个名为AlexNet的深度卷积神经网络，它的错误率仅为15.3%，比第二名低了整整10个百分点。
这个成绩震惊了整个学术界。在此之前，没有人相信神经网络能够在这个级别的任务上表现得如此出色。更重要的是，AlexNet的成功向世界证明了一个被遗忘已久的想法——人工神经网络——具有巨大的潜力。
从那以后，深度学习开始了一场波澜壮阔的旅程。
2014年，生成对抗网络（GAN）的提出让机器能够创造出以假乱真的图像、音频和视频。2015年，ResNet的问世将深度神经网络的层数推向了152层甚至更深。2016年，AlphaGo在围棋比赛中击败了世界冠军李世石，宣告了机器在复杂策略游戏上对人类的全面超越。2017年，Transformer架构的提出为自然语言处理领域带来了革命性的变化，由此催生了BERT、GPT等改变世界的语言模型。2020年，GPT-3的参数规模达到了1750亿，2023年的GPT-4更是将这个数字推向了更高的水平。
这些技术进步的速度是惊人的。回想2012年，最先进的图像识别模型的准确率还停留在74%左右；如今，最好的模型在ImageNet上的准确率已经超过了99%。曾经需要人类专家数小时才能完成的医学影像分析，现在可以在几秒钟内由AI系统完成。曾经需要数月才能训练完成的语言模型，现在可以在数周内完成迭代升级。
技术进步带来的应用扩张同样令人目眩。2015年，深度学习还只是科技公司和顶尖研究机构的专属玩具；到了2020年，它已经渗透到了我们生活的方方面面。打开手机，面部识别解锁了你的设备；语音助手响应了你的请求；推荐算法决定了你看到的新闻和广告；翻译软件让你能够与世界各地的人交流。走进医院，AI辅助诊断系统帮助医生阅读X光片和CT扫描；走进银行，信用评估算法决定了你能否获得贷款；走进法院，风险评估工具开始影响法官的量刑决定。
这场技术变革来得太快了。快到我们的社会制度、伦理框架、法律体系都没有做好准备。更关键的是，快到我们中的大多数人——包括那些设计和部署这些系统的人——都没有真正理解这些系统的工作原理。
这正是问题的核心：深度学习模型本质上是一个“黑箱”。
让我们来解释一下这个比喻的含义。在传统的软件开发中，程序员编写代码，计算机执行代码，两者之间的因果关系是清晰的。如果程序出现了问题，程序员可以追踪代码的执行过程，找出问题的根源，然后修复它。这种透明性和可追溯性是现代软件工程的基础。
但深度学习的工作方式完全不同。一个深度神经网络不是被“编写”出来的，而是被“训练”出来的。开发者定义网络的架构——有多少层、每层有多少神经元、神经元之间如何连接——然后用海量的数据去训练这个网络。在训练过程中，网络会不断调整内部参数（通常称为“权重”），使得网络的输出越来越接近期望的结果。
关键在于，当训练完成后，这个网络包含的参数数量可能达到数百万甚至数百亿个。以GPT-3为例，它有1750亿个参数。每个参数都是一个小数字，无数个小数字组合在一起，决定了网络的最终行为。没有人——包括设计这个网络的工程师——能够解释为什么这1750亿个参数会被调整成最终的样子，也没有人能够解释这些参数如何共同作用产生了某个特定的输出。
这就是“黑箱”的含义：我们知道输入是什么，知道输出是什么，但我们不知道——或者说很难知道——中间发生了什么。一个深度学习模型可以准确地识别出一张图片中是猫还是狗，但它无法告诉你它“看”的是猫的哪些特征——是耳朵的形状？是胡须的长度？还是眼睛的位置？它只是从数据中学习到了某种模式，然后用一种人类无法理解的方式记住了这种模式。
这在图像识别、自然语言处理这类任务上是可以接受的。一张图片被错误分类为猫而不是狗，不会造成灾难性的后果。但当这些模型被部署到高风险决策场景时——比如医疗诊断、信贷评估、刑事司法——问题的性质就完全不同了。
因为在这些场景中，错误不仅仅是一个技术错误，它可能意味着一个人失去了获得救命治疗的机会，可能意味着一个家庭失去了购买住房的希望，可能意味着一个无辜的人被错误地投入监狱。
更可怕的是，当我们不知道系统为什么会犯错时，我们甚至不知道它什么时候会犯错。
血与泪的教训：那些因黑箱而付出的代价
特斯拉Autopilot系统的故事，是一个关于技术乐观主义与残酷现实之间鸿沟的警示。
2016年5月7日，佛罗里达州威洛比曼镇，40岁的约书亚·布朗（Joshua Brown）驾驶着他的特斯拉Model S行驶在高速公路上。Autopilot系统正处于激活状态。前方有一辆白色卡车正在左转穿越公路。
系统没有减速。
根据事后的事故分析，Autopilot的摄像头将卡车的白色车厢误识别成了天空，而雷达系统则将卡车底盘误识别成了道路标牌或悬空的交通标志。两个传感器同时出错，酿成了这场致命的悲剧。约书亚·布朗当场死亡。
这起事故引发了巨大的争议和反思。特斯拉坚称Autopilot只是辅助驾驶功能，司机应该时刻保持注意力。但批评者指出，问题在于：为什么这个价值数百万美元、号称使用了最先进人工智能技术的系统，会将一辆巨大的白色卡车误认为是天空？当系统做出这个致命的判断时，它“看到”的究竟是什么？它为什么没有将卡车识别为障碍物？
特斯拉没有给出技术层面的详细解释。事故调查过程中，特斯拉与NHTSA（美国国家公路交通安全管理局）之间存在信息不对称和沟通障碍。公众无法完全了解导致事故的技术细节和系统缺陷。这种信息不透明加剧了公众对自动驾驶技术的担忧。
四年后的2020年，台湾发生了一起类似的事故。一辆特斯拉Model 3在开启Autopilot的情况下，撞上了一辆翻倒在路中央的卡车。驾驶员受了重伤。调查人员发现，Autopilot系统未能识别出前方的静止障碍物和横躺的卡车车身。
这些事故有一个共同的特点：我们知道系统失败了，但我们不完全理解它为什么会失败。更重要的是，我们不知道类似的事故是否会在其他我们没有注意到的场景中继续发生。
一个能够将白色卡车误识别为天空的系统，它在其他场景中还会犯什么我们不知道的错误？
这种不确定性在医疗领域表现得更为严峻，因为这里的错误直接关乎生死。
2019年，谷歌健康（Google Health）宣布其乳腺癌筛查AI系统在检测乳腺癌方面的表现超过了人类放射科医生。论文发表在《自然》杂志上，称该系统将假阴性率降低了9.4%，同时将假阳性率降低了5.7%。这看起来是一个巨大的胜利。
然而，当医学界仔细审视这项研究时，质疑声开始出现。关键问题在于：模型是如何做出判断的？它是否过度依赖某些特定的图像特征？它在某些类型的乳腺癌（如导管原位癌）上的表现是否同样出色？它是否对不同种族、不同年龄的患者都能保持一致的准确率？
更令人不安的是，研究人员发现这个模型有时会注意到图像中的“水印”或“标记”——这些是技术人员在图像采集时添加的辅助信息，与乳腺组织的实际状况无关。模型可能在无意中学会了依赖这些标记来做判断，而不是真正分析乳腺组织本身的特征。这是一个典型的“数据泄露”问题，但更关键的是，如果没有人仔细检查模型的决策过程，这种隐藏的偏见可能永远不会被发现。
美国食品药品监督管理局（FDA）在2021年批准了第一个AI诊断设备——IDx-DR，用于检测糖尿病性视网膜病变。临床试验显示，该设备能够以90.3%的灵敏度和91.1%的特异度正确识别需要转诊的患者。这看起来相当不错。
但在2020年的一项后续研究中，研究人员发现了一个令人担忧的问题：该AI系统对图像质量非常敏感。当输入的视网膜图像质量稍差时（但仍在临床可接受的范围内），系统的准确率会显著下降。更重要的是，当系统无法做出可靠判断时，它没有给出一个“我不确定”的选项，而是仍然会输出一个看似自信的诊断结果。
这意味着什么？这意味着当医生收到AI系统的“正常”诊断时，他们无法判断这个诊断是基于可靠的图像分析，还是基于一个因为图像质量问题而实际上已经失效的系统。更糟糕的是，由于系统没有输出任何关于其“信心程度”的信息，医生甚至不知道在什么情况下应该怀疑系统的判断。
这就是黑箱问题的本质：我们不知道模型不知道什么。
医疗AI的另一个重大隐患是算法偏见。2020年发表在《科学》杂志上的一项研究发现，美国一个广泛使用的医疗风险预测算法对黑人患者存在系统性偏见。该算法使用医疗费用作为健康的代理指标——这是一个有严重缺陷的假设，因为黑人患者往往因为社会经济因素而花费较少的医疗费用，即使他们的健康状况实际上更差。结果是，黑人患者获得的额外护理建议明显少于白人患者，而他们实际上有着相似的健康需求。
研究者估计，如果这个算法被纠正，仅在宾夕法尼亚大学医疗系统，每年就会有超过20,000名黑人患者获得他们应该得到的额外护理。
这个案例揭示了一个深刻的问题：即使算法的开发者没有任何种族歧视的意图，算法仍然可能因为训练数据的偏差而产生歧视性的结果。而由于算法的决策过程是不透明的，这种歧视可能长期存在而不被发现。
在金融领域，算法偏见的故事同样令人警醒。
2019年，Apple Card（苹果信用卡）项目引发了一场轩然大波。用户发现，女性用户获得的信用额度普遍低于男性用户，即使她们的信用评分和收入水平相当。苹果公司联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）公开表示，他的信用额度是妻子的10倍，尽管他们共享所有资产。
这背后的算法——由高盛开发——被设计为考虑多种因素来确定信用额度，包括信用评分、收入、债务水平和消费行为。但显然，算法还考虑了一些其他的、可能是隐性的因素，这些因素与性别存在某种关联，导致了系统性的性别歧视。
问题在于，没有人——包括高盛的工程师——能够准确解释为什么女性用户获得了更低的额度。算法本身是一个复杂的神经网络，它的决策过程超出了人类的理解能力。这使得纠正偏见变得极为困难：你甚至不知道偏见藏在哪里。
更广泛地说，信贷算法中的歧视是一个系统性问题。2020年，纽约大学和阿姆斯特丹大学的研究人员发现，美国最大的两家信用评分公司使用的FICO评分模型对少数族裔和非裔美国人社区存在偏见。这些模型依赖于某些与信用历史相关的特征，但这些特征本身受到系统性不平等的影响——比如，历史上的红线政策（redlining）导致非裔美国人社区的居民更难获得住房贷款，从而更难建立良好的信用历史。
当算法基于这样的数据做出决策时，它实际上是在将历史上的歧视延续到未来。
刑事司法领域的算法应用则将问题的严重性推向了极致。
在美国，COMPAS（矫正罪犯管理替代性制裁分析）是目前使用最广泛的风险评估工具之一。它被用来评估被告在审前羁押和量刑阶段的风险等级。2016年，ProPublica发布了一份具有里程碑意义的调查报告，分析了COMPAS在佛罗里达州布劳沃德县的使用情况。
调查结果令人震惊。COMPAS将黑人被告错误标记为“高风险”的概率是白人被告的两倍——49%的黑人被告被标记为高风险，而白人被告的这一比例仅为23%。更荒谬的是，COMPAS将白人被告错误标记为“低风险”的概率更高——白人被告中有48%实际上是累犯，但被标记为低风险，而黑人被告的这一比例为28%。
换句话说，COMPAS系统性地高估了黑人被告的风险，同时低估了白人被告的风险。
这不是一个小的技术瑕疵，这是一个系统性的种族歧视问题。但当ProPublica公布这些发现时，COMPAS的开发商Equivant公司却辩称，COMPAS在统计意义上是公平的，因为它在不同的种族群体中有着相似的准确率。
这引发了一个深刻的哲学争论：什么是公平？
计算机科学家辛西娅·德沃克（Cynthia Dwork）曾经说过：“公平是一个非常微妙的概念。”不同的数学定义会导致不同的结果，而且这些定义往往是相互矛盾的。如果一个算法试图平衡不同群体之间的错误率（如ProPublica的分析方法），那么它在另一个意义上可能仍然是不公平的。如果算法试图确保不同群体获得相似的机会（如某些替代性定义），那么它可能在另一个意义上仍然存在歧视。
问题的核心在于：当我们把决策权交给算法时，我们也在把定义“公平”的权力交给了算法。但算法无法理解公平的社会意义、历史背景和伦理价值。它只能优化我们给它的数学目标——而这个目标本身可能就是有问题的。
更重要的是，这些算法是在不透明的情况下运行的。被告通常不知道算法是如何评估他们的，他们也没有机会质疑或反驳算法的结论。在布劳沃德县，被告只能看到他们被评估的分数，但他们不知道分数是如何计算的，不知道是什么因素导致了他们的高风险标签。
这与美国宪法第六修正案保障的“知情权”产生了直接的冲突——被告有权知道针对他们的指控的性质和来源，但当指控来自一个黑箱算法时，这种权利实际上被架空了。
威斯康星州的艾伦·邦迪案（State v. Loomis）将这个问题推向了法律的最前线。2013年，阿里耶尔·邦迪（Aeerie Loomis）被判五年监禁，罪名是鲁莽危害安全罪。在量刑过程中，法官参考了COMPAS风险评估报告，将邦迪标记为“高风险”。邦迪的律师辩称，宪法要求量刑必须基于可验证的证据，而COMPAS的算法是一个黑箱，其内部逻辑无法被审查。
威斯康星州最高法院最终驳回了这一上诉，裁定使用COMPAS作为量刑参考并不违宪。但持反对意见的法官写道：“当法院在量刑中使用一个被保密的方法来评估风险时……被告无法理解为什么他被认为是一个风险，也无法有意义地挑战这个评估的准确性。”
这句话点明了问题的核心：当算法成为决策的依据时，人类的自由和尊严受到了威胁。
信任的危机：当我们无法理解AI时
回顾这些案例，我们可以看到一个清晰的模式：当深度学习系统被部署到高风险决策场景时，它们往往会以我们无法预见、无法理解、无法纠正的方式出错。而这些错误的后果，可能是失去一条生命，可能是失去公平的机会，可能是失去自由。
这就引出了本书要探讨的核心问题：信任。
我们能信任一个我们无法理解的系统吗？
从哲学的角度来看，信任从来都不是盲目的。哲学家凯伦·琼斯（Karen Jones）将信任定义为一种“态度”，其中包含了对被信任者的“脆弱性”以及对其“良好意图”的期望。我们之所以信任医生，是因为我们有理由相信医生拥有专业知识、有职业道德、会把我们的利益放在心上。我们之所以信任飞机，是因为我们知道飞机经过了严格的测试、飞行员接受了专业的培训、每一步操作都有安全冗余。
这种信任的基础是可验证性和可问责性。我们可以检查医生的资质，可以了解飞机的安全记录，可以通过法律诉讼追究失职者的责任。当信任被辜负时，我们有机制可以发现这个问题、纠正这个错误、惩罚相关责任人。
但深度学习系统打破了这个链条。
首先，可验证性消失了。一个深度学习模型可能有数百万甚至数百亿个参数，它们之间的相互作用极其复杂。理论上，我们可以检查模型中每一个参数的值，但我们无法理解这些值意味着什么。就像你知道了组成一篇文章的每一个字母，但你仍然无法理解这篇文章在说什么。
其次，可问责性变得模糊。当一个AI系统导致了事故或错误时，谁应该承担责任？是开发模型的工程师？是部署系统的公司？是使用系统的专业人员？还是设计系统的学术研究机构？传统的责任链条在黑箱面前变得模糊不清。
最后，可纠正性受到了威胁。如果一个系统在特定类型的案例上存在偏见或错误，我们首先需要发现这个问题。但如果我们无法理解系统是如何做出决策的，我们怎么知道它在什么时候、什么情况下会出错呢？我们只能在错误已经发生之后才能意识到问题，但那时可能已经太晚了。
2018年，Uber在亚利桑那州坦佩市进行自动驾驶道路测试时，撞死了一名过马路的行人伊莲·赫兹伯格（Elaine Herzberg）。事后调查显示，Uber的自动驾驶系统确实检测到了赫兹伯格，但经过反复权衡“传感器噪声”可能造成的误报后，决定不采取紧急制动。这个决策逻辑本身是合理的——在真实的道路环境中，如果系统对每一个可能的障碍物都采取紧急制动，那么自动驾驶汽车将几乎无法正常行驶。但问题在于，这个