一个被算法误判的年轻人：AI时代的第一个伦理警报

2019年1月的一个清晨，底特律郊区的天空刚刚泛起鱼肚白。当罗伯特·朱利安-博奇克·威廉姆斯从睡梦中醒来时，他并不知道这将成为他人生中最漫长的一天。这位38岁的黑人男性像往常一样准备去上班，在自己的家中照顾着蹒跚学步的女儿。然而，一阵急促的敲门声打破了这个普通早晨的平静。

门外站着的是底特律警察局的警探。他们手中拿着一张模糊的监控截图，指控威廉姆斯涉嫌在一家商店实施盗窃。警探们态度严肃，语气中带着不容置疑的笃定。在他们的认知中，证据确凿——至少，他们自己是这样认为的。他们告诉威廉姆斯，人工智能系统已经完成了比对，结果显示他就是嫌疑犯。

没有犹豫，没有进一步调查，威廉姆斯被戴上手铐，在女儿惊恐的目光中被带上了警车。他的妻子德文·威廉姆斯（Devon Williams）站在门口，眼睁睁看着丈夫被带走，脑海中一片空白。“我看着他被铐上手铐，我的女儿在哭，”德文后来回忆道，“这一切只是因为一个计算机程序认为他看起来像另一个人。”

接下来的二十六个小时，威廉姆斯被关押在戒备森严的监狱中。他被抽走了DNA样本，按下了指纹，甚至经历了一整套标准的犯罪嫌疑人体检流程。当保释金被设定为一百万美元时，这位普通人几乎无力承担。最终，在缴纳了约一千美元的保释金后，他才得以在第二天晚上离开那个冰冷的水泥牢房。

然而，故事最令人不寒而栗的部分才刚刚浮出水面。

经过漫长的等待和法庭上的据理力争，底特律地区检察官最终撤销了对威廉姆斯的指控。理由很简单：人工智能系统给出的判断是错误的。那个监控截图中的人根本不是威廉姆斯——无论从身形、步态还是面部特征来看，两人都存在显著差异。真正的小偷至今仍然逍遥法外。

但如果就此认为事情已经结束，那就太过天真了。对于威廉姆斯来说，这段经历留下的创伤远未愈合。“它改变了我看待世界的方式，”他在后来的采访中说道，“我不再觉得法律体系会公平地对待我。”这句话的分量远超表面听上去的份量——它意味着一个人对自己所生活的社会的根本信任被彻底颠覆了。

威廉姆斯的遭遇并非孤例。事实上，它揭开了一个日益尖锐的社会议题的序幕：当人工智能系统做出错误判断时，当技术的中立性神话被打破时，我们该如何面对那些被算法的偏见所伤害的人？

这个问题的答案，远比看上去复杂得多。

在深入探讨技术细节之前，让我们先把时钟拨回到威廉姆斯被捕的那一天，从另一个视角重新审视整个事件的全貌。

那天早晨，底特律警察局接到了一起商店盗窃案的报案。一家高档商店在盘点库存时发现，部分商品不翼而飞。警方调取了商场的监控录像，画面中确实捕捉到了一个模糊的身影——一个身穿深色连帽衫的黑人男性。录像的分辨率并不高，光线昏暗，嫌疑人的面部特征几乎无法辨认。

按照常规流程，警探们将这张模糊的截图输入了他们新近部署的人脸识别系统中。这套系统由一家知名科技公司开发，据称能够快速比对面部图像与数据库中的数百万张照片，从而锁定犯罪嫌疑人的身份。系统经过“深度学习”训练，在海量的图像数据中学会了识别面部的各种特征——眼睛的间距、鼻梁的轮廓、下颌线的弧度。

然而，当系统生成了一份候选名单时，问题出现了。在排名前几位的匹配结果中，威廉姆斯的照片赫然在列。警探们对照了监控截图和威廉姆斯的档案照片——客观来说，两者的相似度并不高。威廉姆斯身高约1.93米，而监控中的人明显矮小一些；两人的面部特征也存在可识别的差异。但人脸识别系统给出的置信度评分仍然达到了某个预设的阈值，于是警探们决定采取行动。

事后复盘会发现，这里存在一个危险的逻辑陷阱：当人类调查者面对一份由“客观”的计算机系统生成的匹配结果时，他们往往会产生一种不恰当的信任感。即便心中存有疑虑，“计算机不会出错”的预设前提也会悄然消解他们的批判意识。反过来，如果警探们的初始判断与系统结果不一致，他们又可能面临“为什么你不同意AI的判断”这样的质疑。这种无形的压力导致了一种令人不安的自动化顺从——人类专家的判断逐渐沦为对算法输出的背书，而非独立的决策环节。

我们需要后退一步，理解这项被用来定罪的技术究竟是如何运作的。

人脸识别技术的核心原理可以追溯到20世纪60年代。当时，数学家伍迪·布莱索（Woody Bledsoe）开始尝试用计算机来识别人脸。他的方法说起来并不复杂：首先在面部图像上标出若干关键点——比如眼睛中心、鼻尖、嘴角等——然后计算这些关键点之间的距离和比例关系，用一组数字来描述一个人的面孔。这组数字后来被称为“面纹”（faceprint），类似于我们更为熟知的指纹概念。

这套系统在60年代看起来相当先进，但与现代深度学习驱动的面部识别系统相比，它的能力就相形见绌了。今天的人脸识别系统主要依赖于一种叫做卷积神经网络（Convolutional Neural Network，简称CNN）的深度学习架构。要理解CNN的工作方式，我们可以把它想象成一个层层递进的“特征过滤器”。

第一层网络接收原始的像素数据后，会识别出一些极其基础的特征——比如边缘、线条、色块的变化。在这个阶段，系统并不能理解什么是“眼睛”或“鼻子”，它只是在检测明暗交界处和方向变化。第二层网络接收第一层的输出，在此基础上组合出更复杂的模式——弯曲的线段、角度、对称关系。第三层、第四层继续这个组合过程，直到最后一层网络能够识别出高度抽象的概念——这是一个人的面孔，而且这张面孔具有某种独特的特征组合。

这个训练过程需要海量的人脸图像数据。系统需要“看到”数百万甚至数十亿张人脸，才能逐渐学会区分不同面孔之间的细微差异。训练数据越多、越多样化，系统的性能理论上就越好。但问题恰恰出在这个“越多越好”的逻辑中——当训练数据的构成不均衡时，系统学到的东西也会产生偏差。

这就把我们带到了一个核心概念：训练数据中的偏见（bias in training data）。

2018年，麻省理工学院的一项著名研究揭示了这一问题的严重程度。研究人员Joy Buolamwini和Timnit Gebru对来自微软、IBM和旷视科技（Megvii）三家公司的商用面部识别系统进行了大规模测试。测试涵盖了来自不同国家和种族的照片，结果令人震惊：对于肤色较浅的男性，这些系统的识别准确率普遍超过99%；但对于深肤色的女性，准确率骤降至35%左右，个别系统的错误率甚至超过了47%。也就是说，在某些情况下，这些系统在每两张深肤色女性的面孔中就会错误地识别出一张。

为什么会这样？答案在于数据。

深度学习系统的能力取决于它所训练的数据。如果训练数据集中大多数是浅肤色人群的面孔，系统就会在识别这类面孔时表现出色，而对其他群体的面孔则显得“笨拙”。这就像一个从小只见过雪的孩子，你给他看棕榈树的照片，他可能真的认不出来那是一棵树。机器学习系统并没有真正的“智能”，它只是在统计模式中寻找规律——当某些模式在训练数据中出现的频率远高于其他模式时，系统自然会更擅长处理那些高频模式。

在面部识别领域，这一问题的影响因素是多方面的。首先，历史上的面部数据集往往过度代表了白人男性群体。这并非出于恶意，而是反映了数据收集过程中的一种无意识的倾向性——那些更容易被数字化、更容易获得授权的面孔，往往来自主流社会群体。其次，在人脸图像的标注环节，标注者的主观判断也会引入偏见。如果标注团队本身缺乏多样性，他们对“标准面孔”的认知就可能被编码进训练数据中。

更深层的问题在于，当我们用有偏数据训练出一个系统后，这个系统又会被部署到真实世界中，产生新的有偏数据，进而被收集起来用于下一轮训练。这是一个自我强化的反馈循环——偏见一旦进入系统，就会像滚雪球一样越滚越大。

用更学术的话来说，这被称为“分布偏移”（distribution shift）或“协变量偏移”（covariate shift）。当训练数据和实际部署环境之间的数据分布存在显著差异时，模型的性能就会在非训练群体上大幅下降。这不是系统的“性格问题”或“道德问题”，而是一个纯粹的技术问题——但它的后果却完全是道德性的、社会性的。

理解了技术原理，我们再回到威廉姆斯的案件。这个案件之所以在全球范围内引发广泛关注，不仅因为它是一个技术错误的案例，更因为它触及了AI时代最核心的伦理困境之一：当机器的判断与人的权利发生冲突时，谁来为后果负责？

让我们暂时离开底特律，把目光投向另一个大洋彼岸的国度。

在中国，一个名为“女子被误判闯红灯”的新闻同样引发了公众的热议。来自浙江杭州的郭小姐在一次交通违章查询中发现，自己的车辆号牌被系统标记为在某个路口“闯红灯”。然而蹊跷的是，那个时间段她根本没有去过那个路口。她调取了当天的行车记录仪录像，完整地证明了自己的清白。

这起误判的罪魁祸首同样是一套人工智能系统——一套交通违章自动识别系统。这套系统基于图像识别技术，通过摄像头捕捉到的车辆图像与号牌数据库进行比对，来判断是否存在违章行为。问题出在了哪里？事后调查显示，监控摄像头在那个时间段恰好捕捉到了另一辆车的前车牌，由于光线条件和拍摄角度的原因，车牌的某几个字符与郭小姐的号牌高度相似。自动识别系统“误以为”郭小姐的车辆违章了。

这听起来像是一个技术故障，但如果我们把两个案例放在一起比较，就会发现一个令人不安的共同模式：在两起事件中，最终承担后果的都是普通公民，而不是技术系统的开发者或运营方。威廉姆斯被错误逮捕、审讯、关押，差点面临刑事指控；郭小姐需要自行搜集证据、花费时间和精力去申诉，去证明一个本不该由她证明的事实。

这引出了一个关键问题：当算法出错时，受害者应该如何获得救济？

在现行法律框架下，这个问题的答案并不清晰。传统法律体系建立在“有过错才有责任”的基本原则之上。如果一个人被另一个人错误指控，我们可以通过侵权法来追究指控者的责任；如果是政府执法错误，可以提起行政诉讼或申请国家赔偿。但当错误来自一个看似中立、客观的算法时，责任主体变得模糊了——是开发系统的科技公司？是部署系统的政府部门？还是使用系统做出决定的警察和公务员？

更进一步说，即便我们能够确定责任主体，传统的法律概念也面临挑战。“过失”（negligence）这个概念预设了行为人对可能造成的损害有认知和预见能力。但对于一个深度学习系统，开发者可能真的无法精确解释为什么系统在某个特定情况下做出了错误判断——模型内部复杂的非线性交互使得可解释性成为困扰整个AI领域的基础难题。一个我们无法完全理解其决策过程的东西，我们该如何为其后果负责？

这种困境催生了一个新的法律概念：“算法责任”（algorithmic accountability）。学者们正在争论是否应该要求AI系统满足某种形式的透明度标准，比如向受影响的个人解释算法决策的理由，或者在某些高风险场景中禁止使用自动决策系统。欧盟在2018年出台的《通用数据保护条例》（GDPR）中已经包含了“解释权”的条款，赋予公民在自动化决策中获取有意义解释的权利。但在实践中，这一权利的落实仍然面临巨大挑战——许多深度学习模型的决策过程过于复杂，连开发者自己都难以给出普通人都能理解的解释。

与此同时，在美国，威廉姆斯案引发了关于面部识别技术禁令的全国性讨论。多个城市——包括旧金山、波士顿和波特兰——相继宣布在公共执法领域禁用面部识别技术。这些禁令反映出一种日益增强的公众认知：技术的便利性不应该以牺牲公民的基本权利为代价。

但禁令本身并不能解决根本问题。当一座城市禁止警察局使用面部识别系统后，警察们可能转而使用更隐蔽的、来自第三方的面部识别服务——这些服务可能缺乏监管，透明度更低。技术禁用往往只是把问题推到了看不见的角落，而非真正解决了它。

让我们再回到威廉姆斯案，看看它是如何被解决的，又留下了哪些未解的问题。

2020年4月，美国公民自由联盟（ACLU）代表威廉姆斯向底特律警察局提起了民事诉讼。诉讼的核心论点并非否认威廉姆斯的身份被误认这一事实本身（事实已经足够清楚），而是质疑警察局在没有任何独立验证的情况下，仅凭一份算法匹配结果就实施逮捕的执法程序。ACLU认为，这种做法违反了美国宪法第四修正案对不合理搜查和扣押的保护。

这起诉讼的意义超越了个人层面。它直接挑战了一个正在形成中的范式：当人工智能系统的置信度达到某个阈值时，执法部门是否就可以据此采取强制行动？如果答案是否定的，那么这个阈值应该设定在多高？如果答案是肯定的，那么系统的不确定性应该以何种形式被披露给决策者？

更深一层地思考，这起案件还触及了一个在AI伦理领域反复出现的核心张力：效率与公正之间的永恒博弈。

从纯粹的效率角度来看，人脸识别系统确实带来了前所未有的便利。在庞大的城市监控网络中，人工识别数以万计的摄像头画面几乎是不可能的任务，而AI系统可以在几秒钟内完成比对。这对于追踪逃犯、打击人口贩卖等严重犯罪有着不可替代的价值。问题的关键不在于技术本身——技术只是工具——而在于我们如何使用它、以何种约束和保障条件来部署它。

设想这样一种场景：一个人脸识别系统被用来在机场安检通道快速核对旅客身份。由于误识率较低（假设为0.1%），对于绝大多数旅客来说，这套系统确实加快了通关速度。然而，如果某座机场每天接待十万名旅客，即便0.1%的误识率也意味着每天约有100名旅客会被错误地标记为“身份存疑”。他们需要接受额外的人工核查，行程被延误，名誉可能受损。如果这些额外的负担被不成比例地施加在某些特定群体身上——比如有色人种旅客——那么这种看似中立的“效率提升”就变成了一个伦理问题。

这正是威廉姆斯案的真正教训所在。面部识别系统可能确实“平均”表现得很好——在大多数情况下，对于大多数人群，它能准确识别面孔。但统计学意义上的“好表现”并不能免除它对每一个个体的责任。一个被错误逮捕的人在统计数字中只是一个微小的误差项，但对于这个人及其家庭来说，那是百分之百的伤害。

我们还需要警惕一种认知上的误区：认为只要技术不断进步、算法不断优化，这些问题就会自然消失。事情远没有那么简单。

首先，即便模型的准确率从99%提升到99.9%，绝对数量上的错误判断可能仍然不少——特别是在大规模应用场景中。其次，准确率指标本身并不能完全反映公平性。一个模型可能在整体准确率上表现优异，但在不同子群体之间的表现差异巨大——这种被称为“准确率差距”（accuracy disparity）的现象，在面部识别领域已经有大量实证研究予以证实。第三，也是最根本的，即便有一天AI系统可以在技术层面完美地消除种族和性别偏见，它仍然无法替代人类社会对公平、正义和尊严的价值判断。技术解决不了价值问题。

那么，在AI时代，我们应该如何守护人性的底线？

这不是一个可以简单回答的问题。但威廉姆斯的案例至少为我们指明了几个思考方向。

第一，我们需要建立更加完善的技术伦理框架。这不仅仅意味着在AI系统开发完成后进行道德审查——那就像等房子建好后才想起来没打地基一样为时已晚。伦理考量必须从一开始就被嵌入到技术的设计、开发、部署和运营的每一个环节中。这要求技术开发者具备跨学科的知识素养，要求伦理学家和社会科学家深入参与到技术团队中，更要求在政策层面建立有效的AI伦理治理机制。IEEE、ACM等国际学术组织已经发布了人工智能伦理准则，欧盟也在积极推进《人工智能法案》（AI Act），试图在高风险AI应用领域建立统一的风险分级和合规框架。这些努力虽然还不够完善，但代表了一个正确的方向。

第二，我们需要赋予个体更多的权利和工具来对抗算法的不公。这意味着建立有效的申诉和救济渠道，让像威廉姆斯和郭小姐这样的受害者能够获得有意义的补偿；意味着在法律层面明确算法决策的可解释性要求，不允许“系统就是这么判定的”作为推卸责任的借口；还意味着推动算法审计（algorithmic auditing）制度的发展，让独立的第三方能够检验AI系统是否存在偏见和歧视。算法审计类似于财务审计——审计师不是去否定财务报表中每一个数字，而是通过系统性的抽样和检验方法来发现整体层面是否存在重大错误。在AI领域，审计人员需要设计针对性的测试数据集，检验系统在保护人权原则上的表现。

第三，我们需要推动技术民主化，让更广泛的社会群体参与到AI治理的讨论中来。威廉姆斯案的可怕之处不仅在于错误本身，更在于整个事件过程中当事人几乎完全处于被动地位——他无法质疑那个将他定罪的系统，无从了解系统的决策逻辑，也无法在系统做出判断之前获得任何形式的知情同意。当AI系统被用于关系到公民基本权利的决策场景时，受影响者至少应该被告知他们正在被AI系统审视，并且有权选择退出某些类型的自动化处理。这不是要求每个人都成为AI专家，而是要求技术体系的运行具有足够的透明度和可问责性，使得普通公民能够在必要时站出来捍卫自己的权益。

第四，也是最根本的一点：我们需要在全社会层面建立对AI技术的清醒认知，既不陷入技术乌托邦的盲目乐观，也不落入技术恐惧主义的非理性恐慌。AI是一种力量巨大的工具，它既可以被用来改善医疗诊断、加速科学发现、优化资源配置，也可能被用来强化歧视、实施监控、剥夺人权。决定它最终走向的，不是技术本身，而是我们——作为社会整体——对技术的理解、监管和使用。

在结束本章之前，让我们再次回到那个清晨的底特律郊区。

罗伯特·威廉姆斯被关押的那二十六个小时里，他经历了什么？除了身体上的不适——被迫在冰冷的水泥地板上蜷缩入睡，被拒绝提供合适的食物——更深的伤害来自心理层面。作为一个无辜的人被当作罪犯对待，那种屈辱和无力感是难以用语言完全描述的。他后来写道：“我从来没有被逮捕过，那一刻我的脑海中一片混乱。我试图解释，但他们根本不听。我甚至开始怀疑自己是不是真的做了什么我不知道的事情。”

这句话值得每一个读者停下来仔细体会。当一个系统——一个由代码和数据构成、没有任何人类情感的系统——仅仅因为概率计算就宣判你有罪时，它不仅剥夺了你的自由，更从根本上否定了你作为一个独立的、具有尊严的人的个体性。在那一刻，威廉姆斯面对的不是一个具体的人对他的误解或偏见，而是一整套技术体系对他人格的抹杀。

这或许是AI时代最深刻的伦理挑战：当我们习惯了用效率和规模来衡量技术的价值时，我们是否也在不知不觉中学会了用概率和统计来对待每一个具体的人？当算法告诉我们某个人有87%的可能性是嫌疑犯时，我们是否会忘记，那剩下的13%代表着什么？

它代表着一个活生生的人。一个有家庭、有故事、有尊严的人。一个在法律上被推定为无罪的人。

迈克·威廉姆斯（让我们用这个更简短的名字来称呼他）最终得到了一张地方检察官签署的撤诉书。这张纸上写着：“本院经审查现有证据后认为，现有证据不足以支持对上述被告的刑事指控。”从法律意义上说，威廉姆斯洗清了嫌疑。但那张纸上没有写的是：他因这套系统失去的那二十六个小时无法被任何法律文书弥补；他心中留下的不安全感无法通过任何赔偿来完全抚平；而更重要的是，那套导致他被捕的系统至今仍在被使用，甚至被部署到了更多的城市和更多的场景中。

在这个意义上，威廉姆斯的遭遇既是一个结束，也是一个开始。

它是一个故事的结束——一个关于错误逮捕、错误关押和算法失误的故事。但它同时也是一连串更大问题的开始：我们如何确保AI系统是公平的？当技术出错时谁来负责？如何保护每个人在算法时代不被当作统计数据中的一个数据点？

这些问题没有简单的答案。但正是对这些问题的不懈追问，构成了我们这个时代最重要的知识探索之一。