当机器做出判决

那个下午，阳光正好。张明记得很清楚，因为他特意选了一个光线充足的时间——他想让自己看起来精神一些。

这是他毕业后的第三年。三年里，他换了两次工作，从月薪八千攒到了现在的两万出头。他戒掉了游戏，卸载了那些"烧钱"的手游，每个月给父母打五千块，自己只留基本的生活费。他没有谈恋爱，因为谈恋爱太费钱了。他甚至没有买车——尽管公司离租的房子有八公里——因为他觉得，能省下来买房的钱，一分都不能乱花。

他的目标很明确：五年内，在这座城市买一套自己的房子。

首付已经攒得差不多了。三十七万。他算过，只要银行再批四十万的贷款，他就能在郊区买一套两居室。虽然每天要早起一个小时赶地铁，虽然房子小了点、远了点，但那是属于他自己的家。他再也不用担心房东涨价、再也不用担心被赶来赶去、他再也不用在这个城市里飘着了。

他准备好了所有的材料：收入证明、银行流水、社保缴纳记录、公积金缴存证明。他甚至提前把自己的信用报告打印了出来，上面清清楚楚地显示着"信用评分：782分，信用等级：优秀"。

然而，十五分钟后，他走出了银行大厅，手里攥着一张盖着红章的拒绝通知书。

“综合评估未通过”——这是通知书上写的。没有人告诉他为什么。他的收入不低，信用分不低，工作稳定，没有逾期记录。他不明白，他真的不明白。

“大数据评估”“综合信用模型”——柜台职员是这样解释的。她没有恶意，只是机械地重复着那些他听不懂的词汇。当他追问具体是哪个环节出了问题时，她只能摇摇头：“这是系统自动评估的，我们也没有权限查看具体参数……”

系统自动评估的。张明后来试过无数种方法。他打了好几次银行的客服电话，每次都被转接到不同的部门，最后得到同样的回复：“系统评估结果”。他在网上搜索类似的经历，发现这不是个案——有太多人和他一样，被一个“黑箱”拒之门外，却连申诉的门都找不到。

张明不是程序员，他不懂什么机器学习、神经网络。但他隐约感觉到，有一双看不见的手，正在决定他的命运。不是人，是机器。

那天晚上，他躺在出租屋的床上，盯着天花板想了很久。他开始怀疑，自己这三年的努力，是不是在某种算法眼里一文不值？他甚至不知道那个算法长什么样，依据什么做出判断，自己还能做什么才能改变结果。

这是张明的故事，也是我们这个时代千千万万个普通人的故事。

---

算法正在做出关乎我们命运的决定

张明的遭遇并非个例。在我们生活的这个时代，算法已经渗透到社会的每一个角落，它在悄无声息地影响着每一个普通人的命运轨迹。

你申请房贷，算法决定是批准还是拒绝。你去医院看病，AI系统会建议医生做什么检查、开什么药。你在网上刷新闻，算法决定你看什么、不看什么。你找工作投简历，简历筛选系统会先于任何人类HR看到你的资料。你上了年纪的父母可能会收到各种推送——“这是您可能感兴趣的产品”“这是您可能需要的服务”——算法比任何人都了解你们的消费习惯。

而这一切才刚刚开始。

根据国际数据公司（IDC）的统计，2023年全球在人工智能系统和相关服务上的支出已经超过5000亿美元。麦肯锡全球研究院的报告中写道，到2030年，人工智能技术预计将为全球经济贡献约13万亿美元。这意味着，算法将更深、更广地介入人类社会的方方面面。

然而，在算法日益强大的同时，一个根本性的问题却始终没有得到足够的重视：当机器做出关乎我们命运的决策时，我们如何知道这个决策是公正的？当算法出错时，谁来负责？当算法存在偏见时，我们该怎么办？

这正是本书要探讨的核心问题——AI伦理。

---

什么是AI伦理

简单来说，AI伦理是关于人工智能系统如何应该被开发、部署和使用的道德原则与规范。但这个定义太过笼统，它没有告诉我们，为什么这个问题如此重要，以及它如何影响我们每个人的生活。

让我们先从几个核心概念开始。

算法偏见（Algorithmic Bias）。这个词听起来很技术化，但它描述的问题其实非常古老——偏见。人类天生带有各种偏见：种族偏见、性别偏见、地域偏见……当这些偏见被编码进算法时，算法会以前所未有的规模和速度复制和放大这些偏见。不同的是，人类的偏见往往是分散的、个体的、可纠正的；而算法偏见一旦被编入系统，就会被重复执行数十亿次，影响数百万人。

黑箱问题（Black Box Problem）。许多现代AI系统——特别是基于深度学习的系统——被形象地称为“黑箱”。这意味着，即使是最资深的AI工程师，有时候也无法完全解释系统为什么做出某个特定决策。系统可能从数十亿条数据中学习到了某种模式，但这种模式存在于无数的参数之中，人类很难理解。2016年，谷歌的一个图像识别系统将黑人程序员的脸误识别为大猩猩，这件事引发了巨大争议。谷歌后来道歉并修复了这个问题，但更深层的问题始终存在：我们不知道系统在哪些情况下还会犯类似的错误。

可解释性（Explainability）。与黑箱问题相对应的是可解释性的需求。在许多领域，仅仅知道算法做出了某个决策是不够的——我们还需要知道为什么。在司法、医疗、金融这些高风险领域，决策者必须有合理的理由来支撑他们的决定。当算法介入时，这意味着系统必须能够解释它的推理过程。

问责制（Accountability）。这是AI伦理中最核心的问题之一：当算法做出错误决策并造成伤害时，谁来负责？是开发算法的工程师？是部署算法的公司？还是使用算法的机构？现有的法律框架大多是基于人类决策者的行为设计的，当决策者是代码和服务器时，责任如何分配就成了一个悬而未决的问题。

透明度（Transparency）。与可解释性密切相关但又不完全相同。透明度更多指的是决策过程是否可以被外部审查。理想情况下，一个透明的AI系统应该允许独立审计，检查它是否存在偏见、是否按预期运行、是否符合法规要求。但在现实中，大多数商业AI系统都是专有的——它们的代码、训练数据、甚至决策逻辑都被视为商业机密，外界很难进行有效监督。

这些概念交织在一起，构成了AI伦理的基本框架。它们不是孤立存在的——一个领域的突破往往会影响其他领域。例如，如果我们能提高算法的可解释性，那么透明度和问责制的问题也会更容易解决。

---

算法偏见：一个比你想象的更古老的问题

要理解AI伦理为什么重要，我们先要明白算法偏见是如何产生的，以及它为什么如此难以消除。

算法偏见不是凭空出现的，它往往源于训练数据。机器学习系统通过分析大量历史数据来“学习”做决策。如果历史数据本身存在偏见——而历史数据几乎总是存在偏见——那么算法就会学会并延续这些偏见。

这在实践中意味着什么？让我们看几个真实的例子。

2014年，亚马逊开始开发一个AI招聘系统。这个系统的目标是自动筛选简历，找出最优秀的候选人。听起来很美好，不是吗？但问题在于，这个系统是用亚马逊过去十年的简历数据进行训练的——而这十年中，公司的大多数新员工都是男性。结果呢？系统学会了将男性简历置于女性简历之上。它会给包含“女性”一词的简历降分——比如“女子篮球队队长”——而倾向于选择那些更像传统男性简历的候选人。

亚马逊最终在2018年解散了这个团队。但这个案例揭示了一个深刻的问题：我们用来训练AI系统的“正确答案”，本身就是历史的产物。算法不是偏见的原因，它只是偏见的放大器。

2016年，美国新闻机构ProPublica对一款名为COMPAS的量刑辅助系统进行了深入调查。COMPAS被美国多个州的法院使用，用于评估被告人的“再犯风险”——也就是他们将来再次犯罪的可能性。风险越高，量刑可能越重。

ProPublica的分析发现了一个惊人的事实：黑人被告被错误地标记为高风险的概率几乎是白人被告的两倍。更具体地说，黑人被告中有44%被COMPAS标记为高风险，而白人被告中只有23%。反过来，当白人被告被标记为低风险时，他们实际上后来再次犯罪的比例是48%；而黑人被告被标记为低风险时，实际再犯率是28%。

换句话说，系统在两个方向上都犯了错：它更可能把黑人错误地标记为高风险，也更可能把白人错误地标记为低风险。但这两种错误的后果并不对称——被标记为高风险可能导致更重的刑罚，即使这个标签是错误的。

这个案例特别重要，因为它发生在司法领域。司法系统被认为是现代社会最追求公正的地方——无罪推定、程序正义、证据标准……这些原则经过几百年的发展才建立起来。然而，当算法介入时，这些原则面临新的挑战。

COMPAS系统的开发商ProPublica坚称他们的系统是可靠的，并质疑ProPublica的分析方法。这场争议至今仍在继续。但它揭示了一个更根本的问题：当我们用“准确率”“再犯率”这些数字来评估一个系统时，我们必须问：这些数字对谁而言是“准确”的？受益者是谁？受损者又是谁？

---

不只是司法和招聘：算法无处不在

你可能觉得COMPAS案例离你很远。你不犯罪，不会在美国受审，不会有这种风险。但请想象一下：你去医院看病。

2023年，《自然》杂志报道了一个令人不安的发现：一种广泛使用的医疗AI系统，在为不同种族的患者提供治疗建议时，存在显著差异。这个系统被用于帮助医生决定哪些患者应该接受进一步检查，但它使用的风险评分中包含了患者保险状况这一因素。结果呢？有私人保险的患者更容易被推荐进行进一步检查，而公共保险的患者——往往是收入较低的人群——更容易被忽略。

这意味着，即使医生的意图是治病救人，算法也会系统性地偏袒某些人群。

类似的偏见也出现在金融领域。除了我们开头讲到的房贷申请，还有信用卡额度、保险定价、小微企业贷款……几乎所有涉及“信用评估”的场景，算法都在发挥越来越大的作用。2019年，监管机构发现，某些消费金融公司在审批贷款时，使用的信用评估模型对少数族裔社区存在系统性歧视。

在社交媒体领域，算法推荐系统对公共话语的影响更是引发了广泛担忧。2018年，Facebook的内部文件被泄露，显示其推荐算法倾向于推送极端化和分裂性的内容，以最大化用户参与度——而参与度意味着更多的广告收入。同年，剑桥分析丑闻曝光：一家数据分析公司通过Facebook获取了数千万用户的数据，并利用这些数据进行了精准的政治广告投放，据称影响了多场重要选举。

你可能认为你只是在刷短视频消磨时间，但算法正在决定你看到什么样的信息，而这些信息会影响你的认知、你的态度、你的选择——最终影响你作为一个公民做出的决定。

2021年，一群谷歌员工向公司高层写了一封内部信，表达了他们的担忧。这封信后来被泄露给媒体。信中写道：“我们不是不理解算法推荐的价值，但我们担心它在被武器化。我们担心它在煽动分裂、传播仇恨。我们担心，即使在最好的情况下，它也在剥夺人们对信息的自主选择权。”

---

为什么是现在：一个时代的转折点

AI伦理并不是一个新话题。事实上，早在1950年代，计算机科学先驱阿兰·图灵就在思考机器能否“思考”的问题。但为什么在2020年代的今天，这个问题变得如此紧迫？

第一个原因是规模和速度。传统的人类决策偏见存在于个体层面，影响有限。但算法偏见一旦被编码，就可能被部署到全球，数以亿计的人同时受到影响。而且算法的执行速度是毫秒级的——在你眨眼的功夫里，它已经做出了影响你生活的决定。

第二个原因是不可见性。人类决策者至少是可见的——你可以追问他为什么做出这个决定，可以对簿公堂，可以要求他解释。但当决策来自一个黑箱系统时，你面对的是一面空白的墙。前面提到的房贷案例就是一个典型：张明被拒绝了，但他甚至不知道拒绝他的理由是否合理。

第三个原因是权力不对等。当你对一个人类决策者不满时，你可以投诉、申诉、上诉、找媒体曝光、诉诸法律。但当你面对一个商业AI系统时，你能做什么？你既不知道它的决策逻辑，也没有办法和一个“系统”进行对话。现有的申诉机制大多形同虚设——因为连人工审核者也无法看到算法是如何做出判断的。

第四个原因是制度滞后。我们用来规范商业活动的法律体系大多形成于工业时代，它们是为人类行为设计的。当算法开始做出决策时，现有的法律框架往往不知道如何适用。举例来说，如果一个AI系统导致了歧视，谁应该被起诉？开发者？使用者？所有者？当算法“自主”做出决策时，传统的过失责任理论如何适用？

欧盟可能是最早正视这个问题的主要经济体。2021年，欧盟提出了《人工智能法案》（AI Act）草案，这是世界上第一个专门针对AI的综合性立法框架。该法案根据AI系统的风险等级进行了分类，对高风险系统设置了严格的合规要求，包括：

• 训练数据的质量控制
• 技术文档和日志记录
• 人类监督机制
• 透明度和信息披露义务
• 风险管理流程

高风险AI系统的定义包括用于招聘、信贷评估、教育评估、司法行政、公共服务的AI系统。违反规定的公司可能面临高达全球年营业额6%的罚款。

美国采取了不同的路径。联邦层面没有统一的AI法规，但各州开始自行立法。2023年，加州提出了多项AI相关法案，涉及算法透明度、深度伪造监管、AI生成内容的标注要求等。同时，美国的消费者金融保护局和公平借贷机构也在加强对算法信贷决策的审查。

中国的做法则介于两者之间。2021年，中国发布了《互联网信息服务算法推荐管理规定》，这是世界上第一部专门针对算法推荐系统的法规。该规定要求平台向用户提供关闭算法推荐的选项、禁止利用算法诱导用户沉迷或过度消费、保护劳动者在算法面前的权益等。

这些不同的监管路径反映了一个根本性的问题：如何在促进技术创新和保护个人权益之间找到平衡？

---

亚马逊仓库的工人与量刑台上的被告

在深入讨论之前，让我们回到两个具体的场景，再次审视算法如何影响了普通人的生活。

场景一：亚马逊仓库

2019年，《卫报》和《镜报》的联合调查披露，亚马逊在美国运营的仓库中，普遍使用一套自动化的工人绩效监控系统。这套系统可以精确追踪每位员工从货架上取货的速度、包装的重量、甚至如厕的时长。

系统会给每个工人打分。如果你的“生产率”持续低于某个阈值，系统会自动生成警告，最终可能导致解雇。整个过程几乎不需要任何人工干预。

亚马逊在一份声明中表示，这套系统是为了“帮助员工提高工作效率”，并声称大多数被解雇的工人都有机会申诉。但调查发现，工人们普遍反映申诉几乎无效——因为算法生成的警告被认为是“客观数据”，而员工的解释被认为是“主观意见”。

这背后是一个更深刻的问题：当你的工作表现被量化为一个数字，而这个数字由算法决定时，你还能质疑这个衡量的准确性吗？当算法的目标是最大化效率时，它是否考虑过工人的身心健康？

类似的争议不只发生在亚马逊。2021年，国际劳工组织的一份报告显示，全球范围内，越来越多的雇主开始使用AI系统监控员工行为，包括工作时长、键盘活动、社交媒体发言、甚至情绪状态。这些监控引发了严重的隐私担忧和心理压力。

场景二：量刑台上的算法

回到我们之前讨论的COMPAS系统。在美国一些州，法官在量刑时会被建议参考算法生成的“风险评估报告”。这份报告会列出被告的再犯风险等级——比如“高风险”“中等风险”“低风险”。

理论上，这些报告只是“建议”，最终决定权在法官手中。但研究发现，法官往往会采纳这些建议——特别是在不确定的时候。而当你坐在被告席上，面对可能的牢狱之灾时，“不确定”是一个很可怕的词。

被告的律师面临一个困境：他们几乎不可能挑战算法系统的准确性。这些系统是商业开发的，代码被视为商业机密。他们不知道系统如何计算风险，不知道它使用了哪些特征（是否包括种族？收入水平？住址邮编？），甚至不知道这个系统在自己的州是否经过验证。

ProPublica在报告中写道：“我们不是在指控任何人有意为恶。我们想说的是，一个被秘密算法标记为高风险的公民，在面对量刑时应该有权知道这个标签的依据是什么。否则，‘法律面前的平等保护’就成了一句空话。”

这两个场景代表了算法决策的两个极端：一个是工作场所的效率优化，一个是司法系统的生命自由。但它们揭示了同一个核心矛盾：当算法做出决策时，谁来保护被决策者的权益？

---

解开黑箱：技术、法律与伦理的交织

面对这些挑战，人类社会正在多条战线上寻求解决方案。

技术层面的努力：可解释AI

首先是技术。计算机科学家们正在努力开发“可解释AI”（Explainable AI，XAI）技术。这个领域的核心目标是让AI系统的决策过程对人类可理解。

一种方法是开发事后解释技术——即使原始模型是一个黑箱，研究人员也可以通过分析输入和输出的关系，构建一个“代理模型”来近似解释决策过程。例如，研究人员可能发现，在某个贷款审批模型中，“居住地区邮编”和“还款能力”这两个特征的组合，对最终决策有重大影响。

另一种方法是设计本质上可解释的模型。例如，决策树模型——顾名思义，它像一个树状图，每一步决策都清晰可见。相比之下，深度神经网络有数百万个参数，决策过程难以追踪。

麻省理工学院的一位教授曾用过一个比喻：想象你去看医生，医生说“你需要做手术”，但拒绝解释为什么。你会怎么想？你大概会换一家医院，或者至少要求更多解释。但当这个“医生”是一个AI系统时，你往往没有这个选项。

可解释AI的目标就是改变这种状况。但必须承认，在准确性和可解释性之间往往存在权衡：更复杂的模型通常更准确，但更难解释；而更简单的模型更容易解释，但可能在某些情况下不够准确。

法律层面的探索：建立问责框架

其次是法律。如前所述，各国正在尝试建立不同的监管框架。但核心问题始终是：如何定义责任？

一种思路是“谁使用谁负责”。也就是说，无论谁开发的系统，使用者——比如银行、医院、法院——必须为系统造成的任何伤害承担责任。这个思路的好处是，它不会因为AI是新事物就有借口回避责任。但问题在于，使用者往往也不完全理解系统是如何工作的，他们可能只是盲目依赖了供应商的系统。

另一种思路是“整个供应链责任”。这意味着从开发者到部署者到使用者，整条链条上的每个参与者都要承担相应责任。这更符合现代产品责任的逻辑——你买了一辆车出了问题，不仅制造商有责任，销售商也可能被追责。

还有一种思路是建立专门的监管机构。类似于食品药品监管局，这些机构可以制定标准、审查系统、发放许可、监督合规。这是一种“事前预防”的思路，而不是等到伤害发生后再去追责。

每种方案都有优缺点。欧盟的AI法案采用了风险分类的方法，对高风险系统设置了全面的合规要求；美国更倾向于事后追责和行业自律；中国则强调平台责任和算法治理的透明度。

伦理层面的反思：技术之外的思考

但如果我们仅仅在技术和法律层面讨论AI伦理，可能会错失更根本的问题。算法偏见不仅仅是一个技术问题——它是社会偏见的技术反映。

哈佛法学院的一位教授曾写道：“我们不能指望算法来解决算法造成的问题。如果训练数据中包含了历史性的歧视，算法会学会这些歧视。我们真正需要做的是反思：这些历史性的歧视是否应该被延续？”

这是一个深刻的问题。算法可以被设计成“色盲”的——它们在评估时可以选择忽略种族、性别这些受保护属性。但问题是，历史上种族和性别往往与其他因素高度相关——教育机会、职业选择、居住区域、财富积累——这些因素仍然会通过算法“代理”进入决策过程，导致间接歧视。

更根本的问题是：我们应该如何衡量“公平”？

这听起来像是一个纯技术问题，但实际上是深刻的伦理问题。统计学家发