当机器开始做决定

第1章：当机器开始做决定

你的晚饭，是谁点的？

晚上七点，你刚加完班回到家，肚子咕咕叫。你掏出手机，打开外卖App，手指在屏幕上划了几下——糖醋排骨、麻婆豆腐、一碗米饭。确认下单。二十三分钟后，门铃响起，热腾腾的饭菜送到门口。

这个场景再平常不过了。但你有没有想过一个有趣的问题：从你点击“确认下单”到外卖小哥敲响你家的门，这二十分钟里，到底发生了什么？

表面上，是你做出了选择。你选择了菜品，选择了商家，选择了配送时间。但实际上呢？你翻过的那些店铺，是平台按什么顺序呈现给你的？你最后下单的那家糖醋排骨，真的是你的“自由意志”吗？还是说，在你滑动屏幕的那一刻，某种看不见的力量，已经悄悄替你做了决定？

让我们来复盘一下刚才发生的事。

首先，平台知道你住在哪里——这不奇怪，你注册时就填了地址。平台也知道现在是七点，正是晚饭时间——这也不奇怪，它记录了你长期的使用习惯。平台甚至知道，你最近加班很累，可能想吃一顿丰盛的饭菜犒劳自己——这也是可以推断的，毕竟你上周连续点了四天轻食沙拉。

于是，在你打开App的那一瞬间，一个算法开始运转。它在你的海量数据中穿梭——你的消费记录、你的浏览历史、你的停留时间、你滑动屏幕的快慢、你下单的时间规律、你上次给商家打的星级、你平时愿意为配送等待多久——然后，它为你“定制”了一个首页。

这个首页上的店铺顺序，是经过精密计算的。它要平衡的因素包括：商家的出餐速度、骑手的配送路线、你的等待预期、平台的抽成比例、商家的营销费用、你成为“回头客”的概率、平台整体的订单峰值分配……等等。这是一个极其复杂的优化问题，每一秒都在被计算，每一秒都在被重新计算。

而你看到的，只是一个简单的列表。

这不是科幻小说。这是每一个普通人每天都在经历的现实。我们生活在一个被算法包围的世界里，而这些算法，正在越来越多地替我们做决定——做什么、买什么、看什么、和谁聊天、去哪里、怎么去。

问题是，我们准备好了吗？

短视频的“猜你喜欢”，比你更懂你

如果说外卖平台还在“建议”你做决定，那么短视频平台已经开始“预判”你了。

张阿姨今年五十三岁，退休在家帮忙带孙子。她有一个习惯，每天晚上等孙子睡下后，会躺在床上刷一个小时的短视频。刷什么呢？主要是两部分内容：一是广场舞教学视频，二是各种婆媳关系的家长里短。

某天晚上，张阿姨刷到一个视频，讲的是一个年轻媳妇如何被婆婆刁难，结果媳妇巧妙反击，让婆婆当场下不来台。张阿姨看完，觉得挺过瘾，顺手点了个赞。

然后，奇怪的事情发生了。

第二天晚上，张阿姨打开App，发现首页推荐的内容变了。广场舞视频少了很多，取而代之的是大量婆媳斗法的剧情短视频。张阿姨越看越生气——现在的年轻人怎么这样？婆婆好歹是长辈，怎么能这么不尊重老人？

第三天，推荐的内容更极端了。什么“婆婆害死儿媳”、“媳妇联合儿子把婆婆赶出家门”，一个比一个狗血。张阿姨越看越焦虑，甚至开始代入自己的家庭关系，想起了儿子结婚时和儿媳的一些不愉快往事。

一周后，张阿姨发现自己每天刷短视频的时间从一小时变成了三小时。不是因为她想刷这么久，而是因为算法总是能精准地推送让她停不下来的内容。她开始和儿媳的关系紧张，动不动就找茬。家庭矛盾日益加剧。

这不是某个老人的个别遭遇。这是一套推荐算法的“正常工作”。

这套算法的目标函数很简单：最大化用户的停留时间。用户停留得越久，平台能展示的广告就越多，收入就越高。为了达成这个目标，算法会想方设法“讨好”用户——给它看它喜欢的内容。

问题是，什么是“你喜欢”的内容？

从神经科学的角度来说，人类的大脑天生对冲突、矛盾、负面情绪敏感。一条让人愤怒的内容，往往比一条让人平静的内容能获得更多的点赞和评论。而点赞和评论，正是算法判断“用户喜欢”的核心指标。

于是，一个自我强化的循环形成了：用户看了一个争议性内容→算法判断用户喜欢这类内容→推送更多类似内容→用户反应强烈，继续点赞评论→算法更加确定用户喜欢→推送更多→用户陷得更深……

最终，算法“塑造”了一个你。这个“你”，不是真正的你，而是算法希望你成为的那个你——一个对特定内容上瘾、对特定情绪敏感的“用户画像”。

你以为是自己在选择看什么，实际上是算法在决定你应该看什么。而你，已经在这个过程中，不知不觉地被改变了。

算法决定谁先拿到救命药

如果说短视频的“算法偏见”只是让你多看了几条无聊视频，那么有些场景，算法的影响就要严重得多。

2021年，全球新冠疫情仍在肆虐。英国一家医院引入了一套人工智能系统，用于辅助医生决定哪些新冠患者应该优先进入重症监护室（ICU）。

这套系统的逻辑是：ICU床位是稀缺资源，必须把资源分配给最有可能被救活的人。因此，算法会分析每个患者的数据——年龄、基础疾病、当前症状的严重程度、各项生命体征——然后计算一个“生存概率”。分数越高的患者，越应该优先获得ICU床位。

听起来很合理，对吧？用科学的方法，把有限的医疗资源分配给最需要、最能受益的人，避免资源浪费，也避免无效救治。

但问题是，这套系统忽略了一个至关重要的因素：种族。

研究表明，某些少数族裔群体在感染新冠后，症状表现可能与主流族裔不同。例如，一些少数族裔患者的血氧水平可能天生偏低，如果按照统一标准判断，可能会被错误地评估为病情更严重或更轻微。

最终，这套AI系统导致了少数族裔患者获得ICU床位的概率显著低于白人患者。算法没有明说“拒绝给黑人治疗”，但它的实际效果就是这样。

这不是蓄意歧视，而是算法设计中的隐性偏见（Implicit Bias）。开发这套系统的人可能从未想过要把黑人排除在外，他们只是用了最常见的数据、最通用的模型、最直觉的指标。但正是这些“无心之失”，让算法复制甚至放大了现实社会中已经存在的结构性不平等。

另一个案例发生在美国。

2019年，纽约市的一家医院被发现其分诊系统存在严重的种族偏见。这套系统用于决定哪些胸痛患者应该接受更详细的心脏检查。结果显示，黑人患者被推荐做进一步检查的概率，显著低于白人患者。即使两人的症状完全相同。

调查发现，这是因为系统的训练数据中，黑人患者接受心脏检查的历史比例本身就较低——而这个较低的比例，很可能源于历史上医疗系统对黑人的系统性忽视。

你看，这是一个逻辑闭环：过去的数据反映了过去的偏见→算法学习了过去的数据→算法复制了过去的偏见→未来又产生了新的数据→新的数据又强化了旧的偏见。周而复始，无穷无尽。

算法的可怕之处不在于它冷酷无情，而在于它把偏见包装成了客观中立，把歧视伪装成了科学计算。当一个决定被冠以“人工智能”、“大数据”、“客观分析”的名头，人们往往倾向于认为它是公正的、无可置疑的。

但事实是，算法从来不是客观的。算法是人设计的，用的是人的数据，反映的是人的偏见，服务的是人的利益。

当算法决定你值不值得被录用

离开医疗场景，让我们把目光转向另一个同样重要的领域：职场。

2023年，某互联网大厂启动了一场大规模的校招。简历筛选环节，公司引入了一套AI系统，用于从数万份简历中快速筛选出“有潜力”的候选人。这套系统会分析简历中的关键词、学历背景、实习经历、项目经验，甚至还会结合候选人在笔试中的表现、社交媒体上的公开信息，进行综合打分。

一位来自某211高校的应届生小王，投递了这家公司的产品经理岗位。他GPA排名前10%，有两段知名互联网公司的实习经历，还在在校期间主导了一个创业项目。按理说，这样的简历应该很有竞争力。

但小王在简历筛选阶段就被淘汰了。他百思不得其解，托人打听原因，得到的反馈是：“你的简历和岗位的匹配度不够高。”

匹配度？这个概念本身就很有意思。谁来定义什么叫“匹配”？什么样的人才叫“合适”？这些判断的背后，是一套什么样的价值体系？

小王后来分析了自己的简历和那些通过筛选的同学的简历，发现了一个有趣的规律：通过筛选的人，普遍有一段“镀金”经历——要么参加过某些特定的培训项目，要么在某些特定的平台上发表过内容，要么拥有某些特定的技能证书。

这些“镀金”标签，是怎么来的？仔细追溯，你会发现它们往往指向某些特定的圈子、某些特定的资源、某些特定的阶层。一个来自小镇、没有背景、全靠自学成才的年轻人，可能根本没有机会接触这些“镀金”资源，因此他的简历在算法眼里天然就是“低分”的。

这公平吗？

从算法的角度来说，这当然“公平”——它一视同仁地给所有简历打分，没有掺杂任何个人情感。但从社会学角度来说，这恰恰是最不公平的。因为算法“公平地”复制了阶层固化的逻辑，让有钱有资源的人更容易获得机会，让没钱没资源的人更难突破天花板。

更可怕的是，当算法做出的决定被包装成“客观评估”，人们对这种不公平的感知就会被钝化。一个没有被录用的候选人，很容易陷入自我怀疑——“是不是我不够优秀？是不是我技不如人？”——而不会去质疑这套评估体系本身是否合理。

算法的权力越来越大

你可能觉得，上面这些例子离你的生活很远。外卖平台多等几分钟，短视频多看几个小时，医院的决定、公司的招聘——这些事情确实存在，但似乎都发生在某些特定的领域，不影响我的日常生活。

但事实是，算法的触角正在以惊人的速度扩张。

你的信用卡额度，是算法决定的。银行会根据你的消费记录、还款历史、社交关系，甚至你手机里安装了哪些App，来评估你的信用风险。如果你的社交圈子里有信用不良的人，算法可能会降低你的额度——尽管你和那些人可能只是因为住在同一个小区而在社交网络上产生了交集。

你的贷款利率，是算法决定的。相同的贷款申请，不同的人可能拿到完全不同的利率。这其中的差异，可能源于算法对“优质客户”的定义——而这个定义，往往与种族、性别、邮编等敏感因素存在隐秘的相关性。

你租房的时候，房东可能也在用算法筛选租客。一套自动化的背景调查系统，会根据你的信用记录、犯罪记录、租房历史，甚至你的社交媒体发言，来判断你是不是一个“合格的租客”。如果你是刚毕业的外地年轻人，没有本地信用记录，算法可能会倾向于拒绝你——尽管你可能是一个准时付租、爱护房屋的好租客。

你的保险费用，是算法决定的。车险公司会根据你的驾驶习惯、行驶里程、居住社区、甚至你的信用分数来定价。如果你住在某个特定区域，即使你从未出过事故，你的保费也可能比另一个区域的人高出很多。

你点开新闻App，看到的“热点新闻”是算法推送的。你打开音乐App，听到的“推荐歌曲”是算法挑选的。你刷朋友圈，看到的“热门动态”是算法排序的。你网购，首页展示的商品是算法排列的。

算法正在接管越来越多的决策权。这些决策，关系到你的钱、你的时间、你的机会、你的形象、你的社会评价——甚至你的健康和生命。

而你对此几乎一无所知。

什么是算法黑箱？

更让人不安的是，这些算法往往是不透明的。

当你被拒绝贷款时，银行只会告诉你“综合评分不足”，不会告诉你具体是哪个因素扣了分、扣了多少分。当你没有被录用时，招聘方只会说“不太合适”，不会告诉你你的简历在哪个环节出了问题。

这种不透明，恰恰是算法权力最可怕的地方。

传统的人类决策，至少还有一个追责的对象。如果一个HR因为偏见拒绝了你，你可以投诉他、起诉他、曝光他。但当一个算法做出同样的决定时，你投诉谁？起诉谁？算法没有情感，没有利益，没有立场——至少表面上看是这样。

这种“无主体性”让算法的决策变得难以挑战。算法成了一个新的“负责人”，一个不需要承担道德责任的决策者。一个黑箱，一扇关上的门，你只知道输入和输出，中间发生了什么，你无从知晓。

这引出了一个核心概念：算法黑箱（Algorithmic Black Box）。

算法黑箱指的是算法的决策过程不透明、不可解释、不可审计的状态。就像一个黑箱一样，你往里面输入数据，它输出结果，但中间的转换过程是一个谜。

在某些领域，这个黑箱是无害的。短视频推荐算法给你的内容不够好，你最多就是多看了几条无聊视频。但在另一些领域，这个黑箱可能是致命的。一个被算法错误判断为“高风险”的患者，可能因此得不到及时的治疗。一个被算法错误标记为“不合格”的候选人，可能因此错失整个职业生涯。

我们需要打开这个黑箱。

我们需要知道，算法到底在想什么。它看重什么指标？它忽略什么因素？它的决策逻辑是什么？它有没有偏见？它的偏见来自哪里？

只有打开黑箱，我们才能审视它、质疑它、纠正它。

当机器开始做决定，我们怎么办？

这把我们带到了本书最核心的问题：当机器开始越来越多地替人类做决定，我们需要什么样的伦理框架来规范它？

这个问题的紧迫性在于，人工智能的发展速度已经远远超出了我们建立规范的速度。每年有数十亿美元流入AI领域，无数新的算法、新的应用、新的场景被开发出来。但这些技术和应用背后，有多少是经过了伦理审视的？有多少是被怀疑会产生负面影响的？有多少是在造成伤害之后才被叫停的？

答案是：少得可怜。

很多AI系统是在“事后补救”的模式下运行的：先上线，再观察，有问题再改。但有些伤害一旦造成，是无法弥补的。一个因为算法偏见而被错误拒绝的求职者，可能就此错过了职业发展的关键窗口期。一个因为算法错误判断而延误治疗的病人，可能就此失去了活下去的机会。

我们不能总是等到伤害发生后再来反思。我们需要在设计阶段就把伦理纳入考量。

但什么是“AI伦理”？它具体包含哪些内容？它和传统的伦理有什么区别？它如何在技术层面落地？

这些问题，正是本书接下来要深入探讨的。

伦理的ABC框架

在进入具体章节之前，让我先为你勾勒一个整体的分析框架。这个框架将帮助我们在面对各种AI伦理问题时，有一个清晰的思考路径。

我把这个框架称为“伦理的ABC”——三个相互关联的维度：公平（Accountability）、透明（Transparency）、尊严（Dignity）。

公平（Accountability），指的是谁应该为算法的决策负责。当一个AI系统做出错误决定时，谁来承担后果？是开发者？是使用者？是部署机构？还是AI本身？传统的法律框架是为人设计的，当决策者变成了代码，责任如何划分？这些问题不解决，受害者就无处维权，不公就无处伸张。

透明（Transparency），指的是算法的决策过程是否可以被理解和审查。算法为什么做出这个决定？它参考了哪些因素？它的逻辑是什么？它有没有偏见？透明度是问责的前提——如果我们不知道算法在想什么，就无法判断它是否公正、是否合理、是否合法。

尊严（Dignity），指的是算法是否尊重作为人的基本价值。人类不应该被简化为数据点，不应该被降格为“用户画像”，不应该在不知情的情况下被操纵、被分类、被决定。人应该有选择的权利、有被尊重的权利、有保持自主性的权利。这些权利，在算法时代同样不可剥夺。

这三个维度相互支撑、缺一不可。没有公平，透明就失去了意义；没有透明，公平就无法验证；没有尊严，公平和透明都变成了技术游戏。

本书的每一章，都会从这三个维度来分析具体的AI伦理问题。我们会探讨算法偏见与公平问题，探讨算法透明度与可解释性问题，探讨人工智能对人类自主性的影响，也会探讨隐私保护、数据权利、人机关系等更广泛的议题。

但首先，我们需要先弄清楚一件事：算法为什么会产生偏见？这些偏见是从哪里来的？

偏见的根源：数据、模型与人

算法偏见不是凭空产生的，它有其深刻的根源。要理解这些根源，我们需要把算法拆开来看。

一个AI系统，从本质上说，就是一个从输入到输出的映射函数。这个函数是怎么建立起来的？答案是：通过学习数据。

开发者会收集大量的历史数据，这些数据包含了过去的输入和输出。例如，如果我们想训练一个简历筛选系统，我们需要收集过去的简历数据和对应的录用结果。然后，算法会在这些数据中找到规律，建立起输入（简历特征）和输出（是否录用）之间的联系。

这个过程听起来很客观，但问题恰恰出在这里。

第一，数据本身可能是有偏见的。如果历史数据反映的是过去存在的歧视和偏见，那么算法学到的是同样的歧视和偏见。一个招聘系统的训练数据如果显示过去录用的人主要是男性，算法就会认为男性更“适合”这个岗位，从而在评估时倾向于给男性候选人更高的分数。这就是我们前面提到的美国医院分诊系统的例子——历史数据中的种族不平等，被算法忠实地复制了。

第二，模型的设计者可能有偏见。即使数据是“干净”的，开发者在选择特征、定义标签、设定目标函数的过程中，也会带入自己的假设和偏好。例如，一个信用评估系统把“居住稳定性”作为一个重要特征，这可能反映了开发者的一个隐含假设：经常搬家的人是“不可靠”的。但这个假设本身是否公正？它有没有考虑到有些人是因为工作原因被迫搬家？有没有考虑到某些少数族裔因为历史原因更难获得稳定的住房？

第三，算法的目标可能与公平冲突。算法的目标是开发者和使用者设定的。如果设定目标是“最大化点击率”，算法就会推送让人上瘾的内容，即使这可能损害用户的长期利益。如果设定目标是“最大化资源利用效率”，算法可能会牺牲少数群体的利益，即使这在统计学上是“最优”的。目标函数决定了算法的行为，而目标函数的选择本身就是一个伦理问题。

第四，算法的规模化效应会放大偏见。人类决策者的偏见影响的范围有限，但算法的偏见一旦部署，可能会影响数百万人。规模效应让算法偏见成为一个社会问题，而不仅仅是个人问题。

理解了偏见的根源，我们就知道，算法伦理不能仅仅是对算法进行“道德审查”——它需要在数据的采集、模型的训练、目标的设定、系统的部署、结果的应用等各个环节都嵌入伦理考量。

一个思想实验：电车难题的AI版

为了帮助大家理解AI伦理问题的复杂性，我想请你做一个思想实验。

假设你是一个自动驾驶汽车公司的工程师。你们公司正在研发一款L5级别的自动驾驶汽车——也就是说，在任何情况下都不需要人类干预，车辆完全由AI控制。

现在，你面临一个两难的设计问题。

这款汽车在遇到不可避免的碰撞时，应该如何决策？具体来说，有两种可能的设计方案：

方案A：保护乘客最大化。当碰撞不可避免时，系统会优先保护车内乘客的安全。这意味着在某些情况下，可能会撞到车外的行人或其他车辆。

方案B：整体伤害最小化。当碰撞不可避免时，系统会计算所有可能的碰撞方案，然后选择造成整体伤亡最小的方案。这意味着在某些情况下，可能会牺牲车内乘客来保护更多车外的人。

你会选择哪个方案？

如果你选择方案A，你会怎么看待那些因为你的选择而丧生的车外行人？他们也是生命，为什么他们的安全要被放在次要位置？仅仅因为他们不在车里？

如果你选择方案B，你会怎么看待那些因为你的选择而丧生的车内乘客？他们选择相信你们公司的技术，结果却因为保护别人而失去了生命？这是他们“同意”的风险吗？作为消费者，他们是否有权知道自己购买的汽车可能会“牺牲”自己？

这个问题没有标准答案。它涉及到功利主义与义务论的冲突、个人权利与集体利益的权衡、风险分配与责任归属的问题。而这些问题，正是AI伦理的核心议题。

更有趣的是，即使你选择了某一个方案，你还面临着更多的问题。

谁来决定哪个方案是“正确的”？是工程师？是公司管理层？是政府监管机构？还是每一个消费者个体？如果是消费者个体，他们有权在购买汽车时选择“牺牲自己”还是