第一章：代码即法——当算法开始裁决

代码即法——当算法开始裁决

故事：从一纸报告到六年牢狱

2013年8月的一个清晨，威斯康星州拉克罗斯县法庭内弥漫着一种不同寻常的紧张气氛。46岁的埃里克·卢米斯坐在被告席上，神情恍惚地望着面前厚厚的卷宗。他因涉嫌偷窃汽油、非法闯入和持有盗窃工具而被起诉，这些罪名在威斯康星州最高可判处十年以上的监禁。但真正让他夜不能寐的，并非即将面临的刑期本身，而是一份他从未谋面的“证人”出具的秘密报告。

这份长达数十页的报告出自一个名为“COMPAS”的算法系统。COMPAS全称“Correctional Offender Management Profiling for Alternative Sanctions”，即“替代制裁矫正罪犯管理画像系统”。它由一家名为“公正天平”（Equivant）的公司开发，专门用于评估被告人的“再犯风险”——换句话说，预测一个人在获释后是否会再次犯罪。

在卢米斯案件中，COMPAS系统给出了令人震惊的结论：他的“风险等级”为最高级别——红色，代表“高再犯风险”。报告中写道，该系统“强烈建议”法官在量刑时考虑这一因素。负责此案的法官判决卢米斯入狱六年，理由是他的“风险状况”。当卢米斯的辩护律师询问这份报告的具体依据时，检方的回答令人齿冷：这是商业机密，不能公开。

卢米斯案的判决在当时的美国社会并未引起广泛关注，但它却像一颗深埋的种子，在随后的岁月里逐渐发芽，最终成为引爆公众对算法决策系统关注的关键事件。2016年，著名新闻机构ProPublica发布了一份轰动性的调查报告，揭露了COMPAS系统在种族偏见问题上的严重缺陷。调查数据显示，COMPAS系统错误地将黑人被告标记为“高风险”的概率几乎是白人被告的两倍——黑人被误判为高风险的比例高达44.9%，而白人仅为23.5%。更令人不安的是，系统将真正会再犯的低风险白人被告错误标记为“高风险”的比例，也远高于对黑人被告的同类误判。这意味着无论你是黑人还是白人，COMPAS系统都可能对你做出错误的判断，但它错误的方式却呈现出明显的种族不平等。

卢米斯案的深远影响在于它揭开了一个长期被忽视的现实：算法正在成为现代社会的隐形裁判。从法庭上的量刑建议到监狱里的假释评估，从信贷机构的信用评分到社交媒体的内容审查，从求职申请的简历筛选到保险公司的保费定价，算法系统正以前所未有的深度和广度渗透进我们生活的每一个角落。它们无声无息地运行着，却可能在关键时刻决定一个人的命运——决定谁能获得贷款、谁会被逮捕、谁将失去工作、谁的声音会被压制。

这不禁让我们追问：当算法开始裁决，当代码成为法典，我们是否正步入一个前所未有的新型权力时代？当一个人的自由、财产、机会甚至尊严都可能被一个黑箱般的系统所左右时，我们该如何理解这种权力的本质？传统的法律框架是否仍然适用于规制这种新型权力？如果答案是否定的，那么我们需要怎样的新规则和新思维？

这些追问构成了本书的核心关切。在接下来的章节中，我们将踏上一段跨越两个多世纪的智识之旅，从19世纪末的择优录取制度讲起，途经20世纪中叶的信用评分系统，最终抵达21世纪纷繁复杂的机器学习模型。我们的目标不是简单地批判或赞美算法，而是试图理解技术权力演进的内在逻辑，探讨在一个日益被代码塑造的世界里，人类权利的边界究竟在哪里，又该如何守护。

历史的镜像：从人头税到风险评分

当我们审视今天的人工智能系统时，一个常见的误解是认为这种算法裁判是21世纪的全新产物。然而，历史的望远镜向我们揭示了一个不同的画面：使用客观化、数据化的指标来评估和分类人的做法，有着远比我们想象更为悠久的历史根脉。

让我们将目光投向19世纪末的工业化美国。1883年，美国联邦政府正式实施了“彭德尔顿公务员改革法案”（Pendleton Civil Service Reform Act），确立了以“功绩制”（merit system）为核心的文官选拔原则。在此之前，政府职位通常通过“分赃制度”（spoils system）分配——新总统上任后，大批忠诚的支持者会获得政府岗位作为奖赏。彭德尔顿法案改变了这一切。它引入了竞争性考试制度，要求公务员候选人通过客观测试来证明自己的能力。这场改革的初衷是好的：消除政治腐败，提高政府效率，让最有能力的人进入公共服务领域。

然而，功绩制的实施也催生了一种新的社会分类逻辑。当一个人的价值开始通过可测量的指标来评估时，“人”本身逐渐被分解为一系列可量化的属性。考试成绩、学历背景、工作经历、专业技能——这些原本只是描述人的维度之一，却在此后一百多年间逐渐演变为主导性的评价标准。到了20世纪初，日益精密的心理测评运动进一步强化了这一趋势。1905年，法国心理学家阿尔弗雷德·比奈和西奥多·西蒙开发了世界上第一个智商量表，其初衷是识别需要特殊教育支持的儿童。然而，这项工具很快被大洋彼岸的美国心理学家引入，并被广泛用于移民筛选和种族“优生”政策中。智商测试的结果被用来决定谁能进入美国、谁能获得教育机会、甚至谁能保留生育权。在那段黑暗的历史中，“科学”的外衣为最恶劣的歧视提供了看似客观的依据。

这种将人数据化的趋势在20世纪中期获得了新的动力——信用评分系统的出现标志着算法决策从公共领域正式进入日常经济生活。

1930年，美国政府在华盛顿特区建立了第一家“信用局”（credit bureau）。最初，这些机构的运作方式相当原始：信贷员会走访申请人的邻居和雇主，收集关于其性格和可靠性的口碑信息。然而，随着信用卡的普及和金融交易的日益复杂化，这种手工调查方式变得越来越不堪重负。1956年，工程师比尔·费尔和数学家厄尔·艾萨克创立了费尔-艾萨克公司（Fair, Isaac and Company），即后来的费埃哲公司（FICO）。该公司开发的第一代信用评分模型，试图将海量的个人财务数据转化为一组简洁的数字。1989年，FICO信用评分正式进入市场，很快成为美国金融体系的基础设施。

FICO评分的运作逻辑看似简单：它将申请人的还款历史、未偿债务、信用账户类型、新信用申请等因素进行加权计算，最终生成一个300到850之间的分数。分数越高，代表信用风险越低，申请人越有可能获得贷款并享受优惠利率。然而，这套系统的深层影响远超其表面功能。它创造了一种新的社会身份标识：一个人不再是其社区中熟知的那位邻居或同事，而是一个由数字定义的风险等级。信用分数成了现代美国人的“社会DNA”，它不仅决定你能否获得住房贷款、汽车贷款、信用卡，还可能影响你的保险费率、就业机会，甚至租房时的押金金额。

社会学家凯瑟琳·菲茨在1996年出版的经典著作《风险的报酬》（The Rewards of Risk）中详细记录了信用评分如何重塑了美国社会。她发现，那些被主流信用体系排斥的人群——往往是低收入群体、少数族裔和农村居民——被迫进入了一个“高成本金融”的恶性循环。由于无法获得传统银行的正规信贷，他们不得不依赖发薪日贷款、支票兑现服务和当铺等高成本替代渠道，而这些服务的费用又进一步加重了他们的债务负担，使他们更难建立起良好的信用记录。菲茨将此称为“金融隔离”（financial segregation）——一种与种族隔离同样真实、却更加隐蔽的社会分层机制。

历史学家兼法学家维托·斯坦恩在研究这一时期的法律演变时，提出了一个深刻的洞见：19世纪末至20世纪中期美国法律体系经历了一场静悄悄的“客观化转型”。传统上，法律对人的评判主要基于行为和意图——一个人做了什么，他是否知道自己所做之事的性质和后果。然而，随着统计学方法在社会科学中的广泛应用，法律开始越来越多地依赖“群体概率”来评估个体。风险评估、损害赔偿计算、保险定价等领域都经历了这种转变。斯坦恩警告说，这种客观化的代价是，它将个体的具体处境和独特性消解在冰冷的数字之中，使法律的人文关怀让位于机械的概率计算。

当我们将视线从历史拉回当下，一个惊人的模式浮现出来：从功绩考试到智商测试，从FICO评分到今天的机器学习模型，贯穿其中的是一条清晰的演进轨迹——技术系统正在越来越深入地介入人类命运的裁决。这不是一场突如其来的技术革命，而是两个世纪以来人类社会分类实践的延续和加速。

数字时代的权力转移：算法如何成为新的裁判

21世纪的第一个十年见证了一场技术范式的根本转变。2006年，计算机科学家杰夫·辛顿提出了“深度学习”（deep learning）概念，标志着人工神经网络研究的重大突破。2012年，辛顿团队设计的深度卷积神经网络AlexNet在ImageNet图像识别挑战赛中以压倒性优势夺冠，引发了人工智能领域的范式转移。此后短短数年间，深度学习技术迅速从实验室走向产业应用，从计算机视觉、自然语言处理到推荐系统、自动驾驶，其影响范围几乎覆盖了所有行业。

然而，技术的商业化往往走在伦理思考的前面。当算法决策系统被广泛部署于金融、医疗、司法、招聘等关键领域时，其潜在的权力滥用风险也随之急剧放大。2018年，剑桥分析公司丑闻的曝光，第一次将算法权力的阴暗面推到了全球公众的视野中心。这家数据分析公司未经数百万Facebook用户同意，擅自收集其个人数据并用于精准政治广告投放，被指在2016年美国总统大选和英国脱欧公投中施加了不正当影响。事件引发了对数据隐私、数字主权和算法操纵的全球性担忧。

同年，亚马逊公司的“AI招聘系统”丑闻同样令人警醒。这家电商巨头曾尝试开发一套算法系统来自动筛选简历，据称可以将HR部门的工作效率提高十倍。然而，当工程师们审视系统的输出结果时，他们发现了一个令人不安的问题：系统表现出对女性的系统性歧视，因为它从过去十年的招聘数据中“学习”到男性在技术岗位上的主导地位。亚马逊不得不于2018年解散了这个团队。尽管官方声明强调该系统从未被正式用于招聘决策，但这一案例揭示了机器学习的一个核心悖论：算法往往会在无意中复制和放大人类社会中已有的偏见，因为它学习的是过去的数据，而过去的数据本身可能就带有偏见。

2020年以来，全球范围内关于算法决策系统的争议持续升温。疫情期间，多个国家推出的“健康码”系统引发了关于数字监控和个人自由的激烈辩论；社交媒体平台的内容审核算法每天决定着数十亿条信息的可见性，却鲜少受到公众问责；自动化的求职筛选系统可能因为一个意外的关键词就淘汰掉合格的候选人；司法系统中的风险评估工具继续在法庭上扮演着隐秘却关键的角色。

社会学家尼克·西弗在其2015年的著作《平台博弈》（Platform Gambling）中提出了一个发人深省的概念：“平台资本主义”（platform capitalism）。他指出，以数据驱动为核心的互联网平台正在创造一种全新的权力结构。在这种结构中，平台公司——如谷歌、脸书、亚马逊、优步、爱彼迎——扮演着“规则制定者”的角色，它们通过算法系统协调着数以亿计的用户行为，却几乎不需要承担传统意义上“公共设施”或“公共服务提供者”的法律义务。这意味着，当你对一个平台公司的算法决策感到不满时，你往往找不到有效的救济渠道。投诉无门、申诉无路——这种“数字失语”正在成为越来越多人面临的现实困境。

法律学者弗兰克·帕斯夸尔和奥利弗塞拉分在其合著的《平台经济中的法律》（Law and Political Economy in a Platform）中进一步分析了这种新型权力关系的法律意涵。他们认为，平台公司的算法系统实际上在行使着某种准立法权和准行政权——它们制定规则（服务条款、内容政策），执行规则（内容审查、账号封禁），并在争议解决中扮演裁判角色。然而，这些权力几乎完全建立在私人合同的基础之上，缺乏传统政府权力所必需的程序性保障和民主问责机制。

这种权力与责任的严重失衡，正在呼唤一种新的法律思维。传统的规制理论建立在这样的假设之上：规制者与被规制对象之间存在清晰的边界，政府是规制的主体，企业是被规制的客体。然而，在算法时代，这种边界正在变得模糊。一个大型社交媒体平台的算法系统，其影响力和触及范围可能远超许多国家的政府机构，但它却按照私人公司的逻辑运作，不受选举民主的约束，也不承担宪法上的基本权利保护义务。当“公共领域”越来越多地被私人算法所塑造时，我们需要重新思考：谁有权制定规则？谁应该为规则的执行负责？当规则出错时，谁来提供救济？

普通人与算法的真实交锋

抽象的理论和宏大的叙事固然重要，但真正撼动人心的往往是具体的生命故事。在算法时代，无数普通人的命运正被看不见的代码所塑造。让我们走进几位主人公的世界，聆听他们与算法系统交锋的真实经历。

案例一：被“风险评分”改变的人生

2019年春天，新泽西州的单亲妈妈玛丽亚·桑托斯收到了来自州儿童服务部门的一封信。信中告知她，由于“基于数据分析的风险评估”，她被列入“高风险家庭”名单，她的两个孩子可能在六个月内被强制寄养。桑托斯难以置信地读了三遍这封信，因为她一直以为自己是一个尽职的母亲——她有两份工作，按时缴税，孩子们在学校表现良好，从未有过任何犯罪记录或虐待儿童的指控。

然而，州政府使用的一套名为“多维家庭评估”（Multidimensional Family Assessment, MDFA）的算法系统却得出了不同的结论。MDFA系统整合了来自多个政府部门的数据——包括税务记录、教育数据、社会福利领取记录、甚至超市购物数据——并通过机器学习模型识别出“潜在的高风险家庭特征”。桑托斯恰好触发了几项这样的特征：她是低收入家庭、居住在一个犯罪率较高的社区、孩子们偶尔缺课、她经常在晚上九点以后购物（系统认为这暗示家庭生活不稳定）。

当桑托斯试图了解这套评估系统的具体逻辑时，她发现自己面对的是一堵冰冷的高墙。儿童服务部门的官员告诉她，这是“基于证据的风险评估工具”，是“科学”的、客观的，决策者无法干预其输出结果。桑托斯聘请了一位公益律师，但律师也发现几乎无从下手——系统的算法被视为商业机密，详细的评估报告不对外公开，唯一的申诉渠道是内部复核，而这个复核程序同样由同样的算法系统驱动。

幸运的是，桑托斯的案子在引起当地媒体报道后出现了转机。在舆论压力下，州政府同意重新审查此案，最终撤销了高风险家庭的认定。但桑托斯一家所经历的焦虑和恐惧是难以用语言形容的——仅仅因为一个黑箱算法的一个判断，他们的家庭就险些被拆散。而桑托斯不知道的是，她绝非个例。在全美范围内，已有数十个州开始采用类似的算法系统来辅助或替代人工的儿童福利调查，这些系统每年影响数万家庭的生活。

案例二：信贷算法面前的绝望

德里克·约翰逊是底特律一位有着二十年工龄的机械师。2021年，他决定申请一笔小企业贷款，在社区开一家自己的汽车修理店。这是他一生的梦想，也是他为退休生活积攒的唯一保障。然而，在向三家银行提交申请后，约翰逊收到了同样的结果：拒绝。

约翰逊感到困惑和愤怒。他的信用记录一向良好——没有逾期还款，没有破产记录，甚至没有未偿清的债务。银行职员告诉他，他的申请“综合评分未达标”，但拒绝解释具体原因。约翰逊怀疑问题出在他的“替代数据”上——由于他长期使用支票账户而非信用卡，几乎没有在主流信用评估体系中被记录。他花了数千美元聘请信用咨询师，试图搞清楚问题所在，但咨询师也无能为力，因为银行使用的是一套“黑箱”贷款审批算法，没有任何人工审核员可以解释决策原因。

约翰逊的遭遇揭示了算法时代的一个深层矛盾：那些最需要金融服务的人，往往也是最难以被算法“读懂”的人。研究表明，传统的信用评分系统存在严重的“数据鸿沟”——收入较低者、少数族裔、农村居民往往因为缺乏传统的信用记录而在算法评估中处于不利地位。尽管他们的还款能力可能并不差，但算法的盲点使他们被系统性地排斥在正规金融服务之外。

案例三：被算法“抹杀”的声音

2022年，美国佐治亚州的民权活动人士坎迪斯·刘易斯发现自己的社交媒体账号被平台限制了功能。她发布的一条关于警察暴力执法事件的帖子被标记为“争议内容”，其可见性被大幅降低。更令她沮丧的是，她的账号被系统性地限制向新用户推荐，导致她的粉丝数量增长陷入停滞。

刘易斯开始调查发现，这不是个案。在美国各地，许多民权活动人士、新闻记者和激进主义者的账号都经历过类似的“影子限制”（shadow banning）——平台算法在未经明确告知的情况下，悄悄降低某些账号的可见性。这种做法近年来已被多项调查报告所证实，包括《纽约时报》、《华盛顿邮报》等主流媒体都曾对此进行过深度报道。然而，平台公司通常否认这些指控，并拒绝透露其内容审核算法的具体运作方式。

刘易斯的困境触及了算法时代最核心的言论自由问题。在传统媒体时代，言论审查通常被视为政府的专属权力，需要受到宪法第一修正案的严格约束。然而，当数十亿人的信息获取和意见表达都依赖于少数几家私人平台时，一个前所未有的问题浮现了：私人公司是否应该像政府一样承担言论自由的义务？当算法决定什么可以被看见、什么应该被沉默时，这算不算一种新型的“审查”？

上述三个案例只是算法权力冰山一角。放眼全球，从中国的社会信用评分到欧洲的自动化行政决策，从非洲的手机信贷到拉丁美洲的刑事司法算法，算法系统正在深刻地重塑着人类社会的权力版图。它们带来的不仅是效率的提升和服务的便利，更是一种全新的治理逻辑——一种基于数据、概率和自动化决策的治理逻辑。

核心概念框架：理解算法权力的四个维度

面对算法权力这一复杂现象，我们需要一套系统的概念工具来帮助分析。在本书中，我们将围绕四个核心维度来构建分析框架：透明性（Transparency）、问责制（Accountability）、公平性（Fairness）和尊严（Human Dignity）。

透明性：黑箱之下的隐秘权力

透明性是理解算法权力的首要维度。在传统的法律程序中，“自然正义”（natural justice）原则要求两项基本规则：听取相对方的意见（audi alteram partem）和任何人不得担任自己案件的法官（nemo judex in causa sua）。这两项规则的核心前提是，决策过程必须是可见的、可理解的、可质疑的。当一个人不知道自己为何被定罪、被拒绝、被惩罚时，他如何行使辩护的权利？当决策的逻辑被藏在一个黑箱之中时，谁又能确保决策者是公正的？

然而，今天的算法系统恰恰构成了对透明性的根本挑战。复杂性是其第一道障碍。现代机器学习系统——尤其是深度学习模型——的决策过程往往是一个“黑箱”。即使算法的设计者也无法完全解释系统为何做出某个具体的判断。以图像识别为例，当一个深度神经网络将一张图片识别为“猫”时，这个判断是由数百万个神经元的复杂交互所产生的，没有人能够追踪出一条清晰的因果链条。

商业机密构成第二道障碍。COMPAS系统的开发商曾以“商业机密保护”为由，拒绝公开其算法的具体实现。这一立场在法律上并非没有依据——1991年美国《贸易秘密法》规定，企业的商业机密受到法律保护，强制披露可能导致竞争对手抄袭或逆向工程。然而，当一个商业算法被用于司法裁决时，“商业机密”与“正当程序”之间的张力变得尖锐起来。如果连被告的律师都无法审查证据的来源和可靠性，公正审判的权利从何谈起？

2020年，欧盟在其《人工智能白皮书》中提出了一个重要概念：“可解释性人工智能”（Explainable AI, XAI）。