当数据碰不得，机器学习还能走多远？

2022年3月，湖南省疾控中心的会议室里，白板上的“肺癌早筛AI模型迭代计划”已经被马克笔涂改得模糊不清。中心主任李卫国捏着手里刚被打回的立项申请，指节因为用力而微微泛白——这份申请他前后改了七次，每一次都被卡在同一个问题上：他们手里攥着全省11家三甲医院累计12.7万份肺癌CT影像数据，却唯独没法把这些数据用起来。

信息科的小张蹲在走廊的消防通道里抽了半根烟，烟头按在垃圾桶盖上的时候，他想起半年前刚接到这个任务时的兴奋劲儿。当时省肿瘤医院的教授找他，说如果能把全省的肺癌CT数据整合起来训练AI模型，早期肺癌的识别准确率能提升到95%以上，能救不少命。可跑了半年医院，他的笔记本里记满了各院信息科的拒绝理由：“没有院领导签字”“数据涉及患者隐私，跨院使用要出事”“知情同意书里没写跨机构科研用途，用了要担责”。最让他受挫的是，他们之前试着把数据做了脱敏处理——把所有患者的姓名、身份证号、住址、手机号全部抹掉，结果训练出来的模型对早期肺癌结节的识别准确率只有62%，连三甲医院放射科医生的平均水平都达不到，根本没法落地。

> 📌 小知识：知情同意书 > 知情同意书是医疗机构、互联网平台等收集用户数据时必须获得的书面授权，通常会明确数据的使用范围、用途和期限。绝大多数医疗机构的知情同意书只会允许数据在本机构内部用于科研或诊疗，跨机构共享往往需要重新获得患者授权，流程极其繁琐，且很容易因为患者无法联系而无法完成。

李卫国的遭遇并不是个例。在同一年，某头部短视频平台的适老化改造项目组也遇到了类似的问题。当时平台想做一款专门针对老年人的内容推荐模型，需要不同场景下的老年人行为数据：社区养老APP的使用数据、运营商的上网行为数据、手机厂商的使用习惯数据，甚至社区食堂的消费数据。可这些数据分散在十几家不同的企业手里，运营商说“用户数据涉及通信秘密，不能对外提供”，手机厂商说“用户使用习惯是核心资产，不可能共享”，社区养老APP的运营方则是“没有能力做模型训练，也不想把数据给出去”。最后项目组只能用平台自己积累的1.2亿老年用户数据训练模型，结果模型对非平台注册的老年用户推荐准确率只有29%，很多老年人刷到的还是年轻人喜欢的娱乐、数码内容，适老化改造的效果大打折扣。

如果说互联网行业的困境是商业利益导致的，那么政务领域的数据孤岛则更多是制度壁垒造成的。2022年长三角某市启动“惠民政策智能匹配”项目，原本想通过整合社保、医保、公积金、不动产、纳税等多维度数据，训练AI模型给市民自动匹配可以享受的惠民政策：比如租房补贴、育儿补贴、个税减免、失业补助等。可项目启动三个月就卡在了数据共享环节：社保数据归人社局管，医保数据归医保局管，公积金数据归公积金管理中心管，不动产数据归自然资源和规划局管，每个部门都以“数据安全”“职责边界”为由拒绝共享数据。最后项目组只能退而求其次，用简单的规则匹配做系统，比如“缴纳社保满1年可以申请租房补贴”，但很多复杂的政策，比如“家有3岁以下婴幼儿且个税缴纳基数低于当地平均工资80%的家庭可以申请育儿补贴”，系统根本没法自动识别匹配，市民需要自己跑好几个部门开证明、查政策。项目上线一年，全市符合条件的育儿补贴申请率只有12%，超过八成的符合条件的家庭根本不知道有这个政策。

---

1.1 数据孤岛：看不见的AI发展瓶颈

这三个不同行业的案例，指向的都是同一个问题：数据孤岛。

简单来说，数据孤岛就是指数据因为制度、技术、利益等多重原因，分散在不同的机构、部门、企业或个人手里，无法流通共享，形成一个个彼此独立的“数据岛屿”。你手里的数据我用不了，我手里的数据你用不了，大家各守着自己的一亩三分地，明明有数据却没法用，明明有需求却碰不到数据。

数据孤岛并不是新鲜事物，它随着信息化建设的推进就已经出现了。早在上世纪90年代，国内各部门、各企业就开始推进信息化建设，建数据库、买服务器、搭系统，但当时大家只考虑自己的需求，没有统一的数据标准，导致后来的数据格式五花八门：医疗数据有HL7、DICOM等国际标准，也有各医院自己开发的私有格式；政务数据有国家统一的标准，也有各地自行开发的特色系统；互联网企业的数据更是各有各的规范，A公司的用户ID和B公司的用户ID根本不通用，数据放在一起也没法用。

但数据孤岛真正成为AI发展的核心瓶颈，是在最近十年。过去传统机器学习对数据量的要求不高，几百上千条数据就能训练出一个可用的模型，但深度学习时代到来之后，模型的效果和数据量直接挂钩：数据量越大，模型的特征越丰富，准确率越高。比如训练一个肺癌CT识别模型，如果只有几百份数据，模型准确率可能只有70%左右，但如果有十几万份数据，准确率能提升到95%以上，达到临床使用的标准。

> 📌 小知识：数据量与模型效果的关系 > 在机器学习领域，有一个经典的“数据-效果”曲线：当数据量较少时，模型效果会随着数据量的增加快速提升；当数据量达到一定阈值后，模型效果的提升会逐渐放缓，但整体仍会随着数据量的增加而提升。对于医疗、自动驾驶等复杂场景的AI模型，通常需要十万级以上的标注数据才能达到可用标准。

根据工信部2023年发布的《全国数据资源调查报告》，我国累计数据资源存储量已经超过1000EB，占全球数据总量的23%，是全球最大的数据生产国之一。但报告同时显示，我国的数据流通率不足5%，超过80%的数据资源掌握在政府部门、医疗机构、国有企业等公共部门手中，却无法有效流通利用。国际数据公司（IDC）的预测更是触目惊心：到2025年，全球AI模型训练所需的数据量将达到175ZB，但如果数据孤岛问题得不到解决，模型训练效率将下降60%以上，AI研发成本将上升3倍，大量AI应用将因为拿不到足够的数据而无法落地。

医疗领域是数据孤岛的重灾区。罕见病的AI诊断是近年AI医疗的热点方向，但因为罕见病的发病率极低，国内单个医院一年可能只能收集到几十例罕见病患者的影像或病历数据，根本没法训练模型。根据中国罕见病联盟2022年的统计，国内已经发布的罕见病AI诊断模型超过200个，但准确率超过80%的不到10%，大部分模型的准确率只有40%-60%，远达不到临床使用标准，核心原因就是数据孤岛——罕见病数据分散在各个医院，没法共享整合。

金融领域同样受困于数据孤岛。风控是金融机构的核心能力，传统风控模型只能用到机构自己的用户数据，比如信用卡逾期记录、贷款记录，但没法用到用户的消费数据、社交数据、出行数据等其他维度的数据，导致风控模型的准确率有限。根据央行2023年的调研，国内银行的小微企业贷款不良率平均在2%左右，如果能打通多维度数据训练风控模型，不良率可以下降到1%以下，每年能减少数千亿的信贷损失，但因为数据孤岛，这个目标一直没能实现。

---

1.2 传统方案的困局：为什么数据不能共享？

面对数据孤岛的问题，过去十几年大家尝试过很多解决方案，但都没能从根本上解决问题。

最传统的方案是集中式训练：把所有需要的数据集中到一个地方，统一训练模型。这个方案的逻辑很简单，数据都在一个地方了，自然就没有孤岛的问题了。但实际操作中，这个方案面临三个难以解决的痛点：

第一个痛点是隐私合规风险极高。2021年《个人信息保护法》正式实施之后，数据收集、存储、使用的合规要求大幅提升，任何未经授权收集、使用用户数据的行为，最高可罚全年营收的5%，相关负责人还可能承担刑事责任。2022年某三甲医院就因为把10万份患者数据提供给第三方做科研，没有重新获得患者授权，被罚了2000万元，信息科主任还被免了职。对于医疗机构、政府部门、金融机构这些掌握大量敏感数据的机构来说，把数据拿出来共享的风险远大于收益，根本没人愿意冒这个险。

第二个痛点是数据流通成本极高。就算机构愿意共享数据，流程也非常繁琐：首先要走内部审批流程，要数据使用方提交申请、说明用途、签订保密协议，然后还要走数据监管部门的审批，最后还要做数据脱敏、去标识化处理，整个流程走下来至少要两三个月，成本高达几十万甚至上百万。如果是跨国的数据合作，还要符合不同国家的数据安全法规，成本更是高得离谱。

第三个痛点是数据效用损失严重。为了保护隐私，集中式训练通常会对数据进行脱敏处理，比如去掉用户的姓名、身份证号、手机号等标识信息，或者对数据进行扰动，让数据没法追溯到具体个人。但这些脱敏操作往往会去掉数据里很多有用的特征：比如医疗数据里的患者年龄、肿瘤位置、家族病史，脱敏之后可能就被去掉了，导致模型训练出来的准确率大幅下降。根据清华大学的测试，经过传统脱敏处理的医疗数据，训练出来的AI模型准确率平均会下降30%以上，很多特征完全丢失，根本没法用。

除了集中式训练，大家还尝试过数据交易的方案：把数据当成商品，通过数据交易平台买卖，让数据流动起来。但这个方案同样问题重重：首先是数据定价难，一份数据的价值没法准确衡量，比如一份患者数据，对医院来说可能只值几百块，对AI公司来说可能值几万块，买卖双方很难达成共识；其次是数据确权难，数据的所有权、使用权、收益权归属不清晰，比如用户的数据被平台收集之后，到底属于用户还是属于平台？平台把数据卖了，用户能不能拿到收益？这些问题到现在都没有明确的答案；最后是数据交付难，就算谈好了价格，数据的交付、使用、后续监管也很难落实，很容易出现数据泄露、滥用的问题。

还有人提出过隐私计算的方案，比如同态加密、安全多方计算、差分隐私等技术，让数据在加密的状态下进行计算，不用解密就能得到结果。但这些技术要么计算效率太低，比如同态加密的计算速度比明文计算慢1000倍以上，根本没法用来训练大模型；要么对数据的要求太高，比如安全多方计算需要所有参与方的数据都同步参与计算，只要有某一方的数据不完整，就没法得到结果，实用性很差。

这些传统方案都没能解决数据孤岛的核心矛盾：既要利用数据训练模型，又要保护数据隐私，还要降低流通成本。这个矛盾在数据量需求越来越大的AI时代，变得越来越突出。

---

1.3 联邦学习的诞生：数据不动，模型动

2016年，谷歌的研究团队在训练安卓手机输入法模型的时候，遇到了一个难题：用户输入的文字数据都分散在各个用户的手机里，没法集中到一起训练模型，但如果把数据收集到服务器，又涉及到严重的用户隐私问题。于是他们提出了一种全新的训练思路：把模型训练放到用户的手机本地进行，每个用户用自己的数据训练模型，只把训练好的模型参数（梯度）加密之后上传到服务器，服务器把多个用户的参数聚合起来，更新全局模型，再把更新后的全局模型发回给每个用户的手机，让用户继续用本地数据训练。

整个过程中，用户的原始输入数据从来没有离开过自己的手机，服务器只拿到加密后的模型参数，根本没法还原出用户的原始数据，既保护了用户隐私，又能利用所有用户的数据训练出更好的模型。谷歌把这种训练方式命名为联邦学习（Federated Learning，FL），相关论文发表在了当年的国际机器学习大会上，立刻引起了业界的轰动。

> 📌 小知识：什么是模型参数（梯度）？ > 我们可以把机器学习模型理解成一个“答题的学生”，训练数据是“练习题”，模型参数是“学生的答题思路”。训练的时候，学生做练习题，做错了就调整答题思路，这个调整的过程就是“梯度更新”。联邦学习里，各个参与方不用把自己的练习题（原始数据）给别人，只要把自己的答题思路调整（梯度）加密之后发出来，大家就能一起优化答题思路，提升答题正确率，而且谁都不会泄露自己的练习题。

联邦学习的核心逻辑可以用一个简单的类比来理解：假设你和朋友一起拼一幅1000块的拼图，你们俩各拿一半。传统的集中式训练相当于你把你的拼图全部拿出来，和朋友的全部拼图放在一起拼，拼好了再各自复印一份，但这样你的拼图就被朋友看光了。而联邦学习相当于你们俩各自拼自己的那半拼图，拼完之后，你把自己拼好的那部分的轮廓描下来，朋友也把他拼好的那部分的轮廓描下来，然后把轮廓拼在一起，得到完整的拼图图案，再把图案发回给你们俩，你们俩对照着图案调整自己手里的拼图，最后你们俩都能拼出一幅完整的拼图，而且谁都没看到对方的原始拼图。

从2016年提出到现在，联邦学习已经经历了三代演进：第一代是横向联邦学习，适用于参与方的数据特征相同、样本不同的场景，比如多家医院都有肺癌CT数据，特征都是CT影像的像素值，但样本不同，就可以用横向联邦学习；第二代是纵向联邦学习，适用于参与方的样本相同、特征不同的场景，比如某银行和某电商平台，都有同一个用户的业务数据，银行有用户的信贷数据，电商有用户的消费数据，就可以用纵向联邦学习；第三代是联邦迁移学习，适用于参与方的样本和特征都不同的场景，比如医院有医疗数据，互联网公司有用户行为数据，两者样本和特征都不一样，就可以用联邦迁移学习把两者的知识迁移到一起，训练出更好的模型。

联邦学习之所以能成为解决数据孤岛问题的核心方案，核心在于它完美解决了传统方案的三个痛点：

第一，隐私合规性极强。联邦学习的核心原则是“数据不出域”，原始数据永远存放在参与方的本地，不会流出参与方的控制范围，只交换加密后的模型参数，就算参数被截获，也没法还原出原始数据，完全符合《个人信息保护法》《数据安全法》等法律法规的要求，不需要重新获得用户授权，合规风险极低。

第二，流通成本极低。联邦学习不需要移动原始数据，不需要走复杂的数据审批流程，不需要支付高额的数据使用费，参与方只需要在本地部署联邦学习节点，就能和其他参与方联合建模，成本只有传统数据共享方案的1%不到。

第三，数据效用几乎没有损失。联邦学习用的是原始数据训练的模型参数，不需要对原始数据做脱敏处理，所以不会丢失数据特征，训练出来的模型准确率和集中式训练用全部数据训练出来的模型准确率几乎一致。根据谷歌的测试，横向联邦学习训练出来的输入法模型，准确率和集中式训练用全部用户数据训练出来的模型准确率相差不到1%，完全可以满足使用需求。

---

1.4 从实验室到产业：联邦学习的落地之路

联邦学习的概念提出之后，很快就从实验室走向了产业落地。2018年，谷歌把联邦学习用到了Gboard输入法的词库更新中，全球数亿安卓用户在不泄露自己输入内容的前提下，共同训练出了更准确的输入法模型，输入准确率提升了10%以上。这是联邦学习的第一个大规模落地应用。

医疗领域是联邦学习落地最快的行业之一。2019年，国内某AI医疗公司和全国20家三甲医院合作，用横向联邦学习训练肺癌CT识别模型，每家医院都不用把自己的数据拿出来，只用本地数据训练模型，上传加密后的梯度，最后训练出来的模型对早期肺癌的识别准确率达到94.7%，和集中式训练用全部数据训练出来的模型准确率相差不到0.5%，完全达到了临床使用标准。这个项目后来还拿到了国家药监局的三类医疗器械证，是国内第一个用联邦学习训练出来的获批医疗AI产品。

金融领域同样在快速落地。2021年，某股份制银行和三家互联网公司合作，用纵向联邦学习训练小微企业风控模型，银行有企业的信贷数据，互联网公司有企业的经营数据、消费数据，双方不用共享原始数据，只用联邦学习联合训练模型，最后模型对小微企业违约风险的识别准确率提升了18%，银行的小微企业贷款不良率下降了0.7个百分点，每年减少信贷损失超过10亿元。

政务领域也在尝试用联邦学习解决数据孤岛问题。2023年，长三角某市用联邦学习训练惠民政策匹配模型，人社局、医保局、公积金中心、自然资源局等六个部门不用共享原始数据，只用本地数据训练模型，上传加密后的梯度，最后训练出来的模型可以自动匹配120多项惠民政策，符合条件的群众申请率从之前的12%提升到了78%，每年发放的惠民补贴超过20亿元，老百姓再也不用跑好几个部门开证明了。

这些落地的案例证明，联邦学习不是实验室里的纸上谈兵，而是真正能解决数据孤岛问题、释放数据价值的技术。它让“数据碰不得，模型训不动”的困境有了破解的可能，让数据在不出域的前提下，就能产生价值，既保护了隐私，又促进了AI的发展。

---

本章思考小问题

1. 你有没有遇到过因为数据不共享导致办事麻烦的情况？比如办业务要跑好几个部门开证明，或者因为平台之间数据不互通，你需要在不同的APP里重复填写相同的信息？你觉得这些问题背后的核心原因是什么？ 2. 除了本章提到的医疗、互联网、政务行业，你觉得还有哪些行业存在明显的数据孤岛问题？比如教育、交通、零售、农业？这些行业的数据孤岛会带来什么具体的影响？ 3. 如果你是一家三甲医院的院长，现在有一家AI公司想和你合作，用联邦学习训练肺癌AI模型，不需要你提供原始数据，只需要你在医院部署联邦学习节点，你愿意合作吗？你会担心什么问题？

```mermaid graph TD A[数据孤岛成因] --> A1[制度层面：法律法规、知情同意、监管要求] A --> A2[技术层面：数据标准不统一、格式不兼容] A --> A3[利益层面：数据是核心资产、怕泄露、怕失去优势] B[传统方案局限] --> B1[集中式训练：隐私风险高、成本高、效用损失大] B --> B2[数据交易：定价难、确权难、交付难] B --> B3[隐私计算：效率低、实用性差] C[联邦学习解决方案] --> C1[数据不动模型动：原始数据不出域] C --> C2[只交换加密梯度：隐私合规性强] C --> C3[无脱敏处理：数据效用无损失] C --> C4[无需复杂审批：流通成本极低] ```

> 📌 延伸阅读 > 如果你想更深入了解数据孤岛和联邦学习的背景，可以阅读以下资料： > 1. 工信部《全国数据资源调查报告2023》：[链接](http://www.miit.gov.cn) > 2. 谷歌联邦学习原始论文《Federated Learning: Strategies for Improving Communication Efficiency》：[链接](https://arxiv.org/abs/1912.04977) > 3. 《个人信息保护法》全文：了解数据合规的基本要求

2022年3月，湖南省疾控中心的会议室里，白板上的“肺癌早筛AI模型迭代计划”已经被马克笔涂改得模糊不清。中心主任李卫国捏着手里刚被打回的立项申请，指节因为用力而微微泛白——这份申请他前后改了七次，每一次都被卡在同一个问题上：他们手里攥着全省11家三甲医院累计12.7万份肺癌CT影像数据，却唯独没法把这些数据用起来。

信息科的小张蹲在走廊的消防通道里抽了半根烟，烟头按在垃圾桶盖上的时候，他想起半年前刚接到这个任务时的兴奋劲儿。当时省肿瘤医院的胸外科教授找他，说如果能把全省的肺癌CT数据整合起来训练AI模型，早期肺癌的识别准确率能提升到95%以上，能救不少命。可跑了半年医院，他的笔记本里记满了各院信息科的拒绝理由：“没有院领导签字”“数据涉及患者隐私，跨院使用要出事”“知情同意书里没写跨机构科研用途，用了要担责”。最让他受挫的是，他们之前试着把数据做了脱敏处理——把所有患者的姓名、身份证号、住址、手机号全部抹掉，连CT影像里的金属植