Wait, My Phone Is Learning From Me—Without Stealing My Data?

你有没有过这种经历：你在手机上随口提了一句“想买露营装备”，接下来刷短视频、逛电商平台，满屏都是帐篷、防潮垫、露营灯的推荐？你可能会后背一凉：“完了，手机在监听我！”但先别急着关麦克风、删APP——很多时候，这些推荐根本不是因为你说了什么，而是你手机里的AI模型，早就通过你平时的搜索记录、浏览习惯、输入内容，悄悄学会了你的喜好，而且它学的过程里，你的私人数据从来就没离开过你的手机。

这听起来像魔法，但其实是当下正在快速普及的“隐私保护AI”技术的第一块拼图：联邦学习（Federated Learning）。如果把AI训练比作办一场百乐餐（Potluck，就是每个人带一道菜来聚餐，最后拼出一桌大餐），那过去几十年我们用的AI训练方式，就是大家把所有食材都交给一个中央厨师，由厨师统一做菜，最后分给大家。你当然能吃到好吃的菜，但你不知道厨师有没有偷偷把你带的独家食材记下来，以后拿你的食材去卖钱，甚至拿你的食材做你不喜欢吃的菜。而联邦学习的逻辑完全不同：你带自己的食材来，在自己家把菜做半成品，只把你调整菜品的配方（完全不包含你的独家食材）告诉大家，最后大家一起拼出来的菜，比中央厨师单独做的还要好吃，而且你的独家食材从来就没离开过你家。

这就是这本书要讲的核心故事：我们终于不用在“享受AI便利”和“保护个人隐私”之间做二选一的难题了。接下来我们会拆解支撑这个故事的三个核心技术：联邦学习、差分隐私、安全聚合，它们就像百乐餐的三件套，让我们既能协作做出顶级的AI大餐，又不用交出任何不想让人知道的秘密。

你每天都在用的“隐私AI”，可能你自己都没发现

先别觉得“联邦学习”是个离你很远的技术名词，你手机里几乎所有的内置AI功能，现在都已经开始用这个技术了。就拿最常用的输入法举例：你肯定遇到过这种情况，你刚和朋友在聊天里提到“下周去青岛玩”，转头打“qing”的时候，输入法第一个推荐的就是“青岛”，而不是“情感”“清晰”这些你平时更常用的词。你从来没把和朋友的聊天记录发给过输入法的运营公司，也没允许它读取你的聊天内容，它怎么就知道你最近要去青岛？

秘密就在你的手机本地。现在主流的智能手机输入法，比如谷歌的Gboard、苹果的iOS键盘、百度输入法、搜狗输入法的部分版本，都已经接入了联邦学习框架：你的输入法会在你的手机本地，根据你最近输入的内容、浏览的网页、聊天记录（如果你给了它读取权限的话）来微调本地的小型语言模型，让它更懂你的表达习惯。等这个微调完成之后，它不会把你的聊天记录、浏览历史这些原始数据上传到服务器，只会把“模型调整的方向和幅度”（专业术语叫“梯度更新”，你可以理解成“我把模型里和青岛旅行相关的词汇权重提升了0.02，和职场相关的词汇权重降了0.01”这样的调整记录，完全不包含你实际输入的任何内容）加密之后传到运营方的服务器。

服务器那边会收到来自全球几百万甚至几千万用户的这种“调整记录”，把这些记录汇总起来，更新全局的大语言模型，再把更新后的模型推送给所有用户。下一次你打开输入法的时候，你手机里的模型已经融合了全球几百万用户的调整，自然会更懂你的需求——而整个过程里，运营方从来没见过你的聊天记录，没见过你搜过的青岛旅行攻略，甚至连你上次打“qing”的时候到底选了哪个词，他们都不知道。

类似的场景还有很多：苹果的Siri现在部分语音识别和指令理解功能，就是用联邦学习训练的，你说过的语音指令永远留在你的设备里，不会上传到苹果的服务器，但Siri会越来越懂你的口音、你的常用表达；华为、苹果的智能手表现在用来检测房颤、心率异常的功能，也是用联邦学习训练的，你的心率数据、睡眠数据永远留在你的手表和手机里，不会上传到云端，但模型可以学习到全球所有用户的心率模式，更准确地识别出异常；甚至你家的智能冰箱，如果用联邦学习训练的话，它可以根据你平时存放的食物、你的饮食习惯来推荐菜谱，但你的饮食记录永远留在你家，不会上传到厂商的服务器。

你可能要问了：过去AI训练不是都要把所有数据集中到一起训练吗？为什么现在突然搞出这么个“数据不出域”的模式？这就要从过去AI训练的“中央厨房”模式说起。

过去AI训练的“中央厨房”模式：好吃，但你的食材可能被偷走

过去几十年，几乎所有成功的AI模型，都是用“中央厨房”模式训练出来的：你要训练一个能识别猫的图片的AI，就需要先收集几百万张猫的图片，把所有图片都传到中央服务器，工程师在服务器上训练模型，等模型训练好了，再把它推送给所有用户。

这个模式的好处非常明显：数据集中，训练效率高，模型准确率也高。你收集的猫的图片越多，模型见过的猫的品种越多，它识别猫的准确率就越高。但它的弊端也非常突出：隐私风险极高。

你可能会说：“我又没做坏事，我的数据给公司用怎么了？”但问题在于，你根本不知道公司会拿你的数据做什么。2018年的剑桥分析事件大家都还记得吧？Facebook把5000万用户的私人数据（包括政治倾向、社交关系、浏览习惯）卖给了第三方政治咨询公司，用来针对性地给用户推送政治广告，甚至影响总统大选的结果。2023年，国内某知名输入法公司被爆出在后台偷偷上传用户的聊天记录、浏览历史，甚至包括用户的银行卡密码、身份证照片，导致上千万用户的隐私泄露。2024年，某医疗AI公司被爆出把几十万患者的癌症筛查数据卖给了保险公司，导致很多有癌症病史的用户被保险公司拒保。

这些事件背后的逻辑都是一样的：你把数据交给了中央厨房，你就永远不知道厨师会不会偷偷把你的食材存起来，以后拿去做别的事。而且随着全球隐私法规的收紧，这种模式的成本越来越高：欧盟的《通用数据保护条例》（GDPR）2018年出台之后，企业收集用户数据必须获得用户的明确同意，而且用户有权要求企业删除自己的所有数据，一旦违规，最高可以罚全球年营业额的4%。2022年，欧盟就曾对某科技公司开出2.3亿欧元的罚单，就是因为该公司在未经用户同意的情况下，收集了用户的浏览数据用来训练广告推荐模型。美国的《加州消费者隐私法案》（CCPA）、中国的《个人信息保护法》也都有类似的规定，企业再想随便收集用户数据集中训练模型，已经越来越难了。

更重要的是，很多隐私敏感的数据，根本不可能被集中收集。比如医院的病历数据、金融机构的交易数据、用户的健康数据、企业的商业机密数据，这些数据如果集中到一起，一旦泄露就是毁灭性的打击。比如医院的病历数据如果泄露，可能会导致患者的隐私被曝光，甚至被诈骗分子用来骗保；金融机构的交易数据如果泄露，可能会导致用户的银行卡被盗刷；企业的商业机密数据如果泄露，可能会导致企业失去竞争优势。这些数据根本不可能被集中收集，但如果我们不能用这些数据训练AI模型，很多能帮到我们的AI功能就永远做不出来：比如能提前预测癌症的AI模型，需要用到几百万份患者的病历数据；能识别盗刷的AI模型，需要用到几十亿条交易数据；能个性化辅导学生的AI模型，需要用到几千万学生的学习数据。如果这些数据都不能集中，那我们是不是永远用不上这些AI功能？

联邦学习的出现，刚好解决了这个两难的问题：它不用你把数据交出来，就能让AI模型学习到你的数据里的知识，既不用承担数据泄露的风险，又能享受到AI带来的便利。

百乐餐逻辑：怎么做到不用交数据，就能一起做出一桌好菜？

我们回到最开始的百乐餐类比，把联邦学习的逻辑拆解得明明白白，你一眼就能看懂：

假设你要办一场百乐餐，目标是做出一桌能拿国际大奖的大餐，参与者有1000个业余厨师，每个人都有自己的独家菜谱和独门食材，但是没人愿意把自己的独家菜谱告诉别人，也不想让别人知道自己带了什么独家食材。你作为组织者，该怎么做到让大家协作做出一桌顶级大餐？

首先，你先准备一桌基础菜，比如基础的番茄炒蛋、红烧肉、炒青菜，这些菜是通用的，谁都能吃，但味道一般（对应联邦学习里的“预训练全局模型”：一开始的AI模型是用公开数据训练出来的通用模型，准确率一般，但能跑）。你把这桌基础菜的菜谱和半成品分发给所有参与者，每个人拿到的都是一模一样的半成品。

接下来，每个参与者在自己家里，用自己的独家食材调整自己手里的半成品：比如你带了独家秘制番茄酱，你就把番茄炒蛋里的普通番茄酱换成你的秘制番茄酱，调整咸淡、火候，直到自己觉得味道合适为止（对应“本地训练”：每个用户用自己的本地数据，在本地调整模型，让模型更符合自己的使用习惯，这个过程里，你的独家食材（原始数据）永远留在你家，不会给别人看）。

等每个人调整完自己手里的菜之后，你不用把你做的整桌菜带过来，也不用告诉别人你用了什么独家食材，只需要把你调整的配方写下来，比如“番茄炒蛋的番茄酱用量增加20%，盐减少10%”， encrypted 之后交给组织者（对应“上传加密的模型更新”：用户只上传模型调整的参数，完全不包含原始数据，而且上传的内容是加密的，别人看不到）。

组织者收到所有1000个参与者发来的配方之后，把所有人的调整汇总起来，更新基础菜的菜谱：比如80%的人都增加了番茄酱的用量，那基础菜的番茄酱用量就提升15%；60%的人都减少了盐的用量，那基础菜的盐用量就减少8%（对应“安全聚合”：服务器把所有用户的模型更新汇总，更新全局模型，而且不会看到每个用户的具体更新内容，后面章节会详细讲安全聚合的原理）。

等新的基础菜菜谱更新完之后，你再把它分发给所有参与者，每个人拿到新的菜谱之后，再调整一次自己手里的菜，这样几轮下来，最后做出来的菜，比任何一个参与者单独做的都要好吃，而且没有任何一个人的独家食材被其他人知道，连组织者都不知道大家用了什么独家食材。

你看，这个逻辑是不是非常简单？联邦学习的核心就是这么简单：数据永远留在本地，只传模型调整的参数，最后聚合所有用户的调整，更新全局模型。你不用交出你的数据，就能让AI模型学习到你的数据里的知识，还能享受到更好的AI服务。

这里要澄清一个最常见的误区：很多人觉得联邦学习是“完全不传数据”，其实不是，它传的是“模型更新的参数”，不是原始数据。你可以把模型更新理解成“你做菜的调整记录”，比如你加了多少盐，换了什么食材，但是别人看不到你用的食材是什么，也不知道你具体是怎么做的，只能知道你对菜做了什么调整。而且这些调整记录还会经过差分隐私的处理，加一点“噪声”，让别人更猜不到你具体用了什么食材，后面我们会详细讲。

先别急着吹：联邦学习不是万能药，这几个迷思你得先搞清楚

现在联邦学习被吹得很神，好像只要用了联邦学习，就一定能解决所有隐私问题，这其实是个很大的误解。在讲它的优势之前，我们得先把几个常见的迷思先澄清，免得你以后被忽悠。

迷思1：联邦学习就是100%保护隐私，我的数据绝对安全

错。联邦学习只能保证“原始数据不会离开你的设备”，但不能保证“别人完全猜不到你的数据是什么”。就像你在百乐餐上分享的“调整配方”，如果配方里写得太详细，比如“我用了去年在云南带回来的独家花椒”，别人还是能猜到你带了什么独家食材。

对应到技术上，就是联邦学习上传的模型更新，可能会被攻击者通过“成员推理攻击”“梯度反转攻击”等方式，反推出你本地训练用的数据是什么。比如2021年，麻省理工学院的研究团队就做过一个实验：他们用一个公开的联邦学习图片识别模型，通过分析上传的模型更新，成功猜出了用户本地训练数据里的部分图片，甚至包括用户的私人照片、病历照片。再比如2022年，有研究团队发现，如果联邦学习没有加差分隐私保护，攻击者可以通过模型更新，判断出某个用户是不是参与了训练，甚至猜出用户的训练数据里有没有敏感内容，比如有没有抑郁症的诊断记录、有没有HIV检测阳性记录。

所以联邦学习从来不是单独的隐私保护技术，它必须和差分隐私、安全聚合这些技术配合使用，才能真的保护隐私。就像你做百乐餐的时候，不能只靠“不把整桌菜带过来”来保护你的独家食材，你还要把调整的配方写得很模糊，加一点无关的内容，让别人猜不到你具体用了什么食材，还要把配方放在密封的盒子里，只有组织者有钥匙，别人看不到你的配方内容。后面三章我们会分别讲这三个技术，拆解它们是怎么配合保护你的隐私的。

迷思2：我个人的数据没用，我不参与联邦学习也没关系

错。每个人的数据都有独一无二的价值，尤其是那些小众的、个性化的数据，是训练AI适配所有人的关键。比如你是左撇子，你用手机的滑动习惯、输入习惯和右撇子完全不同，如果你的数据不参与训练，AI就永远学不会适配左撇子用户的操作习惯，现在很多手机的输入法对左撇子的滑动输入准确率很低，就是因为左撇子的数据太少，没有参与训练。

再比如你喜欢听90年代的独立摇滚，你的听歌记录、你喜欢的乐队、你收藏的专辑，是训练音乐推荐AI识别小众爱好的关键。如果只有大众喜欢的流行歌、说唱数据参与训练，AI永远不会给你推荐你喜欢的小众乐队，你刷短视频刷到的永远都是烂大街的热门BGM。再比如你有罕见的过敏史，你对某种药物的过敏反应数据，是训练AI识别药物过敏风险的关键，如果你的数据不参与训练，AI就永远学不会识别这种罕见的过敏反应，以后有人和你一样对这种药物过敏，AI就识别不出来，可能会出人命。

很多人觉得“我的数据很普通，没什么价值”，但其实AI的价值就在于它能适配每一个人的个性化需求，而个性化的前提，就是有足够多不同的人的不同数据。如果只有大众的、主流的数据参与训练，AI永远只能做“大众化”的服务，做不到真正懂你。

迷思3：联邦学习只有大公司能用，普通人根本接触不到

错。联邦学习现在已经在很多普通人能接触到的场景里落地了，而且很多产品你可能每天都在用，只是你不知道而已。

比如苹果的iOS系统里，有一个“听写”功能，你现在说话转文字，就是用联邦学习训练的模型，你的语音数据永远留在你的手机里，不会上传到苹果的服务器，但模型会越来越懂你的口音、你的常用表达。再比如很多银行的APP现在都有“盗刷提醒”功能，这个功能就是用联邦学习训练的，你的消费记录、消费习惯永远留在你的手机里，不会上传到银行的中央服务器，但模型可以学习到所有用户的消费习惯，更准确地识别出异常消费，保护你的钱不被盗刷。再比如现在很多在线教育平台的AI辅导功能，用联邦学习训练的话，你的学习记录、错题本、答题习惯永远留在你的设备里，不会上传到平台的服务器，但模型可以更懂你的学习弱点，给你更个性化的辅导，不用担心你的学习数据被泄露，比如你考试作弊的记录被学校拿到，或者你的学习能力数据被培训机构拿去乱发广告。

甚至很多公益项目现在也在用联邦学习：比如全球多个国家的医院联合训练肺癌预测模型，用的是来自全球17个医院的10万份CT扫描数据，这些数据从来没有离开过各个医院的服务器，也没有集中到一起，最后训练出来的模型准确率和用集中数据训练的模型一样高，而且保护了所有患者的隐私，避免了数据泄露的风险。再比如很多环保组织用联邦学习训练野生动物识别模型，用的是来自全球各地野生动物保护区的摄像头拍的照片，这些照片 never 离开保护区的服务器，但模型可以准确识别出野生动物的种类、数量，帮助保护濒危物种。

为什么联邦学习现在才火？三个关键节点的突破

联邦学习的概念其实早在2016年就由谷歌的研究团队提出了，2017年谷歌就推出了第一个基于联邦学习的输入法Gboard，但直到最近两三年，这个技术才真正开始普及。这背后有三个关键的技术和行业节点的突破，缺了任何一个，联邦学习都不可能走到今天。

第一个节点是端侧算力的突破。2017年之前，手机的芯片根本没有足够的算力训练AI模型，训练一个小的语言模型可能要几个小时，会耗光手机的电，还会让手机卡到用不了。那时候的联邦学习只能停留在实验室里，根本没法落地。但最近几年，智能手机的芯片算力突飞猛进：苹果的A17 Pro芯片的NPU算力已经达到了35TOPS，高通的骁龙8 Gen3的NPU算力达到了48TOPS，华为的麒麟9000S的NPU算力也达到了24TOPS，训练一个小的语言模型、图片识别模型只需要几秒钟，完全不卡，也不费电。现在甚至很多智能手表、智能家居设备的芯片，都已经有足够的算力跑联邦学习的本地训练了，端侧算力的突破，是联邦学习能落地的第一个前提。

第二个节点是模型压缩和通信技术的突破。早期的AI模型很大，可能有几百MB甚至几GB，上传一次模型更新要花几十MB的流量，不仅费钱，还慢。但最近几年，模型压缩技术（比如量化、剪枝、知识蒸馏）发展得非常快，现在一个模型更新可以压缩到几KB甚至几百字节，上传一次几乎不费流量，5G网络的普及也让传输速度更快，延迟更低。现在哪怕你在偏远山区，没有WiFi，用移动网络上传模型更新也只需要几毫秒，完全感知不到。通信成本和传输速度的降低，是联邦学习能大规模落地的第二个前提。

第三个节点是隐私法规的推动。2018年之前，企业可以随便收集用户数据集中训练模型，成本很低，没有必要用联邦学习这种更复杂的技术。但2018年GDPR出台之后，全球主要经济体都开始出台隐私法规，企业收集用户数据必须获得明确同意，还要承担极高的数据泄露风险，集中收集数据的成本越来越高。比如你要收集100万用户的训练数据，以前只需要写一句“我们可能会收集你的数据用于改善服务”，现在需要获得每个用户的明确同意，还要给用户提供删除数据的通道，一旦数据泄露，最高可以罚几亿欧元。而联邦学习不用集中收集数据，完全避免了合规风险，所以现在越来越多的大公司开始转向联邦学习，不是为了保护用户隐私，而是为了降低合规成本。

根据Gartner2023年发布的报告，到2025年，60%的大型企业会使用联邦学习技术来处理隐私敏感的用户数据，而2022年这个比例只有10%，未来三年联邦学习的市场规模会增长5倍以上。这个技术的普及速度，比当年深度学习还要快。

这本书要讲什么？不止是联邦学习，还有保护隐私的三件套

很多人提到联邦学习，就觉得它是一个单独的技术，但实际上，联邦学习只是一个框架，就像百乐餐的组织规则，它保证了“数据不出域”，但要真的保护隐私，还需要另外两个技术的配合：差分隐私（Differential Privacy）和安全聚合（Secure Aggregation）。

我们可以

我们可以把联邦学习、差分隐私、安全聚合比作百乐餐的三件套：联邦学习是百乐餐的组织规则，保证每个人不用交出独家食材；差分隐私是你在调整配方的时候加的“调味遮罩”，让别人猜不到你具体用了什么独家食材；安全聚合是密封的配方收集盒，保证只有组织者能打开，其他人看不到你写的配方。这三件套配合起来，才能真正做到“协作做出一桌好菜，又不用泄露任何秘密”。

 *图1-1：联邦学习、差分隐私、安全聚合的配合关系，三者缺一不可*

差分隐私：给你的配方加一层“模糊滤镜”

我们先讲最容易被误解的差分隐私（Differential Privacy）。很多人听到“加噪声”就觉得是“往数据里掺假，让模型变傻”，这其实是完全搞反了它的作用。你可以把差分隐私理解成你在写菜谱调整配方的时候，故意加了一点“模糊的描述”：比如你实际加了22克云南花椒，你写的不是“加22克花椒”，而是“加20到25克之间的花椒，还可以加一点点胡椒粉提鲜”。别人看到你的配方，