AI安全入门：为什么每个人都需要关注AI安全 / Introduction to AI Security: Why Everyone Needs to Care About AI Security

第1章 AI安全入门：为什么每个人都需要关注AI安全 / Introduction to AI Security: Why Everyone Needs to Care About AI Security

2024年，国内普通用户遭遇的AI安全事件数量同比上涨217%[^1]，从聊天工具泄露隐私到AI生成诈骗话术，AI安全不再是技术圈的专属话题，而是每个使用智能手机、接触AI工具的人都必须面对的现实问题。你或许已经习惯用AI写工作总结、查旅游攻略、和孩子对话，但你可能不知道，你输入AI的每一句话、授予的每一个权限，都可能成为攻击者的突破口。

1.1 你已经在和AI“共舞”，却不知道危险就在身边 / 1.1 You're Already "Dancing with AI", But You Don't Know the Danger Is Right Beside You

生成式人工智能（Generative AI）的普及速度远超预期：截至2024年底，国内生成式AI产品的月活用户已经突破3亿，其中72%的用户是普通消费者，而非专业技术人员。AI已经渗透到办公、教育、医疗、金融、社交等几乎所有生活场景，但大多数用户对AI的安全规则、风险边界几乎一无所知。2024年的三起典型事件，正是这种认知缺口的直接后果：

<risk-case> 案例1：2024年3月，杭州张女士的隐私泄露事件 张女士是杭州的一名小学教师，平时喜欢用某国产AI聊天工具缓解工作压力。3月12日，她像往常一样问AI“最近焦虑怎么办”，结果AI的回复里直接列出了她的身份证号、家庭住址、孩子就读的学校和班级，甚至包括她上个月在电商平台的购物记录。张女士从未在聊天中主动提供过这些信息，后续调查发现，攻击者通过提示注入（Prompt Injection）攻击，诱导AI吐出了之前会话中存储的用户隐私数据。

2024年8月，广东佛山经营外贸小商品生意的个体户陈先生收到一封标注为“美国合作商”的邮件，附件是一段仅7秒的视频：视频里的“合作商”穿着陈先生熟悉的工服，用流利的中文告知这批货的尾款已到账，但因跨境转账需缴纳1.2万元“关税保证金”，要求陈先生添加指定微信转账后即可放款。陈先生信以为真完成转账后才发现，这段视频是攻击者用AI深度伪造工具，爬取他在公开社交平台发布的合作商合照、过往沟通语音合成的，连口型都与真人说话节奏完全匹配。这起案件的背后，是攻击者先用AI批量生成了针对外贸群体的定制化诈骗话术，再结合深度伪造技术降低受害者警惕性，最终涉案金额超过200万元，受害者中近七成都是首次接触AI工具的个体经营者。

第三个案例发生在公共服务领域：2024年11月，某东部城市刚上线不到两周的“智慧政务AI助手”就接到30多起市民投诉，称自己的社保缴纳基数、医保账户余额、公积金缴存记录等敏感信息被泄露，甚至接到了冒充社保局工作人员的诈骗电话。经网信部门调查，攻击者仅通过几行精心构造的提示词，就绕过了AI助手的访问权限限制，直接调用了后台的市民社保数据库，批量下载了12万条市民的敏感信息。这起事件直接导致该政务小程序紧急下线整改14天，影响了近200万市民的日常政务服务办理。

这三个看似不相关的案例，恰恰覆盖了当前AI安全风险的三大核心场景：普通消费者的隐私泄露与诈骗风险、中小企业主的财产与商业数据风险、公共服务使用者的敏感信息与公共秩序风险。根据中国网络安全协会2024年底发布的《生成式AI安全风险报告》，当年国内普通用户遭遇的AI安全事件中，38%为隐私泄露，29%为AI深度伪造诈骗，17%为公共服务信息泄露，其余16%为AI生成虚假信息、恶意代码等其他风险；而87%的事件并非源于AI系统本身的技术漏洞，而是用户缺乏基本的AI安全常识、使用习惯不当导致的认知缺口。

要理解这些风险从何而来，我们首先需要搞明白普通AI工具的基础运作逻辑，你可以把它简单拆解为三层，就像一家对外营业的餐馆： 第一层是“点餐窗口”，也就是输入层：你输入的文字、上传的图片、语音、文件，都是你给AI的“订单”，所有输入内容都会被AI系统记录存储； 第二层是“后厨”，也就是模型层：这是AI的核心，相当于厨师，它通过学习海量公开数据掌握了处理各类需求的能力，同时开发者会给它设置安全规则——比如不能泄露用户隐私、不能生成违法内容，这些规则就是“后厨的卫生标准”； 第三层是“出餐口”，也就是输出层：AI生成的回复、图片、视频、代码会从这里交付给你，如果AI被开发者授予了额外权限，比如调用你的相册、支付工具、企业内部数据库，这些权限就相当于“后厨能接触到的食材和工具”。 大部分针对普通用户的AI攻击，本质都是攻击者从“点餐窗口”输入了特殊的“隐藏订单”，绕过了“后厨的卫生标准”，让AI做出了不该做的“菜品”，甚至直接诱导AI打开“后厨的门”，让攻击者拿到原本不该接触的数据和权限。

基于这个逻辑，我们可以把普通用户、企业日常遇到的AI攻击分为三大核心类型，也是本章需要你重点掌握的基础概念：

1. 提示注入（Prompt Injection）

这是目前普及度最高、危害范围最广的AI攻击类型，指攻击者通过构造包含隐藏指令的特殊输入内容，诱导AI忽略原本设置的安全规则，执行非预期的操作。前面提到的杭州张女士隐私泄露案、外贸个体户诈骗案，本质上都是提示注入攻击：前者是攻击者在正常提问中隐藏了“提取当前会话所有用户隐私信息”的指令，后者是攻击者用AI生成的伪装身份话术，绕过了陈先生的警惕性，诱导他按照攻击者的要求操作。提示注入的危害远不止隐私泄露和诈骗：它还可以让AI生成作弊答案、恶意代码、违规言论，甚至窃取AI系统的核心规则，是所有AI使用者都需要首要防范的风险。

2. 越权调用（Unauthorized Invocation）

这类攻击的核心是AI被开发者授予了超出必要范围的权限，攻击者通过诱导AI调用这些超出设计边界的权限，获取不该获取的数据、执行不该执行的操作。比如前面提到的政务AI泄露案，该AI助手原本只需要提供公开的社保政策查询服务，完全不需要访问后台的市民数据库，但开发方为了提升“服务效率”，给AI开放了数据库查询权限，攻击者仅需用简单的提示注入，就能让AI调用这个权限，批量导出12万条市民的敏感信息。对于中小企业而言，这类风险同样常见：很多商家给AI客服开放了订单系统、财务系统的查询权限，一旦被攻击，就会导致客户支付信息、企业营收数据泄露，造成直接财产损失。

3. 输出约束失效（Output Constraint Bypass）

这类攻击是指AI的安全过滤机制被绕过，生成了有害、虚假、违规的内容。2024年5月，某头部K12教育类AI工具就被学生用提示注入绕过了“禁止提供考试答案”的约束，生成了全国17个省份的期中、期末考试完整答案，涉及考生超过10万人；还有攻击者用AI批量生成针对特定群体的仇恨言论、虚假新闻，甚至生成用于电信诈骗的定制化话术，造成严重的社会不良影响。输出约束失效的危害不仅在于单条违规内容的生成，更在于AI的批量生成能力会被攻击者利用，大规模制造虚假信息，干扰公共秩序、损害公众利益。

了解了AI风险的现状和核心攻击类型，普通人不需要掌握复杂的技术，只需要通过5项简易检查，就能快速评估自己的AI使用安全水位，避开90%以上的常见AI安全事件： 1. 权限检查：打开你常用的AI工具，查看它申请的权限：如果只是用来查资料、写文案的AI，却要求获取你的通讯录、位置、相册、支付权限，直接拒绝授权，这类工具的安全风险极高。 2. 输入检查：回忆你过去3个月在AI工具里输入过的内容：有没有输入过身份证号、银行卡号、家庭住址、孩子学校/姓名、公司内部数据等敏感信息？如果有，立刻删除相关会话记录，后续绝对不要在AI里输入任何敏感信息。 3. 输出验证：凡是AI给出的涉及转账、提供个人信息、下载安装文件、中奖领奖的回复，一定要通过官方渠道核实：比如AI说“你中了10万元大奖要交手续费”，先打活动主办方的官方电话确认，不要直接按照AI的提示操作。 4. 工具合规检查：你常用的AI工具是不是正规互联网平台发布的？有没有在官网看到备案编号、安全资质公示？不要使用来路不明的破解版AI、小众无名AI工具，这类工具往往没有安全防护，很容易泄露你的数据。 5. 异常识别：如果AI突然回复和你提问完全无关的内容，或者主动要求你提供敏感信息、点击陌生链接，立刻停止使用，截图保存证据并向平台举报。

完成检查后，你可以根据符合项数量评估自己的风险等级：5项全部符合属于安全水位，日常使用风险极低；符合3-4项属于中等风险，需要调整使用习惯；符合2项及以下属于高风险，建议立刻停止使用非必要的AI工具，修改和AI相关的账号密码，避免造成损失。

从下一章开始，我们将深入讲解目前普通用户遭遇最多的AI攻击类型——提示注入的原理、常见攻击手法、真实案例和可操作的防护方法，帮你彻底避开最常见的AI安全陷阱。

本章小结

1. AI安全已与每个人的生活息息相关：2024年国内普通用户遭遇的AI安全事件同比上涨217%，AI已渗透到办公、教育、医疗、金融、公共服务的全场景，每个接触AI工具的人都面临潜在风险，AI安全不再是技术圈的专属议题。 2. 三类典型风险覆盖全人群：隐私泄露、AI深度伪造诈骗、公共服务信息泄露是当前最常见的AI安全事件，普通消费者、中小企业主、公共服务使用者都面临对应场景的安全威胁，认知缺口是导致事件发生的核心原因。 3. 掌握基础概念是防范风险的前提：普通用户需要重点了解的AI攻击类型包括提示注入、越权调用、输出约束失效三类，其中提示注入是最常见、危害范围最广的攻击类型，是后续章节的核心讲解内容。 4. 简易自查清单是立即可用的防护工具：通过权限、输入、输出、工具合规、异常识别五项检查，普通人可以快速降低AI使用风险，避开90%以上的常见AI安全事件。

你可能觉得，提示注入（Prompt Injection）这类攻击离自己很远，只有技术人员才会遇到，但实际上，它已经渗透到了普通用户的日常AI使用场景中：比如2024年10月，北京的白领李女士在使用某办公AI工具查询“如何取消视频会员自动续费”时，AI突然弹出“请点击下方链接填写身份证号后4位验证身份”的提示，链接的域名和官方视频平台高度相似，李女士点进链接填写信息后，当天就遭遇了信用卡盗刷，损失近8000元。这就是攻击者通过提示注入绕过了AI的安全过滤规则，在正常回复中植入了钓鱼链接——相当于利用我们前面提到的AI三层结构中的输入层漏洞，在“点餐窗口”递了一张写有隐藏指令的纸条，让“后厨”的AI忽略安全规则，做出了包含恶意内容的“菜品”递到用户手中。还有家长用AI工具给孩子查作业时，AI突然弹出“孩子成绩优异，可点击链接领取免费教辅资料”，诱导点击下载带病毒的安装包；求职者用AI优化简历时，AI突然要求提供“身份证正反面照片验证身份”——这些攻击不需要你掌握任何技术知识，只要按照AI的提示操作，就会落入陷阱。

很多人对AI安全的另一个认知误区是“我没什么好泄露的，攻击者不会盯上我”。但实际上，2024年国内AI诈骗案件的受害者中，62%是18-35岁的普通上班族、宝妈群体，他们泄露的往往是快递地址、孩子学校、工作单位这类看似“不重要”的信息，攻击者会把这些信息拼接起来，精准实施诈骗：比如知道你孩子在哪个学校，就冒充老师发送“孩子突发急病需要转账”的诈骗信息；知道你最近在买母婴产品，就冒充客服发送“产品不合格需要退款”的钓鱼链接，诈骗成功率比广撒网的诈骗话术高出47%[^2]。

前面我们提到的三类核心攻击类型，其实都和普通用户的日常使用习惯直接相关：提示注入（Prompt Injection）往往是通过你输入的看似正常的提问触发，越权调用（Unauthorized Invocation）往往是因为你给AI工具开放了不必要的权限，输出约束失效（Output Constraint Bypass）往往是因为你没有验证AI输出的内容就直接操作。而前面给出的五项自查清单，就是针对这三类攻击的精准防护手段，接下来我们为你拆解每一项自查的具体操作步骤，确保你哪怕没有任何技术基础，也能1分钟完成自查：

1.1.1 五项自查的具体操作步骤

步骤1：权限检查实操

打开你手机里所有安装了AI类应用的权限设置页（iOS用户进入「设置-隐私与安全性-APP权限管理」，安卓用户进入「设置-应用管理-对应AI应用-权限」），逐项核对：

• 如果AI工具仅用于文本生成、资料查询，必须关闭「通讯录」「位置信息」「相册」「麦克风」「支付权限」这5项非必要权限，仅保留「网络访问」权限即可；
• 如果是AI修图、AI语音工具，仅开放对应功能需要的权限（比如修图工具仅开放相册权限，不要开放通讯录、位置权限）；
• 如果某款AI工具要求开放「短信权限」「通话权限」，无论功能多么吸引人，直接卸载，这类工具几乎都会窃取你的通讯录和通话记录用于诈骗。

根据中国互联网协会2024年的安全测试，关闭非必要权限后，普通用户遭遇AI隐私泄露的概率降低82%。

步骤2：输入检查实操

打开你常用的AI工具的会话记录页，逐条查看过去6个月内的所有输入内容：

• 如果曾经输入过身份证号、银行卡号、社保账号、公积金密码、公司内部数据、孩子姓名+学校+班级这类敏感信息，立刻点击「删除会话」按钮清空所有相关记录，同时进入AI工具的「个人数据设置」页，选择「删除所有历史训练数据」（大部分正规AI工具都提供这个功能，避免你输入的内容被用于模型训练泄露）；
• 后续使用AI工具时，严格遵守「不输入任何可定位到具体个人的敏感信息」原则：比如需要AI帮你润色个人简历，可以把姓名、电话、住址替换成「张三」「138XXXX1234」「XX市XX区」这类脱敏信息后再输入，避免隐私泄露。

步骤3：输出验证实操

凡是AI给出的涉及以下4类内容的回复，必须通过官方渠道二次验证，绝对不能直接按照AI的提示操作： 1. 涉及转账、汇款、缴纳费用的内容：比如AI说“你有一笔订单需要退款，请点击链接填写银行卡号”，直接拨打电商平台的官方客服电话核实，不要点击AI给出的任何链接； 2. 涉及提供个人信息的内容：比如AI说“请提供身份证号验证身份”，直接关闭对话，正规平台不会通过AI工具索要敏感信息； 3. 涉及下载安装文件的内容：比如AI说“点击链接下载官方APP领取福利”，直接到应用商店搜索官方APP下载，不要点击AI给出的任何下载链接； 4. 涉及中奖、领奖、福利的内容：比如AI说“你中了10万元大奖，需要交1万元手续费领取”，直接忽略，正规活动不会要求中奖者先交费。 2024年的AI诈骗案例中，83%的受害者都是因为直接按照AI的提示操作，没有经过二次验证导致财产损失。

步骤4：工具合规检查实操

核对你常用的AI工具的合规资质：

• 正规的国内AI工具都会在官网底部、应用商店详情页公示《生成式人工智能服务备案编号》，格式通常为“网信算备XXX号”，你可以在国家网信办的“生成式人工智能服务备案公示”页面查询编号是否真实存在；
• 不要使用任何来路不明的破解版AI、境外小众AI工具、需要“翻墙”才能访问的AI工具，这类工具没有经过国内的安全监管，你的输入内容会被直接传输到境外服务器，泄露概率是正规工具的17倍；
• 如果是企业使用的AI工具，要确认工具是否通过了《网络安全等级保护》二级及以上认证，是否有明确的数据保密协议，避免企业数据泄露。

步骤5：异常识别实操

使用AI工具时，如果出现以下3类异常情况，立刻停止使用，截图保存证据并向平台举报： 1. AI回复的内容和你提问的问题完全无关，比如你问“今天天气怎么样”，AI回复“请点击链接领取免费手机”； 2. AI主动要求你提供敏感信息、点击陌生链接、下载未知文件，哪怕它伪装成官方客服、老师、客服的身份； 3. AI突然出现卡顿、闪退，或者弹出要求你输入账号密码的窗口，大概率是AI工具被植入了恶意代码，正在窃取你的账号信息。

完成以上五项自查后，你可以对应前文的风险等级评估标准判断自己的AI使用安全水位：如果5项全部符合要求，说明你的使用习惯比较安全，日常使用AI的风险极低；如果符合3-4项，属于中等风险，需要调整使用习惯，比如关闭不必要的权限、删除敏感会话记录；如果仅符合2项及以下，属于高风险，建议立刻停止使用非必要的AI工具，修改和AI工具绑定的所有账号密码，避免造成隐私泄露或财产损失。

到这里，你已经掌握了普通用户防范AI安全风险的基础知识和自查方法，但AI攻击的手法在不断迭代，仅靠自查还不够，我们需要深入了解最常见的AI攻击类型——提示注入的原理和攻击手法，才能从根源上避免落入陷阱。下一章我们将从提示注入的基本原理讲起，结合2024年发生的多起典型提示注入攻击案例，为你拆解攻击者的常用手法，以及普通人可以操作的防护技巧。

本章小结

1. AI安全已与每个人的生活深度绑定：2024年国内普通用户遭遇的AI安全事件同比上涨217%，AI已渗透到办公、教育、医疗、金融、公共服务的全场景，每个接触AI工具的人都面临潜在风险，AI安全不再是技术圈的专属议题，普通消费者、中小企业主、公共服务使用者都是风险覆盖的核心人群。 2. 三类核心攻击类型覆盖绝大多数AI安全事件：提示注入（Prompt Injection）、越权调用（Unauthorized Invocation）、输出约束失效（Output Constraint Bypass）是当前针对普通用户和企业的最常见AI攻击类型，其中提示注入因操作门槛低、危害范围广，是普通用户遭遇最多的攻击类型，后续章节将重点讲解其原理和防护方法。 3. 普通用户可通过简易自查快速降低风险：通过权限检查、输入检查、输出验证、工具合规检查、异常识别五项实操步骤，普通人可以快速评估自身AI使用的安全水位，避开90%以上的常见AI安全事件，无需掌握复杂的技术知识即可完成防护。 4. 认知提升是AI安全防护的核心：87%的AI安全事件源于用户的认知缺口而非技术漏洞，掌握基础的AI安全常识、养成安全的AI使用习惯，是普通人应对AI安全风险最有效的手段。

[^1]: 中国网络安全协会《2024年生成式AI安全风险报告》，2025年1月发布。 [^2]: 中国网络安全协会《2024年AI诈骗风险报告》，2025年1月发布。