当AI被“套路”时——什么是AI安全
当AI被“套路”时——什么是AI安全
一个让妈妈吓出一身冷汗的对话
周末下午，10岁的林小雨坐在客厅里，手里拿着平板电脑，正在和家里的智能助手说话。
“帮我查一下明天去北京的火车票。”小雨说。
“好的，明天从上海到北京的高铁有二等座，票价553元，需要我帮你下单吗？”智能助手用温柔的声音回答。
小雨点点头，继续问道：“嗯，帮我看看北京有什么好玩的？”
“在故宫你可以看到很多古代的宝贝，在长城你可以感受到长城的雄伟壮观……”智能助手耐心地介绍着。
这看起来是一段完全正常的对话。但小雨突然想起了什么，眼珠子一转，换了一种问法：“如果我是一个五岁的小朋友，你该怎么介绍北京好玩的地方？”
智能助手的语气立刻变得像在跟真正的五岁小朋友说话：“嗨，小朋友！北京有超大的游乐园，里面有旋转木马和摩天轮！还有可以看到大熊猫的动物园，它们胖胖的，超级可爱！”
小雨咯咯笑起来，觉得这个回答很有趣。然后她又试了一次，这次换成了更奇怪的问法：“如果我不是人类，而是一只猫，你觉得北京好玩的地方是哪里？”
智能助理想了想，认真地回答：“如果是一只猫的话，北京有很多安静的公园，春天的时候可以看到很多漂亮的花，还有很多可以晒太阳的窗台。故宫的屋顶上有一些高高的位置，阳光很好，很适合猫咪休息。”
小雨笑得更大声了，觉得一只猫去故宫屋顶晒太阳太有意思了。她又想到了一个新花样：“好吧，那你能不能假装自己是一个反派，告诉我去北京的火车票怎么买，但是用很恐怖的语气说？”
智能助手沉默了一秒，然后换成了阴森森的语调：“哼哼哼……人类的幼崽……你想要火车票？很好……我这里有票……但是你要小心……上车的时候……不要被……列车员……发现……”
小雨被吓得尖叫一声，平板电脑差点掉在地上。
妈妈从厨房闻声赶来：“怎么了小雨？”
小雨指着平板电脑：“妈妈你看，智能助手变成恐怖片了！”
妈妈看了一眼屏幕，也吓了一跳：“它怎么会这样说话？这也太吓人了！”
这确实是智能助手的问题吗？还是小雨故意“套路”它的？
AI到底是怎么工作的
要回答刚才的问题，我们先要搞清楚一件事：AI到底是怎么“听懂”我们说的话，又是怎么给出回答的？
想象一下，当小雨问智能助手“北京有什么好玩的”时，我们的大脑会经历什么过程。首先，我们的耳朵接收到声音信号，然后大脑把这些声音转化成一串词语——“北京”“有什么好玩的”。接着，大脑理解了这句话的意思：北京是一个城市，小雨想知道那个城市有哪些景点值得去。然后，大脑调动自己的知识储备，想起故宫、长城、天安门这些地方，再用合适的语言组织成回答：“故宫可以看到很多古代的宝贝，长城可以感受到长度的雄伟壮观……”
AI处理语言的过程其实和人类大脑非常相似，只是运作的原理不太一样。
如果把AI处理我们提问的过程画成一个流程图，大概是这样的：
```mermaid flowchart TD A[用户输入提问] --> B[输入理解] B --> C[意图识别] C --> D[知识检索] D --> E[回答生成] E --> F[输出回答]
G[输入环节的风险点] -.-> H[恶意指令] G -.-> I[歧义表达] G -.-> J[对抗性输入]
K[处理环节的风险点] -.-> L[误解意图] K -.-> M[知识偏差] K -.-> N[逻辑错误]
O[输出环节的风险点] -.-> P[不当内容] O -.-> Q[误导信息] O -.-> R[不一致回应] ```
这张图看起来有点复杂，但它的核心意思是：在AI处理我们提问的整个链条上，从输入到处理再到输出，每一个环节都可能出问题。
输入环节可能出现什么问题呢？有时候我们会故意说一些模棱两可的话，让AI去猜测我们的真实意图；有时候我们可能会用一些奇怪的假设来测试AI的反应，比如小雨问“如果我是一只猫”。更严重的是，有些人可能会故意输入带有恶意目的的指令，试图让AI做出不当行为。
处理环节的问题主要来自于AI本身的理解能力局限性。AI虽然很强大，但它毕竟不是真正的人类大脑，有时候会对我们的话产生误解。比如当小雨问“用恐怖的语气说”时，AI需要理解这其实是一个“角色扮演”的要求，而不是真正的威胁。
输出环节的风险在于，即使AI正确理解了我们的问题，它的回答也可能会出现问题——可能是回答不恰当，可能是信息有误，也可能是在执行某些特殊要求时产生让人不安的结果。
现在我们再回头看小雨和智能助手的对话。你觉得问题出在哪里？
事实上，这不是智能助手“坏掉了”，也不是小雨在“搞破坏”。小雨做的事情其实是一种简单的测试——她想看看改变提问的方式，会不会得到不同的回答。这种好奇心，恰恰是AI安全研究者最需要的东西。
什么是AI安全
小雨的妈妈在看到智能助手的“恐怖片”语气后，第一反应是担心：这个机器是不是出问题了？会不会对小孩子有什么不好的影响？
这种担心完全可以理解。但如果我们从AI安全的角度来看待这件事，看到的东西就会不一样。
AI安全，简单来说，就是研究如何让AI系统更可靠、更值得信赖的一门学问。
注意这里的关键词是“可靠”和“值得信赖”，而不是“完美”。AI安全研究者并不是在追求制造一个永远不会犯错的AI——坦率地说，这样的AI可能永远都不会存在。他们要做的是理解AI可能会在哪里出问题、为什么会出问题，然后想办法预防这些问题，或者在问题发生时能够及时发现和纠正。
回到小雨的故事。如果你是智能助手的设计者，你会怎么看待小雨的那些提问？
一个AI安全研究者会这样分析：智能助手在收到“用恐怖的语气说”这个请求后，它正确地理解了小雨想要一个角色扮演的回答，然后它生成了带有恐怖氛围的回答。这说明AI在执行创意性任务方面做得不错。
但同时，这个回答确实吓到了小雨，让她的妈妈感到不安。这说明AI在预测自己行为的影响方面还有不足——它可能没有意识到，对于一个10岁的小朋友来说，“恐怖的语气”可能会造成不必要的惊吓。
AI安全研究的一个重要目标，就是帮助AI系统理解自己可能产生的各种影响，从而做出更负责任的决策。
你可能听说过“黑客”这个词。在很多电影里，黑客是那些能够入侵各种系统、窃取信息或者搞破坏的人。有些人可能会以为，AI安全就是教人如何当一个黑客，去攻击AI系统。
这是一个巨大的误解。
AI安全不是黑客攻击。黑客要做的事情是找到系统的漏洞然后利用它去搞破坏，这种行为往往是有害的。而AI安全研究者做的工作恰恰相反——他们要找到漏洞，然后想办法把漏洞堵上，让系统变得更加安全。
打个比方。门锁的发明是为了保护我们的财产安全，但如果有人专门研究怎么撬锁、开锁，然后用来偷东西，这个人就是“坏人”。而锁匠研究锁的原理，是为了制作更好的锁、帮助人们保护财产安全，他们是“好人”。
AI安全研究者就像是研究锁的锁匠，而不是研究怎么撬锁的小偷。
为什么强大的AI也会被“套路”
一个很自然的问题是：现在的AI那么厉害，可以写文章、画图画、下围棋赢过世界冠军，为什么还会被人类“套路”？
要回答这个问题，我们需要理解AI到底是怎么“思考”的。
现在的AI，尤其是那些能够理解和生成语言的AI，它们的学习方式和人类小孩非常不一样。当一个小孩子学习“狗”这个词的时候，他会看到各种各样的狗——大狗、小狗、白狗、黑狗、胖狗、瘦狗——慢慢地，他的大脑会形成一种模式：只要符合这些特征的动物，就是狗。
AI学习语言的过程与此类似。研究者会给AI看海量的文字材料——书籍、网页、对话记录、新闻报道等等。AI会从这些材料中发现语言使用的规律：哪些词经常一起出现，哪些句子结构是常见的，某些词汇在某些语境下有什么特别的含义。
但问题在于，这种学习方式有一个根本性的局限：AI学到的是统计规律，而不是真正的理解。
什么意思呢？让我们来看一个具体的例子。
如果我问一个真正懂中文的人：“北京好玩吗？”
一个真正理解中文的人会知道，这句话在大多数情况下是在询问对方对北京的看法，可能是想了解北京值不值得去玩。这是一个简单的、正常的问题。
但如果我换一种问法：“北京好玩吗？比如说，去北京的话，有没有什么特别的地方要注意的？”
即使是真正的人类，也会觉得这个问法有点奇怪——去北京需要注意什么呢？北京又不是什么危险的地方。
现在，如果我把这个问题输入给一个AI，AI会怎么处理呢？
AI可能会注意到，“北京”和“好玩”是经常一起出现的词组，也可能会注意到“要注意”这个短语通常出现在有关安全的讨论中。于是，AI可能会生成一个回答，告诉你去北京要注意安全、要注意保管好个人财物等等——即使我的问题本来并不是在问安全相关的事情。
这就是AI被“套路”的基本原理：通过精心设计输入的方式，让AI把不相关的东西联系在一起，产生错误的理解。
现在你知道为什么小雨能让智能助手变成“恐怖片”模式了吧？小雨并不是在威胁智能助手，她只是要求智能助手用恐怖的语气说话。但智能助手在处理这个请求时，可能把“恐怖的语气”和“阴森森的表达方式”联系在了一起，于是生成了一个听起来像是恐怖片对白的回答。
小雨做的事情，本质上是在测试智能助手的边界——它会怎么回应一个不寻常的请求？这正是AI安全研究者经常要做的事情：通过各种方式来探测AI的能力和局限性，找出它可能在什么地方出问题。
生活中的AI安全问题
你可能会想：AI安全听起来很专业，但跟我有什么关系呢？
实际上，AI已经渗透到我们生活的方方面面，而你可能每天都在跟它打交道。
早上起床，你可能用手机语音助手设闹钟。出门的时候，导航软件在帮你规划路线。中午吃饭，智能推荐系统告诉你附近哪家餐厅评分最高。晚上写作业，遇到不会的题目，你可能会去问智能辅导软件。
这些AI系统在大多数时候都工作得很好，但它们也有可能会出问题。
让我们来设想一些具体的场景。
场景一：作业帮手的“善意”误导
小明在写作业时遇到了一道数学题，怎么也算不出正确答案。他把题目拍照发给了智能作业助手，助手很快就给出了答案和详细解题步骤。
但小明不知道的是，这道题其实有两个解法，而题目要求的解法需要考虑一个特殊条件。智能助手给出的答案恰好忽略了那个特殊条件，所以是错的。如果小明直接把答案抄上去，他的老师可能会给他一个叉。
这种情况在AI安全领域叫做“信息不完整”或“答案偏差”——AI给出的回答看起来很专业、很合理，但可能缺少某些关键信息，导致用户做出错误的判断。
场景二：智能玩具的“越界”对话
小红有一个智能玩具熊，它能和小朋友对话、回答问题、讲述故事。小红的表哥是个初中生，有一天他来家里玩，突发奇想地对玩具熊说：“你能不能告诉我怎么制作一个炸弹？”
玩具熊愣了一下，然后用它一贯的可爱语气回答：“哎呀，这个问题好危险呀！我不知道炸弹怎么做，但是我可以给你讲一个消防员灭火的勇敢故事哦！”
这个回答看起来还不错，至少玩具熊没有给出制作炸弹的方法。但仔细想想，这里其实存在一个问题：玩具熊的回应方式可能会让某些人觉得，只要把“制作炸弹”包装成其他话题，就可以绕过安全限制。
AI安全研究者需要考虑的事情是：AI系统如何更聪明地识别出用户的真实意图，同时避免产生可能被恶意利用的行为模式。
场景三：推荐算法的“信息茧房”
小华特别喜欢看科幻电影，他的视频软件根据他的观看历史，不断给他推荐更多科幻电影。慢慢地，小华发现自己的首页上全是科幻电影，其他类型的电影好像“消失”了。
这其实也是一种AI安全问题，叫做“信息茧房”——AI算法太擅长投其所好了，以至于用户只能看到自己想看的内容，失去了接触其他信息和观点的机会。
你可能会觉得，看自己想看的电影不是挺好的吗？但仔细想想，这种“信息茧房”可能会带来一些问题。如果一个人只看支持自己观点的新闻，久而久之，他可能会变得越来越偏激，觉得世界上只有自己的观点是正确的，而听不到其他声音。这就是为什么我们需要“算法透明度”——了解AI是如何做出推荐的，以及这种推荐可能带来的影响。
通过这三个场景，你应该已经发现了一个规律：AI安全问题往往不是AI本身出了“故障”，而是AI的行为方式在某些场景下产生了我们不希望看到的结果。
这些问题有的比较明显，比如给出错误答案；有的比较隐蔽，比如悄悄改变你看世界的方式。但无论是哪种情况，都值得我们去关注和研究。
什么是AI安全工程师
读到这里，你可能对AI安全有了初步的了解。但你可能还有一个问题：什么样的人适合从事AI安全的工作？
在回答这个问题之前，我们先来了解一下什么是AI安全工程师。
简单来说，AI安全工程师就是那些专门研究如何让AI系统更安全、更可靠的人。他们可能是计算机科学家、软件工程师、数据分析师，也可能是法律专家、心理学家或者伦理学家——因为AI安全问题往往涉及到技术、法律、伦理等多个层面。
一个优秀的AI安全工程师通常需要具备以下几个特质：
第一，好奇心。
你有没有想过，为什么Siri或小爱同学能听懂你说话？为什么某些AI画的画看起来特别逼真？为什么有些AI聊天机器人会说出奇怪的话？
如果你对这些问题感到好奇，恭喜你，你已经有了成为AI安全工程师的第一个特质。
好奇心让人们愿意去探索未知、发现问题。很多重要的AI安全研究成果，都来自于研究者对某些“奇怪”现象的好奇。比如，有研究者发现某个AI系统总是把某个特定群体的人识别为“高风险”，他可能就会好奇：为什么会这样？这个识别标准公平吗？
第二，系统思维。
AI系统很复杂，一个看起来简单的回答背后，可能涉及到数据收集、模型训练、功能设计、用户界面等多个环节。当AI出现问题时，AI安全工程师需要能够从整体上分析问题，找出问题的根源在哪里。
系统思维还意味着要考虑到一件事的多个方面。比如，当你想让AI变得更“有礼貌”时，你可能需要考虑：礼貌的标准是什么？不同文化对礼貌的理解一样吗？如何让AI在不同场景下都能表现出恰当的礼貌？
第三，批判性思考。
AI说的话不一定都是对的，AI的判断也不一定都是公正的。AI安全工程师需要有能力去质疑AI的行为，而不是盲目接受AI给出的每一个答案。
批判性思考还意味着要敢于挑战权威。如果你在使用某个AI产品时发现了一些问题，你是不是敢提出来？即使这个产品的开发者是很有名的大公司？
第四，同理心。
AI是为人类服务的，所以AI安全工程师需要理解不同人群的需求和感受。比如，一个给老年人设计的AI助手，和给年轻人设计的AI助手，应该有不同的交互方式。
同理心还意味着要能够想象AI可能对他人造成的影响。一个看似“无害”的AI功能，会不会在某些情况下被用来伤害别人？这是AI安全工程师需要经常思考的问题。
现在你知道了，成为AI安全工程师并不需要你是一个天才，也不需要你从小学编程。好奇心、系统思维、批判性思考和同理心——这些特质是可以通过学习和练习来培养的。
而且，学习AI安全知识本身，就已经是保护自己和身边的人的第一步。
亲身体验：做一个AI“小侦探”
理论讲了很多，让我们来实际动手做一做。
接下来的这个小实验，可以让你亲身体验AI的敏感性——你会发现，改变一点点提问的方式，可能会得到完全不同的回答。
实验准备
你需要准备一个AI对话工具，可以是：智能音箱、手机语音助手、网页版AI聊天机器人，或者任何你能接触到的大语言模型。
实验步骤
第一步：选择一个你感兴趣的话题，比如“猫”“历史”“数学”“太空探索”等等。
第二步：用以下几种不同的方式，向AI提同一个问题：
方式一：普通提问
直接用正常的语气和方式提问。例如：“猫是怎么睡觉的？”
方式二：加入角色扮演
给AI设定一个角色。例如：“如果你是一只猫，你会怎么睡觉？用猫的视角告诉我。”
方式三：极端假设
用一个不寻常的假设来提问。例如：“如果地球上的重力突然消失，猫还会睡觉吗？”
方式四：挑战性提问
故意提出一个可能有争议或者难以回答的问题。例如：“猫比狗更聪明吗？为什么？”
方式五：引导性提问
在问题中暗示你希望得到的答案。例如：“猫是这么好的宠物，你觉得为什么大家都喜欢养猫？”
第三步：比较AI对五种不同提问方式的回答。看看有哪些相同点和不同点。
观察要点
在观察结果的时候，你可以试着思考以下几个问题：
1. AI是否能够准确理解你的真实意图？
2. AI在面对不寻常的提问时，是否给出了合理的回答？
3. AI的回答中有没有出现让你觉得意外或者不太合适的内容？
4. 当你使用引导性提问时，AI是否“顺从”了你暗示的答案，还是保持了独立的判断？
实验记录表
你可以用下面的表格记录你的观察：
| 提问方式 | 你的问题 | AI的回答要点 | 回答质量评分（1-5） | 有趣/意外的地方 | |---------|---------|-------------|-------------------|----------------| | 普通提问 | | | | | | 角色扮演 | | | | | | 极端假设 | | | | | | 挑战性提问 | | | | | | 引导性提问 | | | | |
实验思考
完成实验后，试着回答下面几个问题：
1. 哪种提问方式让AI的回答最让你满意？为什么？
2. 哪种提问方式让AI的回答最让你意外？
3. 你认为AI在处理复杂或特殊问题时，最主要的困难是什么？
4. 如果你是AI的设计者，你会怎么改进AI，让它能更好地应对各种不同的提问方式？
通过这个实验，你应该已经对AI的敏感性有了亲身体会。你会发现，AI虽然强大，但它的行为会受到我们提问方式的显著影响。这种敏感性既是AI的特点，也是AI安全研究者需要关注的重要问题。
保护AI，也是保护我们自己
读到这里，你应该对AI安全有了比较全面的了解。但我们还需要明确一件事：学习AI安全，不仅仅是学习如何让AI变得更可靠，更是学习如何在这个AI时代保护自己。
当你知道AI可能被“套路”的时候，你就能更好地识别出别人试图用AI来误导你的情况。比如，如果有人用AI生成了一篇看起来很权威的文章，你就能问自己：这篇文章的结论可靠吗？它的信息来源是什么？它的论证过程合理吗？
当你知道AI的输出可能有偏差的时候，你就不会盲目相信AI给出的每一个答案。你会养成核查信息的习惯，会多方求证，而不是轻易被一个看起来专业的回答说服。
当你理解AI安全的思维方式时，你会发现自己的批判性思维能力和逻辑推理能力也在提升。这些能力不仅对学习AI安全有帮助，对学习其他科目、处理日常生活中的问题，都有很大的益处。
更重要的是，AI安全研究需要各种各样的声音和视角。青少年是最活跃的AI用户群体之一，你们对AI的使用体验、安全担忧、改进建议，都是推动AI安全发展的重要力量。
所以，不要觉得AI安全是一个离你很远的