什么是学习——从宠物到机器人的奇妙类比

你有没有注意过，你家里的小宠物其实很聪明？小狗会握手、小猫会用猫砂、小鹦鹉会学你说话。这些看起来简单的技能，小动物们可不是天生就会的哦。它们和我们人类一样，都需要通过学习才能掌握这些本领。

让我们先来看一个小故事。小区里的张奶奶养了一只叫“旺财”的小狗。刚买回来的时候，旺财可是什么都不会，它会在屋里乱跑，会把尿尿在地上，还会扑到客人身上吓人家一跳。但是半年后再见到旺财，它已经学会了握手、坐下、等待指令，甚至还会在张奶奶回家的时候用爪子敲门！这是怎么回事呢？

原来，在过去的半年里，张奶奶每天都会花时间教旺财。她先拿着小零食，让旺财闻一闻，然后把零食放在手心里，伸出另一只手，对旺财说“握手”。一开始旺财完全不懂这是在干什么，它只会盯着零食流口水。但是当它不小心用爪子碰到张奶奶的手时，张奶奶就会立刻说“乖狗狗”，然后把零食奖励给它。一开始旺财只是运气好才碰到，后来它慢慢发现：原来碰到那只手就有好吃的！于是它开始主动地把爪子放到张奶奶的手上。就这样，旺财学会了握手这个本领。

再看看小猫咪“咪咪”的故事。咪咪刚来到新家的时候，不知道该在哪里上厕所。它东闻闻西嗅嗅，最后在一个花盆里方便了起来。咪咪的主人耐心地把它抱起来，放进猫砂盆里，轻轻地用爪子扒了扒猫砂。咪咪一开始有点害怕，但是闻到了自己熟悉的味道后，它开始用爪子试探。当它第一次在猫砂盆里方便后，主人立刻夸奖了它，还给它开了罐头作为奖励。几次之后，咪咪就记住了：猫砂盆是上厕所的地方，在那里方便会有好事发生。

小鸟学飞也是一个很棒的例子。你知道吗？小鸟并不是生下来就会飞的。当小鸟还是鸟宝宝的时候，它们只能在窝里叽叽喳喳地叫，等待爸爸妈妈带回食物。随着身体长大，它们的翅膀也越来越有力。有一天，鸟妈妈会在窝边飞来飞去，鼓励小鸟跳出来。小鸟第一次尝试的时候可能会摔跤，但是它会越跳越高，直到有一天，它的翅膀终于能够支撑身体，小鸟学会了飞翔！

这三个故事告诉我们一个重要的道理：学习是生物为了适应环境而进行的自我调整过程。无论是小狗、小猫还是小鸟，它们都在通过与环境互动，逐渐改变自己的行为，最终掌握生存所需的技能。

那么，这种“学习”到底是怎么发生的呢？让我们仔细分析一下旺财学握手的例子。在整个学习过程中，有三个关键要素在发挥作用。

第一个要素是“尝试”。旺财一开始并不是“知道”要怎么做，它只是在各种可能的动作中随机地做出选择。也许它本来想的是去够那个香喷喷的零食，但是它的爪子不小心碰到了张奶奶的手。这看起来像是运气，但实际上，尝试是学习的起点。如果没有尝试，就永远不会有进步。

第二个要素是“反馈”。当旺财的爪子碰到张奶奶的手时，它立刻得到了一个信号：张奶奶说了“乖狗狗”，还给了零食。这个信号告诉旺财，它刚才做的事情是对的。这种来自环境的反馈，就像是一盏指引方向的灯塔，让旺财知道接下来应该多做这样的事情。

第三个要素是“调整”。旺财并不是只做对一次就永远记住了。它会在之后的很多次尝试中重复这个动作，因为它发现每次这样做都能得到奖励。有时候它可能也会忘记，会去做一些其他的动作，但只要没有得到奖励，它就会重新回到正确的做法上来。这个不断调整的过程，就是学习的核心。

科学家们给这种学习方式起了一个名字，叫做“试错学习”。这个名字非常形象——先试着做，错了就换个方法，对了就被励，继续这样做。在自然界中，几乎所有的动物都在使用这种方式学习新技能。小婴儿学说话是这样，学走路是这样，学认人也是这样。大人教小婴儿叫“妈妈”，小婴儿可能先发出“呜呜”的声音，大人笑着说不对，然后小婴儿就会换一种发音，直到发出“妈妈”的声音，得到了夸奖，小婴儿就记住了这个发音代表的意思。

现在，让我们来认识一个新朋友——机器人小智。小智是一台非常特别的机器，它不像我们平时看到的那些只会做固定动作的机器一样，它有一个神奇的特点：能够学习。

小智的外观是一个大约半米高的人形机器人，它有一个圆圆的脑袋，脑袋上装了两个会发光的小眼睛，还有一个能够转动的手臂和两条能够行走的腿。小智的核心是一个叫做“智能系统”的大脑，这个大脑里装着特殊的程序，让它能够像小动物一样通过尝试和反馈来学习新技能。

让我们一起看看小智是怎么学习新技能的吧。假设小智的任务是学会把散落在地上的书本整理好，放到书架上。

一开始，小智面对散落一地的书本，完全不知道该怎么做。它的“眼睛”——其实是一个摄像头——能够看到书本的位置，但是它不知道应该先拿起哪本书，应该用多大的力气，应该怎样搬运才不会把书掉在地上。

小智开始尝试了。它随机地做了一个动作——也许是把手臂伸向一本书。很好，这个动作让它的手接近了书本。但是接下来该怎么做呢？小智不知道，于是它又随机地做了一个动作——也许是合拢手指。

如果小智的手指刚好碰到了书，它就继续下一步；如果没有碰到，它就再试一次。假设这次它成功地用手指夹住了书，接下来它要尝试把书举起来，然后搬运到书架旁边，最后把书放到书架上。

在整个过程中，小智的“老师”——也就是编写它程序的科学家——会在旁边观察。每当小智做一个正确的动作，科学家就会给小智一个“奖励信号”。这个奖励信号可能是让小智眼睛发出绿色的光，同时发出“叮咚”的声音。如果小智做了一个错误的动作，比如把书掉在了地上，科学家就会给它一个“惩罚信号”，可能是眼睛发出红色的光，同时发出“嘀”的声音。

一开始，小智几乎所有的动作都是“错的”，因为它还在随机地探索，不知道什么才是正确的做法。但是慢慢地，它开始发现一些规律：当它用两根手指夹住书的边缘时，更容易把书拿起来；当它把书平放在手掌上而不是竖着抓的时候，书不容易掉；当它走小步而不是大步的时候，能够更稳地搬运书本。

这些发现其实都是小智通过无数次尝试和反馈积累起来的。就像旺财学会握手一样，小智也在通过试错学习，逐渐掌握整理书本的技能。

现在，让我们对比一下小狗旺财学握手和机器人小智学整理书本的过程，你会发现它们非常相似。旺财通过尝试不同的动作，发现把爪子放到主人手上会得到零食奖励，于是学会了握手。小智通过尝试不同的动作组合，发现某些动作序列会得到绿色闪光和“叮咚”声的奖励，于是学会了整理书本。

旺财的“大脑”是它神经系统中的神经网络，这个网络通过改变神经细胞之间的连接强度来存储学到的知识。小智的“大脑”是它的计算机程序，这个程序通过调整一些叫做“参数”的数值来存储学到的知识。它们的原理虽然不同，但是都遵循着同样的基本模式：尝试、反馈、调整。

这太神奇了！机器学习的方式，和动物学习的方式，竟然如此相似！

现在，我要请你们想一想自己的经历。你有没有学过什么新技能？比如骑自行车，或者游泳？让我们来看看这些经历中，是怎么体现“通过实践获得进步”的道理的。

先说骑自行车吧。我认识一个小朋友叫小明，他刚学骑车的时候可辛苦了。一开始他连平衡都掌握不好，每次上车都会摔倒。他的膝盖摔破了，手掌也磨出了水泡。但是小明没有放弃，他每天都练习，有时候一天要摔倒好几次。

一开始，小明完全不知道该怎么保持平衡。他只是机械地蹬着脚踏板，但是身体总是在摇晃。后来他慢慢发现：原来身体要稍微前倾，眼睛要看着前方而不是看着车把，手要轻轻握住车把而不是死死抓着。他还发现，如果感觉到要往左边倒，就把车把稍微往左边转一下，反之亦然。这些看似简单的技巧，其实都是小明通过无数次尝试和摔倒才领悟到的。

大约两周后，小明终于能够自己骑车了。虽然一开始还不太稳，但是随着练习的增加，他的骑行越来越顺畅。到后来，他甚至可以一边骑车一边和旁边的朋友聊天，眼睛不用盯着车把，车子却稳稳地行驶着。这就是学习的力量！

再说游泳。我认识另一个小朋友叫小红，她第一次学游泳的时候特别害怕水。当教练把她放到水里的时候，她的手脚都不知道该怎么动，只是在水里乱扑腾，喝了好几口水。

教练很有耐心，他先教小红在岸边做动作练习——手臂怎么划水，腿怎么打水。然后教练让小红扶着池边的浮板，先在水里感受浮力。等小红不怕水了，教练才让她试着离开浮板，在水里游一小段距离。

一开始小红游得特别费劲，姿势也不标准。她的手臂划水动作太小，打腿的幅度也不对。但是每次她做一个稍微正确的动作，教练就会鼓励她：“很好，就是这样！”慢慢地，小红发现自己能够往前移动了，虽然还很慢。然后她发现自己可以游得更远一些，动作也更流畅了。

经过一个暑假的练习，小红终于可以不用任何辅助工具，自己游完一个来回。虽然她的泳姿还不太标准，但是那个暑假，她克服了对水的恐惧，学会了在水里前进。

骑自行车和游泳这两个例子告诉我们，“通过实践获得进步”是一个普遍真理。不管是学习什么技能，都需要我们勇敢地迈出第一步，去尝试，去犯错，然后从错误中学习，调整自己的做法，最终掌握那个技能。

在这个过程中，失败是不可避免的，也是必要的。就像爱迪生发明电灯泡之前失败了上千次一样，我们每个人在学习新技能的时候也会经历很多次失败。但是失败不是终点，而是学习的一部分。每一次失败都给了我们一个反馈，告诉我们什么方法是行不通的，帮助我们排除错误选项，最终找到正确的道路。

现在，让我给你们介绍一个新的概念。在计算机科学和人工智能领域，有一个专门研究如何让机器像人和动物一样学习的学科，叫做“机器学习”。

机器学习是人工智能的一个重要分支，它研究的是如何让计算机具有学习的能力。在传统编程中，程序员需要告诉计算机每一步该怎么做，就像写一个详细的食谱一样。但是机器学习不一样，在机器学习中，程序员只需要给计算机一些例子，或者设定一些规则，然后让计算机自己去“摸索”出解决问题的方法。

机器学习有三个主要的学习范式，分别是监督学习、无监督学习和强化学习。

监督学习就像在学校里学习一样，有老师教你，给你出题目，还告诉你答案对不对。比如我们要让计算机学会识别猫和狗的照片，我们就给计算机看很多已经标注好的照片，告诉它“这张是猫”“这张是狗”。计算机通过学习这些例子，慢慢就学会了区分猫和狗的方法。以后再给它看一张新的照片，它就能自己判断这是猫还是狗了。

无监督学习则没有老师告诉你答案。比如给你一大堆照片，让计算机自己去找规律。计算机可能会发现：哦，原来有些照片里都有毛茸茸的东西，有些照片里有鱼。这些没有标准答案，需要计算机自己去发现数据中的规律。

强化学习则是我们今天要重点介绍的学习方式。在强化学习中，没有老师告诉你每一步该怎么做，但是有一个“环境”会给你反馈，告诉你你的行为是好还是不好。智能体（比如小智机器人）在一个环境中进行探索，做出各种行为，环境会根据它的行为给出奖励或惩罚。智能体的目标就是学会选择那些能够获得更多奖励的行为。

这三种学习方式各有特点，适用于不同的场景。在这本书里，我们要探索的主要是强化学习，因为强化学习最能体现“通过实践获得进步”的思想，也最能帮助我们理解机器是怎么像小动物一样学习的。

说了这么多，也许你会问：学习这件事，对机器来说有什么用呢？

用处可大了！想象一下，如果每一种技能都需要程序员手工编写代码，那会是什么样子。如果要让机器人学会收拾房间，程序员可能需要写上万行代码，详细告诉机器人每本书在哪里、每种东西应该放在哪里、遇到障碍物该怎么绕过去。这几乎是不可能完成的任务。

但是有了学习能力就不一样了。我们只需要告诉机器人：“你的任务是把东西整理好，做得好会得到奖励。”然后让机器人自己去探索，它会慢慢学会各种整理的技巧。更神奇的是，如果机器人的工作环境变了，比如书架换了位置，它不需要重新编程，它会自动适应新环境，调整自己的行为。

这种能力叫做“泛化能力”，也就是把学到的知识应用到新情况的能力。一个真正会学习的机器人，应该能够在面对从未见过的情况时，也能做出合理的决策。这就是为什么让机器学会学习，而不是简单地给它编好所有程序，是如此重要。

现在让我们回顾一下这一章我们学到了什么。

首先，我们知道了学习是生物为了适应环境而进行的自我调整过程。无论是小狗学握手、小猫学用猫砂，还是小鸟学飞行，它们都通过尝试、反馈、调整这三个步骤来学习新技能。

然后，我们认识了机器人小智，它也像小动物一样，通过与环境互动来学习新技能。小智学习整理书本的过程，和旺财学习握手的过程非常相似。它们的“大脑”虽然构造不同，但是都遵循着“尝试-反馈-调整”的学习模式。

接着，我们联系了自己的经历，明白了“通过实践获得进步”的道理。骑自行车和游泳都不是一学就会的，需要我们勇敢尝试，不怕失败，从错误中学习，最终才能掌握这些技能。

最后，我们初步了解了机器学习这个领域，知道了监督学习、无监督学习和强化学习是机器学习的三种主要范式，而强化学习正是我们这本书要重点探索的主题。

在接下来的章节里，我们会更深入地了解强化学习。我们会认识更多像小智这样的机器人朋友，了解它们的“大脑”是怎样工作的，探索科学家们是怎么设计让它们学习的算法的。我们还会一起玩一些有趣的游戏，帮助你更好地理解强化学习的原理。

记住，学习是一个永无止境的过程，不仅对于小动物和机器人是这样，对于我们每个人也是这样。希望你们在读完这本书之后，能够对学习有更深的理解，也希望“通过实践获得进步”这个理念能够伴随你们成长，帮助你们学会更多的技能，实现更多的梦想！

你有没有注意过，你家里的小宠物其实很聪明？小狗会握手、小猫会用猫砂、小鹦鹉会学你说话。这些看起来简单的技能，小动物们可不是天生就会的哦。它们和我们人类一样，都需要通过学习才能掌握这些本领。学习，这两个字说起来简单，但是你知道它背后隐藏着多么神奇的秘密吗？这一章，就让我们一起踏上探索学习的奇妙旅程。

小动物们的学习日常

让我们先从熟悉的小动物说起。小区里的张奶奶养了一只叫“旺财”的小狗。刚买回来的时候，旺财可是什么都不会，它会在屋里乱跑，会把尿尿在地上，还会扑到客人身上吓人家一跳。但是半年后再见到旺财，它已经学会了握手、坐下、等待指令，甚至还会在张奶奶回家的时候用爪子敲门！这是怎么回事呢？

原来，在过去的半年里，张奶奶每天都会花时间教旺财。她先拿着小零食，让旺财闻一闻，然后把零食放在手心里，伸出另一只手，对旺财说“握手”。一开始旺财完全不懂这是在干什么，它只会盯着零食流口水。但是当它不小心用爪子碰到张奶奶的手时，张奶奶就会立刻说“乖狗狗”，然后把零食奖励给它。

一开始旺财只是运气好才碰到，后来它慢慢发现：原来碰到那只手就有好吃的！于是它开始主动地把爪子放到张奶奶的手上。就这样，旺财学会了握手这个本领。

再看看小猫咪“咪咪”的故事。咪咪刚来到新家的时候，不知道该在哪里上厕所。它东闻闻西嗅嗅，最后在一个花盆里方便了起来。这下可把咪咪的主人急坏了，猫砂盆明明就在旁边，为什么咪咪不去用呢？

原来，咪咪还没有学会使用猫砂盆。咪咪的主人耐心地把它抱起来，放进猫砂盆里，轻轻地用爪子扒了扒猫砂。咪咪一开始有点害怕，因为猫砂的触感对它来说很陌生。但是闻到了自己熟悉的味道后，它开始用爪子试探。当它第一次在猫砂盆里方便后，主人立刻夸奖了它，还给它开了罐头作为奖励。几次之后，咪咪就记住了：猫砂盆是上厕所的地方，在那里方便会有好事发生。

你可能会觉得奇怪，猫砂盆又不是什么好吃的东西，为什么猫会去那里上厕所呢？这就要说到动物学习的另一个重要机制了。动物们并不只是追求好吃的东西，它们还追求舒适和安全感。当咪咪在猫砂盆里上厕所后，它感觉周围的地面是干净的，身体也很舒服。主人还给了它罐头作为奖励。这种“舒服的感觉加上额外的奖励”，让咪喱很快就形成了习惯。

小鸟学飞也是一个很棒的例子。你知道吗？小鸟并不是生下来就会飞的。当小鸟还是鸟宝宝的时候，它们只能在窝里叽叽喳喳地叫，等待爸爸妈妈带回食物。随着身体长大，它们的翅膀也越来越有力。但是光有翅膀还不够，它们还需要学会怎么使用翅膀。

有一天，鸟妈妈会在窝边飞来飞去，鼓励小鸟跳出来。小鸟第一次尝试的时候可能会摔跤，因为它们还不知道怎么扇动翅膀才能让自己飞起来。但是每一次尝试，不管成功还是失败，小鸟都在学习。它的大脑会记住：刚才扇翅膀的力度是这样的，身体的角度是那样的，飞起来的距离就更远一些。下一次它就会调整动作，尝试飞得更高更远。

大约一两周后，小鸟终于能够自如地飞翔了。它们不仅学会了起飞，还学会了降落、转弯、在空中滑翔等各种技能。这些技能都不是一蹴而就的，而是通过无数次尝试和调整才掌握的。

还有许多其他有趣的动物学习例子。海豚是海洋里最聪明的动物之一，它们学习新技能的速度非常快。训练师可以用手势和哨声来教海豚各种动作，比如顶球、跳圈、甚至算数学题。海豚为什么会这么听话呢？因为训练师使用了“奖励训练法”——每当海豚做一个正确的动作，训练师就会给它鱼吃，或者吹哨子表示表扬。海豚很快就学会了把特定的动作和特定的奖励联系起来。

狗狗就更不用说了，它们是人类最忠诚的朋友，也是学习能力最强的动物之一。除了握手和坐下，有些狗狗甚至学会了帮助主人拿拖鞋、开关灯、取报纸。这些听起来像科幻小说的事情，其实都是通过类似的学习方法实现的。

还有一个有趣的例子是乌鸦。日本有研究发现，某些乌鸦居然学会了利用红绿灯来安全过马路。它们会把坚果放在马路上，让汽车压碎坚果壳，然后等红灯的时候安全地飞到地面上取走果肉。这说明乌鸦不仅会学习单个动作，还能把多个动作组合起来解决复杂的问题！

这些故事告诉我们一个重要的道理：学习是生物为了适应环境而进行的自我调整过程。无论是小狗、小猫还是小鸟，它们都在通过与环境互动，逐渐改变自己的行为，最终掌握生存所需的技能。

学习的三个魔法要素

现在让我们仔细分析一下旺财学握手的例子。在整个学习过程中，有三个关键要素在发挥作用。我们可以把这三个要素叫做“学习的魔法三要素”。

第一要素：勇敢的尝试

第一个要素是“尝试”。旺财一开始并不是“知道”要怎么做，它只是在各种可能的动作中随机地做出选择。也许它本来想的是去够那个香喷喷的零食，但是它的爪子不小心碰到了张奶奶的手。这看起来像是运气，但实际上，尝试是学习的起点。

为什么会这样说呢？因为如果旺财什么都不做，它就永远不可能学会任何新技能。有时候我们会把尝试叫做“摸索”，意思是在黑暗中摸索前进的方向。一开始我们可能什么都不知道，不知道什么是对的什么是错的，但是只要勇敢地迈出第一步，去尝试各种各样的可能性，就有可能找到正确的方向。

其实不仅仅是小狗在学习，我们在日常生活中也在不断地尝试。婴儿学说话就是很好的例子。婴儿最早只会发出“咿咿呀呀”的声音，然后慢慢开始尝试发出各种音节。他们可能会把“妈妈”说成“马马”，把“爸爸”说成“布布”。这些听起来很好笑的“错误”，其实都是宝贵的尝试。通过不断尝试，婴儿的大脑慢慢学会了哪些音节组合能够表达意思，哪些不能。

学走路也是一样的道理。婴儿一开始只能爬行，然后他们开始尝试扶着东西站起来。站都站不稳的时候，他们就开始尝试迈步子了。一开始会摔倒，会磕碰，会哭鼻子，但是孩子们从来没有放弃过。每一次摔倒都是一次尝试，每一次站起来都是一次进步。

如果没有尝试，就永远不会有进步。这听起来很简单，但却是学习的第一个必要条件。

第二要素：神奇的反馈

第二个要素是“反馈”。当旺财的爪子碰到张奶奶的手时，它立刻得到了一个信号：张奶奶说了“乖狗狗”，还给了零食。这个信号告诉旺财，它刚才做的事情是对的。

反馈就像是学习过程中的指南针，它告诉我们在尝试之后，我们做的是对还是错。如