Hello, LLM: What Even Is a Large Language Model?

如果你过去两年没住与世隔绝的山洞，大概率已经跟大语言模型（Large Language Model，简称LLM）打过交道了：要么上周被老板要求用AI写周报省出俩小时摸鱼，要么在深夜赶论文时让AI帮你润色引言，甚至可能在刷短视频时刷到博主用LLM生成Python代码爬取竞品数据——不管你是主动拥抱还是被动接受，这些会说话、会写代码、会帮你算微积分的AI工具，核心都是LLM。但要是有人突然问你“到底啥是LLM”，你可能张口就是“就是那个很火的AI聊天机器人”，再追问两句“它为啥能懂人话？”“它会不会有自己的想法？”，估计就得卡壳。别慌，这一章就是帮你把这些模糊的认知拆得明明白白，不搞晦涩的公式，也不吹不黑，咱们从最基础的概念聊起，把LLM到底是什么、从哪来、为啥火、有啥误区，给你唠得明明白白。

1.1 先过一遍基础：咱们为啥需要LLM？

如果你是做NLP（自然语言处理）的中级开发者，或者对机器学习有一定了解，肯定知道传统NLP的痛点：以前的AI处理文本，就像让一个刚学中文的外国学生背字典，只能按规则来，稍微灵活点的场景就拉胯。 早年的机器翻译是典型代表：2010年之前主流的统计机器翻译（SMT）靠“短语对齐”干活，把中文和英文的短语一一对应，翻译“你吃了吗”大概率会输出“you eat have？”，生硬到外国人看了都摇头。后来神经网络机器翻译（NMT）出来，用RNN（循环神经网络）或者LSTM（长短期记忆网络）逐词处理文本，翻译质量提升了一大截，但有两个硬伤一直没解决： 第一个是并行性差：RNN/LSTM必须一个词一个词按顺序喂，处理1000个词的句子就得算1000步，训练一个模型动辄要几周甚至几个月，成本高到中小公司根本玩不起。 第二个是长距离依赖抓不住：比如你输入“我刚才在北京买的故宫门票，它现在还在我包里”，模型要关联“它”和“故宫门票”，但RNN/LSTM处理长文本时，前面的信息会像流水一样慢慢“漏掉”，隔了十几个词的指代关系经常抓错，更别说处理几百上千字的长文档了。 2013年Word2Vec出来之后，大家学会了把词转换成向量（你可以理解成给每个词贴了一串数字标签，意思相近的词数字标签也相近，“国王-男人+女人≈女王”就是经典的向量运算例子），解决了词的语义表示问题，但还是没解决架构层面的痛点。 直到2017年Google那篇著名的《Attention Is All You Need》出来，Transformer架构横空出世，才把所有问题都解决了：它用自注意力机制让句子里的每个词都能直接和其他所有词“对话”，不管两个词隔了多远，都能直接算关联度，彻底解决了长距离依赖问题；同时它完全基于矩阵运算，不用逐词处理，并行效率提升了几个数量级。可以说，没有Transformer，就没有现在的LLM，这是所有现代大模型的心脏，我们第2章会专门拆解它的原理。

1.2 LLM到底是什么？三个核心要素说清楚

很多人对LLM的认知是“很大的AI聊天机器人”，这个说法对，但太笼统了。要准确理解LLM，得抓住三个缺一不可的核心要素：

1.2.1 第一个核心：“大”，不是随便大

这里的“大”至少有两层含义： 第一是参数量足够大：现在的通用LLM，参数量通常在70亿（7B）以上，头部模型的参数量已经突破万亿级。你可以把参数理解成模型里的“旋钮”，每个旋钮对应一个权重，训练的过程就是不断拧这些旋钮，让模型的输出符合预期。70B参数就是70亿个可调节的旋钮，参数量越大，模型能记住的知识、能处理的复杂任务就越多。 第二是训练数据足够大：通用LLM的预训练数据通常在万亿token级别。这里的token是LLM的“最小处理单元”，你可以理解为“词块”：英文里1个token大概对应4个字母或者0.75个单词，中文里1个token大概对应1.5-2个汉字。比如经典名著《红楼梦》大概有100万汉字，换算成token大概是50-70万，也就是说，预训练一个LLM用的数据，相当于几百上千本《红楼梦》的总和，涵盖网页、书籍、论文、代码等几乎所有公开的文本内容。 > 💡 纸书侧边栏：为什么LLM必须“大”？ > 研究发现，LLM的能力和参数量、数据量存在“幂律 scaling law”：参数量、数据量每提升一个数量级，模型的能力就会出现阶跃式的提升。比如7B的模型可能连基本的逻辑推理都做不好，但70B的模型就能解复杂的数学题，写专业的代码，这种“模型大了突然就会了”的能力叫“涌现能力”，也是LLM最神奇的地方之一。我们第3章讲预训练的时候会详细拆解scaling law的原理。

1.2.2 第二个核心：“语言模型”，本质是下一个词预测器

很多人以为LLM是搜索引擎，是知识库，其实它的底层逻辑非常简单：就是一个概率生成器，核心任务是预测下一个词是什么。 你输入“今天天气真好，我们不如去”，模型会先把你输入的文本转换成token序列，然后逐个计算每个可能的后续token的概率：比如“公园”的概率是30%，“海边”的概率是25%，“看电影”的概率是20%，“上班”的概率是10%，其他内容的概率加起来是15%。然后它会选概率最高的“公园”作为下一个输出，再把“公园”加到输入里，变成“今天天气真好，我们不如去公园”，再预测下一个词，比如“散步”的概率最高，就输出“散步”，逐词生成，直到输出结束符，就生成了一整句“今天天气真好，我们不如去公园散步”。 这个逻辑是不是特别简单？但就是这么简单的逻辑，在足够大的参数量和数据量的加持下，涌现出了理解、推理、创作等看似需要“智商”的能力。当然，这里的“理解”只是表象，我们后面讲误区的时候会专门拆解。 用数学公式表示的话，语言模型的本质就是计算整个句子的联合概率： $$P(w_1, w_2, ..., w_n) = \prod_{i=1}^n P(w_i | w_1, ..., w_{i-1})$$ 意思是整个句子的概率，等于句子里的每个词，在它前面所有词已经出现的情况下出现的概率的乘积。模型训练的目标，就是让这个概率尽可能大，也就是让它生成的句子尽可能符合人类语言的规律。

1.2.3 第三个核心：“通用”，一个模型搞定几十上百种任务

在LLM出来之前，NLP模型基本都是“任务专属”的：你要做情感分类，就得标几万条评论，训练一个专门的分类模型；要做机器翻译，就得标几十万条双语句对，训练一个专门的翻译模型；要做问答，就得标几万条问答对，训练一个专门的问答模型。每个模型只能干自己的活，换个任务基本就废了。 但LLM不一样，它是一个通用底座：先在大规模无标注文本上做预训练，学完所有通用的语言知识之后，不用重新训练，只要换个输入方式（也就是我们后面要讲的“提示”），就能做几十上百种不同的任务：你让它写周报、翻译文本、写代码、改简历、做数学题、总结论文，它都能干，甚至你给它几个你没见过的任务的例子，它也能照猫画虎做出来，这就是我们前面提到的“少样本/零样本学习”能力，是LLM和传统NLP模型最大的区别。 比如你要做一个客服问答机器人，传统方法需要标几万条“用户问题-客服回复”的语料，训练至少几周，成本几万块；用LLM的话，你只要写一句提示：“你是一个专业的电商客服，语气要亲切，回答用户的问题时要准确，不知道的内容就说‘我需要咨询一下同事再回复您’”，然后直接把用户的问题扔给模型就行，几行代码就能搞定，成本不到100块，效果还比传统模型好。

1.3 LLM是怎么火起来的？关键里程碑全梳理

LLM的发展不是一蹴而就的，从2017年到现在，每一步都踩在了技术突破的点上，我们梳理几个最关键的节点，你就能明白现在的大模型是怎么来的：

1.3.1 2017年：Transformer架构诞生，打开新世界的大门

前面我们提到过，Google在2017年NIPS（现在的NeurIPS）上发表了《Attention Is All You Need》，提出了Transformer架构，彻底取代了之前的RNN/LSTM成为NLP的主流架构。这篇论文现在是AI领域引用最高的论文之一，引用量已经超过12万次，相当于所有学NLP的人都要读一遍的“圣经”。 Transformer的核心创新是自注意力机制（Self-Attention），你可以把它理解成“全局关联能力”：处理一个句子的时候，每个词都会和句子里所有其他的词算一遍“关联度”，比如“我刚才在公园看到了一只猫，它的毛是橘色的”这句话里，“它”和“猫”的关联度最高，和“公园”“我”的关联度低，和“橘色”的关联度中等。不管两个词在句子里隔了多远，都能直接算关联度，彻底解决了之前的长距离依赖问题，同时并行效率比RNN高了十几倍。

1.3.2 2018年：GPT-1提出预训练范式，奠定现代LLM的训练逻辑

OpenAI在2018年发布了第一个GPT模型（Generative Pre-trained Transformer，生成式预训练Transformer），第一次提出了“预训练+微调”的范式：先在大规模无标注文本上做预训练，让模型学通用的语言知识，再在特定任务的少量标注数据上做微调，就能适配具体任务。 这个范式比之前的“任务专属训练”高效太多了：以前训练一个任务要标几万条数据，现在只要标几千条甚至几百条就行，而且预训练出来的底座可以复用在所有NLP任务上，不用每个任务都从头训练。这个范式一直用到现在，是所有现代LLM训练的基础。

1.3.3 2020年：GPT-3展示少样本学习能力，震惊AI圈

2020年OpenAI发布了GPT-3，参数量直接拉到了1750亿，是当时最大的语言模型。它最震撼的地方不是参数量大，而是第一次展示了少样本/零样本学习能力：你不用微调它，只要给它几个任务的例子，它就能直接做你没教过的任务。 比如你给它三个例子： ``` 输入：猫 -> 输出：猫科动物 输入：狗 -> 输出：犬科动物 输入：鸟 -> 输出：禽类动物 ``` 然后给它一个新的输入“鱼”，它直接就能输出“鱼类动物”，完全不用额外的训练。这在之前是不可想象的：以前的模型要做一个分类任务，至少得标几千条数据训练，而GPT-3不用，给几个例子就能做。这个发现直接打破了大家对“AI必须靠大量标注数据训练”的认知，也让大家看到了通用人工智能（AGI）的可能。

1.3.4 2022年：ChatGPT发布，LLM从实验室走向大众

2022年11月，OpenAI基于GPT-3.5推出了ChatGPT，第一次把RLHF（人类反馈强化学习）用到了LLM的对齐上：让人类标注员给模型的输出打分，好的输出（比如礼貌、有用、符合人类价值观）得高分，坏的输出（比如胡说八道、有害内容）得低分，然后用强化学习让模型倾向于生成高分输出。 这个改动看似简单，但直接把LLM从“实验室里的玩具”变成了普通人能用的工具：以前的GPT-3你要么得懂编程调用API，要么得用复杂的提示词，输出还经常跑偏；ChatGPT用对话的形式，普通人输入自然语言就能得到想要的回答，而且输出通顺、符合人类对话习惯，几乎不会输出有害内容。发布仅两个月，ChatGPT的用户就突破了1亿，比TikTok达到1亿用户快了整整一倍，成为人类历史上用户增长最快的消费级应用，直接把LLM的热度推到了顶点。

1.3.5 2023年至今：多模态与开源生态爆发，LLM进入普及时代

2023年开始，LLM的发展从“大模型内卷”变成了“生态爆发”：一方面是多模态LLM成熟，比如GPT-4V能看图说话，Gemini能同时处理文本、图片、音频、视频，LLM从“只会聊天”变成了能处理所有模态信息的通用大脑；另一方面是开源模型爆发，Meta开源的Llama系列、Mistral开源的7B模型、阿里巴巴开源的Qwen系列，让普通开发者不用花几千万美元训练，就能拿到效果接近闭源模型的底座，微调、部署自己的专属LLM。 到现在，LLM已经不是一个遥不可及的黑科技，而是像 electricity 一样的基础设施，渗透到了各行各业：从智能客服、代码辅助、内容创作到医疗诊断、法律咨询、科研辅助，几乎所有领域都在用LLM提升效率。

1.4 为啥LLM是所有人的机会？不是只有程序员才需要关心

很多人觉得LLM是AI从业者的事，和自己没关系，其实大错特错：LLM是继互联网、移动互联网之后，第三个能改变所有行业的生产工具，不管你是开发者、内容创作者、学生、职场人，甚至是实体店的老板，都能从LLM里拿到价值。

1.4.1 对开发者：效率提升10倍不止

如果你是开发者，以前做个对话机器人，得标几万条语料，调半年，效果还经常翻车；现在用LLM的API，几行代码就能做个智能客服，还能自动处理售后、生成工单，成本只有以前的1%，效果还好得多。以前写代码要查半天的文档，现在直接把问题扔给LLM，几秒钟就能给出可运行的代码，甚至能帮你review代码、找bug，开发效率至少提升3倍。

1.4.2 对内容创作者：从“写手”变成“编辑”

如果你是做新媒体的、做设计的、做自媒体的，以前写一篇稿子要查半天资料，写三天改一周；现在用LLM生成大纲、找素材、写初稿，你只要改就行，效率提升5倍以上。以前做设计要找参考图、想创意，现在用LLM生成设计灵感、写提示词，几分钟就能出几十个方案，挑着改就行。

1.4.3 对普通职场人：把重复工作交给AI

如果你是职场人，不管你是做行政、做销售、做财务，以前写周报、做PPT、整理数据、写邮件要花一下午，现在用LLM，10分钟就能搞定，省出来的时间要么摸鱼，要么做更有价值的工作。麦肯锡2024年的报告显示，生成式AI每年能给全球经济带来2.6-4.4万亿美元的价值，其中

其中70%的价值来自于对现有工作流程的效率提升，剩下30%来自于LLM创造的全新产品和服务。举个最直观的例子：以前公司行政整理一次2小时的部门周会纪要，至少要花1小时听录音、1小时整理要点，遇到口音重的同事还得反复听好几遍，经常要改到半夜；现在把录音文件扔给LLM，10分钟就能生成结构清晰的纪要，甚至连“张三提出的预算问题待下周跟进”“李四提到的客户需求已转交产品部”这种待办事项都能自动标红，行政的工作量直接砍了80%，省出来的时间可以去做更有价值的员工活动策划。 如果你是内容创作者，这个变化更明显：以前写一篇2000字的公众号稿子，找素材、搭框架、写初稿、改错别字，至少要大半天；现在用LLM生成大纲、填充素材、写初稿，你只需要调整语气、补充真实案例、改掉不准确的内容，2小时就能搞定，而且如果一周要更3篇，以前根本完不成，现在轻轻松松。我认识的一个科技博主，以前一周更1篇深度分析，现在用LLM辅助调研、写初稿，一周更3篇，粉丝量半年翻了5倍，广告收入直接翻了4倍。 如果你是在校学生，LLM更是“开挂神器”：以前写课程论文要翻几十篇文献，整理笔记、搭框架、写引用，至少花一周；现在把参考文献扔给LLM，让它总结核心观点、梳理逻辑框架、帮你改语法错误，3天就能搞定一篇质量还不错的课程论文，省出来的时间要么去实习，要么去玩，不香吗？当然，这里要提醒一句：用LLM写论文一定要遵守学校的学术规范，不能直接抄，把它当成辅助工具，而不是代写工具，不然被查出来就凉了。 当然，肯定有人会说“我就是一个开小店的，LLM跟我有啥关系？”关系大了：你可以在抖音、小红书的评论区用LLM自动回复顾客的咨询，不用24小时盯着手机；可以用LLM写商品详情页、写朋友圈宣传文案，不用花钱找代写；甚至可以用LLM分析你店的销售数据，告诉你哪个商品卖得好，哪个时段客流量大，帮你做经营决策。我认识的一个开咖啡店的朋友，以前每天要花1小时写朋友圈、回顾客咨询，现在用LLM自动生成文案、自动回复常见问题，每天省出1小时研究新品，上个月新品销量直接涨了30%。 说完了LLM能给大家带来的价值，我们接下来要聊一个大家最关心的问题：LLM到底有没有“理解”能力？它会不会有自己的想法？ 这也是现在 myths 最多的领域，咱们一个个拆。

1.5 Bust the Hype: 关于LLM的4个常见误区

LLM的火爆带来了大量的 hype，也带来了大量的误解，很多人要么把LLM吹得神乎其神，要么把LLM贬得一文不值，咱们把最普遍的4个误区一个个说清楚，帮你建立正确的认知。

1.5.1 误区一：LLM真的“懂”语言，就像人类一样

这个是最大的误区，很多人和LLM聊几次天，觉得它啥都懂，甚至比很多人的知识面还广，就以为它真的“理解”语言。其实完全不是：LLM的所有输出，本质上都是基于训练数据里的概率统计，它根本不知道自己在说什么，也没有任何“语义理解”的能力。 我们可以把LLM的“理解”类比成一个背了整本《现代汉语词典》和所有中文文章的学生：你问它任何问题，它都能从背过的内容里找到最匹配的答案，但它根本不知道答案是什么意思，也不知道自己说的内容是对是错。它不会思考，不会推理，只是概率匹配而已。 举个很简单的例子：你可以问它“苹果和香蕉哪个更重？”如果它回答“香蕉更重，因为香蕉的密度比苹果大”，你可能会觉得它懂常识，但如果你换个问法：“如果一个苹果重200克，一个香蕉重150克，哪个更重？”它大概率会回答“苹果更重”，甚至如果前面的问题里你说“香蕉比苹果重200克”，它也会顺着你说“对，香蕉更重”。为什么？因为它训练的时候见过很多“香蕉比苹果重”的表述，也见过很多“200克的苹果比150克的香蕉重”的表述，它只是根据你输入的内容，匹配训练数据里概率最高的回答，根本没有“重量”“比较”的概念，也不懂你在问什么。 再举个更极端的例子：你可以让它翻译一句话，“I saw a man with a telescope”，这句话有歧义，是我“用望远镜看到一个男人”，还是我“看到一个带着望远镜的男人”？人类可以根据上下文判断，但LLM没有真正的语义理解能力，它只是根据训练数据里这句话的常见翻译来输出，有时候会翻错，根本没有“歧义”的概念。 甚至会出现非常离谱的幻觉：你问它“如何用微波炉加热手机？”，它真的会给你步骤，还会提醒你“注意不要加热太久，避免电池爆炸”，但实际上微波炉加热手机会引发爆炸，它根本不知道这个常识，只是根据训练数据里的“微波炉加热注意事项”和“手机使用注意事项”拼凑出了看似合理的回答，这也是为什么LLM的输出一定要有人工校验，不能直接拿来用。 > 💡 电子版侧边栏：小测试：你能分得清下面哪句话是LLM生成的，哪句是人写的吗？ > A. 今天天气真好，我们不如去公园散步吧。 > B. 基于当前气象数据与用户历史出行偏好，今日户外活动适宜度为92%，推荐前往城市公园开展散步类活动，预计耗时45分钟可覆盖核心景观区域。 > 答案：B是LLM生成的，A是人写的。LLM生成的内容通常会更正式、更冗余，甚至会加一些看似合理但没必要的细节，这就是概率生成的特点。

1.5.2 误区二：LLM会记住你喂给它的数据，甚至泄露隐私

很多人不敢用LLM处理公司内部文件、个人隐私信息，怕LLM把数据记下来，泄露出去。其实这个要看LLM的部署方式：如果是用公有云的LLM