（来源：图灵人工智能）股票长期推荐
大模型到底是怎么学会写文章、做数学题、翻译语言、分析问题和生成代码的，很多人会下意识地认为，开发者提前把知识和答案写进了模型，事实恰恰相反。
没有人能把互联网里的知识一条条整理出来，再逐项教给一个拥有数百亿乃至更多参数的模型。工程师真正做的，是设计训练目标，把海量数据交给模型，然后让它不断预测、不断犯错、不断修正。
经过数以万亿计的训练样本之后，模型逐渐从数据里压缩出语言规律、知识关系、代码结构，以及人类解决问题时经常使用的模式，所以，大模型的学习不是“老师讲、学生记”，它更像是：
给模型看无数例子，让它不断猜答案，猜错就调整内部参数，最终把海量数据中的规律压缩进神经网络。
这篇文章，我们就围绕 20 个核心机制，讲清楚一个大模型究竟是怎样从随机参数，成长为能够理解指令、回答问题和完成复杂任务的智能系统，全文将围绕五个关键问题展开，带你一步步拆解大模型背后的核心逻辑：
第一，大模型究竟“吃”什么才能学会这么多东西？
第二，它表面在处理文本，实际上到底在学什么？
第三，那些看似简单的错误，是如何一步步被转化为能力的？
第四，为什么当规模扩大到一定程度后，模型会突然“开窍”，涌现出新的能力？
第五，既然已经完成预训练，为什么还需要监督微调、RLHF、RLAIF、蒸馏和持续学习这些后续步骤？
如果你也对这些问题感到好奇，那么接下来，我们就一起把它们逐一拆开。
01
先纠正一个误解：大模型不是被“写”出来的
传统软件是程序员写出来的，工程师把规则写进代码：如果发生 A，就执行 B，如果满足 C，就返回 D，这种系统的行为边界，基本由程序员提前定义，大模型不同，工程师不会提前写下：遇到这道数学题应该怎样推理。
看到这段代码应该怎样修复，用户问历史问题应该引用哪些知识，模型的大部分能力，是训练出来的，而不是逐条编程写进去的，训练开始时，模型内部的参数大多接近随机状态。它并不知道什么是语言，不理解事实，也不会遵循人类指令。
工程师会给它大量文本，让它完成一个看似简单的任务：
根据前面的内容，预测下一个 Token。
模型猜错之后，训练系统计算误差，再通过反向传播和梯度下降调整参数，这个过程反复进行，模型便逐渐发现：哪些词经常一起出现，句子通常怎样组织，一个问题后面通常跟着怎样的回答，代码中的函数、变量和逻辑如何配合。
论证怎样从前提走向结论，换句话说，大模型不是直接学习一个个答案，它真正学习的，是数据背后的统计结构和解决问题的模式。
02
第一阶段：大模型拿什么训练？
学习的起点不是算法，而是数据，模型的上限，很大程度上取决于它见过什么、数据质量如何，以及这些数据能否覆盖足够丰富的知识和任务。
1. 训练数据：模型认识世界的原始材料
训练数据是大模型学习的原料，这些数据通常包括：网页、书籍、论文、新闻、代码、论坛讨论、百科资料、问答数据和经过授权或人工构造的内容，数据规模很重要，但规模并不是唯一标准。
如果数据中充斥重复内容、错误事实、垃圾文本和低质量表达，模型学到的也会是混乱模式，所以真正困难的，不只是“收集更多数据”，而是完成一整套数据治理：数据清洗，去重，质量筛选，隐私处理，有害内容过滤，语言和领域配比。
高质量数据往往比单纯堆积低质量数据更有价值，大模型领域正在逐渐从“数据越多越好”，转向“数据质量、结构和课程设计同样重要”。
模型吃进去的不是知识本身，而是知识留下的文本痕迹。
这些痕迹决定了它能够学到怎样的世界。
2. Tokenization：把人类语言切成模型能处理的单位
模型不能直接读取文字，在进入神经网络之前，文本必须先被 Tokenizer 切成一个个 Token，Token 可以是一个汉字、一个单词，也可能只是单词的一部分，例如，一个英文长单词可能被拆成词根和后缀，一段代码也会被拆成变量、符号和关键字。
Tokenization 看起来只是预处理，实际上会影响模型的学习效率，如果某种语言被切得过于零碎，同样一段内容就会占用更多 Token，训练和推理成本都会增加，如果代码、数学符号或专业词汇切分不合理，模型也更难学习其中的稳定结构。
所以，Tokenizer 相当于模型观察世界时使用的“颗粒度”，切分方式决定了模型以什么基本单位认识语言。
3. Batch：模型不是一次看完所有数据
大模型的训练数据规模极大，不可能一次全部送入模型，训练系统会把数据划分成很多小批次，每一批称为一个 Batch，模型处理一个 Batch 后：完成预测，计算误差，更新参数，然后继续处理下一个 Batch。
为什么不能每看一个样本就立刻更新，因为单个样本存在偶然性，更新方向可能非常不稳定，为什么不一次处理全部数据，因为计算资源和显存根本无法承受，Batch 是两者之间的折中，Batch 太小，训练噪声大，参数更新不稳定。
Batch 太大，计算成本高，还可能降低模型对数据细节的敏感度，所以，Batch Size 不是一个无关紧要的工程参数，它影响训练效率、稳定性和最终效果。
4. Epoch：把训练数据学几遍
Epoch 指模型完整看过一遍训练数据，如果数据集规模较小，模型可能训练多个 Epoch，也就是反复查看同一批数据，但在超大规模预训练中，情况更复杂，训练语料可能大到难以完整重复多轮，部分数据只出现一次，部分高质量数据可能被重复使用。
训练次数太少，模型可能还没有充分吸收规律，训练次数太多，又可能过度记住训练样本，导致过拟合，因此，Epoch 的核心不是“越多越好”，而是控制模型对数据的学习程度，真正好的训练，需要在“没有学会”和“死记硬背”之间找到平衡。
03
第二阶段：模型到底在学习什么？
元股证券:ygzq.hk
数据进入模型之后，接下来的问题是：模型的学习目标到底是什么，它并没有一个老师逐句解释世界，而是通过一种自监督机制，从数据本身构造学习信号。
5. 预训练：先学习语言和世界的一般规律
预训练是大模型能力形成的基础阶段，这个阶段通常消耗最多的数据、算力和时间，模型会阅读海量文本，通过预测任务学习：语言结构，事实关联，常识模式，代码语法，知识关系，不同文体的表达方式，问题与答案的常见结构。
预训练不会直接把模型变成一个理想助手，它更像是给模型打下通识基础，完成预训练的模型可能已经知道很多，但不一定会按照用户要求回答，也不一定知道什么时候应该拒绝，更不一定能够稳定遵循复杂格式，可以这样理解：
预训练让模型“读过很多书”，后训练才教它怎样与人协作。
6. 自监督学习：数据自己成为老师
传统监督学习需要人工标注，例如，给模型一张图片，并标注“这是一只猫”，但互联网数据规模太大，不可能全部依赖人工标注，大模型采用的核心方法是自监督学习，所谓自监督，就是从原始数据中自动构造训练目标，一句话本身就可以同时提供问题和答案：
前面的 Token 是输入，后面的 Token 是答案，例如：“北京是中国的——”，真实文本中的下一个 Token，可能是“首都”，模型先预测，训练系统再拿它的预测与真实 Token 比较，这样，海量文本不需要逐条人工标注，也能形成训练信号。
自监督学习的突破意义在于：
它把整个互联网变成了一个近乎无限的训练场。
7. Next Token Prediction：为什么预测下一个词能学出智能？
大模型最核心的预训练任务，通常是预测下一个 Token，很多人因此认为：大模型不过是一个高级文字接龙系统，这句话只说对了一半，预测下一个 Token 的形式确实简单，但要在复杂文本中持续预测准确，模型必须学到非常深的规律。
比如，面对下面这段内容：“因为需求持续增长、供给短期受限，所以价格可能……”，模型要预测后面的词，就需要理解供需关系，面对一段代码，它要预测下一行，就需要学习变量类型、函数逻辑和程序结构。
面对一个数学证明，它要继续预测，就需要识别前提、推导步骤和结论之间的关系，面对一篇文章，它要写出下一段，就需要理解主题、语气和论证结构，所以，预测下一个 Token 不只是学习词语搭配，为了完成这个任务，模型被迫压缩人类语言背后的大量结构：
知识结构，逻辑结构，代码结构，因果结构，问题解决结构。
任务很简单，但要把它做到极致，模型必须学会复杂世界在语言中的投影。
8. 损失函数：模型如何知道自己错了多少？
模型完成预测之后，需要一个标准判断预测有多差，这个标准就是损失函数，模型预测的下一个 Token 与真实 Token 越接近，损失越小，预测越偏离，损失越大，可以把损失函数理解成一张成绩单，它不只是告诉模型“错了”，还要量化“错得有多严重”。
训练的整体目标，就是尽量降低损失，但模型不会看到损失之后产生主观反省，它没有“我这次做错了”的意识，损失只是一个数学信号，用来指导接下来参数应该怎样调整，因此，模型学习的本质可以概括为：
不断降低预测误差。
看起来，大模型在学习语言和知识，从数学上看，它一直在做同一件事：让自己的预测结果更接近训练数据中的真实结果。
04
第三阶段：错误如何变成能力？
知道自己错了还不够，真正的关键是：模型如何根据错误修改自己，这就涉及反向传播、梯度下降、学习率和参数更新。
9. 反向传播：把错误逐层传回模型内部
大模型由很多层神经网络组成，一次预测通常经过大量计算，最终才产生输出，当输出错误时，训练系统需要判断：模型内部哪些参数对错误负有责任，每个参数应该承担多大责任，应该朝哪个方向修改，反向传播就是解决这个问题的方法。
损失从输出端开始，逐层向后传递，训练系统计算每个参数对最终误差的影响，可以把它理解为一次“责任追踪”，最终答案错了，不是简单把整个模型推倒重来，而是沿着计算链条向后追查，找到哪些内部权重需要调整。
没有反向传播，损失函数只能告诉模型结果不对，却无法告诉模型应该怎样改变。
10. 梯度下降：沿着误差减小的方向前进
反向传播计算出梯度后，梯度下降负责更新参数，梯度可以理解为：如果稍微改变某个参数，损失会怎样变化，梯度下降会让参数向损失更小的方向移动，可以想象模型站在一座被浓雾笼罩的山坡上，它看不到整座山的全貌，只能感知脚下哪个方向更低。
于是向下走一步，再次测量，再向下走一步，经过无数次调整，逐渐接近误差更低的位置，大模型训练并不是一次找到正确答案，而是通过海量微小更新不断逼近。
能力不是突然被写入模型的，而是在无数次参数微调中慢慢形成。
11. 参数更新：学习最终落在哪里？
参数是模型训练过程中不断变化的内部权重，训练开始时，这些参数大多接近随机状态，模型第一次看见文本时，预测结果几乎没有意义，随着反向传播和梯度下降不断运行，参数开始发生变化，一些参数逐渐对语法关系敏感。
一些参数开始编码特定概念，一些网络层可能更擅长识别局部模式，另一些层开始形成更抽象的语义表示，需要注意的是，知识通常不会完整存储在某一个独立参数里，它往往分布在大量参数和神经元的协同结构中。
因此，大模型不像硬盘那样，把“巴黎是法国首都”保存到一个固定地址，更接近的理解是：大量参数共同形成了“法国—巴黎—首都”之间的关系结构，参数更新就是学习真正发生的地方，训练数据提供经验，损失函数衡量误差。
反向传播追踪责任，梯度下降决定方向，最后，参数把这些经验保留下来。
12. 学习率：每次应该改多少？
学习率控制每次参数更新的幅度，如果学习率太大，模型每次调整过猛，可能越过正确方向，训练过程不断震荡，甚至彻底失控，如果学习率太小，模型虽然比较稳定，但进步非常缓慢，可能训练很久也学不到足够能力，这就像纠正一个人的动作。
改得太狠，原来的正确部分也可能被破坏，改得太轻，又无法真正解决问题，实际训练中，学习率通常不是固定不变，训练初期可能先逐渐升高，让系统进入稳定状态，中后期再逐步降低，让参数更新越来越细致，所以，学习率看似只是一个数字，实际上决定了模型“如何成长”。
训练稳定性、收敛速度和最终能力，都与它密切相关。
05
第四阶段：为什么模型越大，能力往往越强？
如果训练机制都是预测和纠错，为什么小模型与大模型之间的能力差距会如此明显，关键在于规模，更大的模型、更丰富的数据和更多的计算，让模型能够压缩更复杂的规律。
13. Scaling Law：模型能力为什么可以被持续放大？
Scaling Law，通常翻译为规模定律，它描述的是：当参数规模、训练数据和计算量以合适比例增加时，模型损失往往会按照相对规律的方式下降，能力也会持续提高，这条规律给大模型行业带来了一个非常重要的信号：
能力提升不是完全随机的，在一定范围内，投入更多计算、数据和参数，通常能获得可预测的性能提升，但规模定律并不意味着只要盲目堆参数就一定成功，模型规模、数据数量和计算预算必须匹配，模型很大但数据不够，容易训练不足。
数据很多但模型容量不足，又无法压缩其中的复杂规律，因此，Scaling Law 的核心不是“大就是好”，而是：
模型、数据与算力之间存在可优化的比例关系。
14. 涌现能力：新能力为什么看起来突然出现？
当模型规模扩大时，人们发现一些能力并不是均匀增长的，小模型几乎不会完成某类任务，模型扩大到一定程度后，却突然表现出多步推理、代码生成、上下文学习等能力，这种现象常被称为涌现能力，但“涌现”不应该被理解成魔法。
一种可能的解释是：很多复杂能力依赖多个基础能力同时达到一定水平，例如，解决复杂应用题可能同时要求：理解自然语言，识别数字关系，掌握运算规则，保持中间状态，组织输出步骤，其中任何一项太弱，整个任务就会失败。
当规模扩大后，多项基础能力一起跨过可用门槛，最终表现看起来就像突然出现，此外，一些所谓涌现，也可能受到评测方式影响，如果评测只有“完全正确”和“完全错误”两种结果，即使模型能力连续提升，最终分数也可能表现为突然跳变。
因此，更谨慎的判断是：
规模扩大确实会带来新的组合能力，但所谓涌现究竟有多突然，仍需要结合任务和评测方法分析。
06
第五阶段：预训练为什么还不够？
完成预训练后，模型已经学会大量语言、知识和模式，但它仍然不一定是一个好用的助手，它可能只是继续文本，可能无法稳定理解指令，可能答非所问，也可能生成不安全或不符合人类偏好的内容，所以，预训练之后，还需要后训练。
后训练不是重新教模型整个世界，而是塑造它的行为方式。
15. 监督微调：用高质量示范教模型怎样回答
监督微调，简称 SFT，这个阶段会给模型一批高质量的“指令—回答”样本，例如：用户提出一个问题，训练数据给出理想回答，模型生成自己的答案，再根据标准答案计算损失并更新参数，预训练阶段，模型主要学习“接下来通常出现什么”。
监督微调阶段，模型开始学习：用户提出这种要求时，应该怎样回应，如何按步骤解释，如何遵守格式，如何完成摘要、翻译、分类、代码生成等任务，可以这样理解：预训练让模型读完大量资料，监督微调则让模型开始做专项练习。
它把一个擅长续写文本的基础模型，逐渐改造成能够理解人类指令的助手。
16. Instruction Tuning：从会续写到会听指令
Instruction Tuning，通常翻译为指令微调，它本质上属于监督微调的重要形式，但值得单独理解，模型在预训练阶段看到的大量文本，并不都是明确的指令任务，因此，它可能知道怎样续写一篇文章，却不知道用户要求“用三点概括”时应该严格输出三点。
指令微调会覆盖多种任务和表达形式：解释，总结，分类，推理，改写，代码生成，角色设定，格式约束，模型通过这些示例逐渐形成更一般的指令遵循能力，真正优秀的指令微调，不是让模型死记某几个任务，而是让它学会识别用户意图，并将新指令映射到合适的行为模式。
所以，Instruction Tuning 解决的核心问题是：
让模型从“会生成语言”，变成“会按照要求生成语言”。
17. RLHF：让模型学习人类更喜欢什么
仅靠标准答案还不够，现实中的很多回答并没有唯一正确答案，例如，两段回答事实都正确，但一段更清楚、更有帮助、更符合用户意图，这种偏好很难用普通监督学习完整表达，RLHF，即基于人类反馈的强化学习，就是为了让模型学习这些偏好。
典型过程包括：先让模型生成多个候选回答，再由人类标注者比较哪个更好，利用这些偏好数据训练奖励模型，最后让大模型朝着获得更高奖励的方向优化，RLHF 不是主要用来给模型灌输新知识，它更重要的作用是塑造行为：
回答是否有帮助，是否遵循指令，是否安全，是否减少明显冒犯和风险，是否更符合人类交流习惯，可以用一句话概括：
预训练教模型什么内容可能出现，RLHF 教模型什么样的回答更值得输出。
但 RLHF 也有局限，人类偏好可能不一致，标注者也会犯错，过度追求“讨人喜欢”，还可能让模型变得过于迎合，甚至牺牲真实和深度，所以，对齐不是简单地让模型更听话，而是在有用、真实、安全和自主能力之间寻找平衡。
18. RLAIF：让 AI 参与评价 AI
随着模型规模扩大，仅依赖人类逐条评价成本很高，RLAIF，即基于 AI 反馈的强化学习，尝试让更强模型或专门的评价模型参与反馈生成，例如，给评价模型一套原则，让它比较多个回答：哪个更准确，哪个更安全？
哪个更符合规则，哪个推理更完整，这些 AI 生成的偏好信号，再用于训练目标模型，RLAIF 的优势是：扩展速度快，成本相对较低，可以覆盖更多样本，评价规则也更容易系统化，但它同样存在风险，如果评价模型本身存在偏差，错误可能被批量放大。
如果多个模型共享相似盲点，AI 评价也未必能发现问题，因此，RLAIF 并不意味着完全淘汰人类反馈，更现实的方向，是人类制定目标和原则，AI 扩大评价规模，人类继续负责抽查、校准和高风险判断。
07
能力怎样从强模型传给小模型？
最强模型往往昂贵、缓慢、部署成本高，现实应用不可能所有任务都调用最大模型，因此，模型还需要把能力压缩和迁移出去。
19. 蒸馏：让小模型学习大模型的行为
知识蒸馏，是让较小模型学习较大模型输出和行为的方法，大模型通常被称为教师模型，小模型被称为学生模型，教师模型可以生成：高质量答案，推理步骤，任务示范，偏好比较，合成训练数据，学生模型再利用这些数据进行训练。
蒸馏不是把大模型的全部参数复制过去，小模型容量有限，不可能完整容纳教师模型的所有能力，它学习的是更有价值的行为模式和输出分布，因此，蒸馏通常是一种能力压缩，目标是在减少参数、延迟和成本的同时，尽可能保留关键能力。
它对端侧模型、企业私有部署和特定任务模型尤其重要，大模型负责探索能力上限，小模型通过蒸馏，把其中一部分能力以更低成本带入实际场景。
08
模型训练完成后，还能继续学习吗？
人类学习不会在毕业后停止，但传统大模型训练完成后，参数通常是固定的，它不会因为和某个用户聊了一次，就自动把这次对话永久写进参数，这引出了大模型领域长期面临的难题：持续学习。
20. 持续学习：如何学习新知识，又不忘掉旧能力？
持续学习指模型在部署之后继续吸收新知识、新任务和新环境变化，这个目标听起来很自然，实际非常困难，其中最大的难题之一叫灾难性遗忘，模型学习新任务时，参数被重新调整，可能破坏原来已经学会的能力。
例如，让模型集中学习某个专业领域之后，它可能在这个领域变强，却在通用能力上退化，持续学习还面临其他问题：怎样判断哪些新信息值得写入，如何过滤错误和恶意数据，怎样避免用户隐私进入模型，怎样追踪知识来源？
如果新旧知识冲突，应该相信哪一个，因此，今天很多 AI 系统并不会直接频繁修改基础模型参数，更常见的做法是把学习拆成多个层次：基础能力通过预训练和后训练写入参数，最新知识通过 RAG、搜索和数据库获取。
用户偏好通过 Memory 系统保存，专业能力通过微调、Skill 和工具扩展，这意味着未来的 AI 学习，不一定全部发生在模型参数里，它更可能是一套分层学习系统：
参数负责长期能力，外部知识库负责更新事实，记忆负责保存个体信息，工具负责连接动态世界。
09
把 20 个机制串起来：大模型究竟怎样学会能力？
现在，我们可以把整个过程重新串起来。
第一步，准备训练数据。
模型通过书籍、网页、代码、论文和其他语料接触人类知识的文本痕迹。
第二步，文本经过 Tokenization，被切成模型能够处理的 Token。
第三步，数据被分成 Batch，分批送入模型，并经过一轮轮训练。
第四步，模型通过自监督学习预测下一个 Token。
第五步，损失函数计算模型预测与真实答案之间的差距。
第六步，反向传播找到每个参数对错误的影响。
第七步，梯度下降按照学习率更新参数。
第八步，随着预训练不断进行，模型逐渐把语言、知识和问题解决模式压缩进参数。
第九步，通过扩大参数、数据和算力，模型能力按照规模规律不断提高，并可能形成新的组合能力。
第十步，预训练结束后，通过监督微调和指令微调，让模型更会理解人类任务。
第十一步，通过 RLHF 和 RLAIF，让模型的行为更符合人类偏好和安全要求。
第十二步，通过蒸馏，把强模型的部分能力迁移到成本更低的小模型。
第十三步，通过持续学习、外部知识库、记忆和工具，让模型适应不断变化的现实世界。
整个过程中，没有哪一步是在给模型安装一个叫“写作能力”或“推理能力”的软件包，这些能力是大量训练机制共同作用后形成的结果。
10
大模型学习的本质，是把经验压缩进参数
所以，大模型到底是如何学习的，它不是像学生一样听老师讲课，也不是像数据库一样把资料原封不动存起来，它通过海量数据不断预测，通过损失函数发现误差，通过反向传播追踪错误，通过梯度下降修改参数。
炒股配资网再通过监督微调、指令微调和人类反馈，逐渐学会按照人类需要的方式输出能力，大模型的学习，本质上是一个不断压缩经验的过程，它把语言压缩成参数，把知识关系压缩成参数，把代码规律压缩成参数，也把人类解决问题时留下的大量模式压缩成参数。
当我们向它提出问题时，它不是简单调取一条标准答案，而是在当前上下文的驱动下，重新激活和组合这些被压缩的模式，这也解释了大模型最核心的特点：它不是一个静态知识库，它是一台经过海量经验训练的模式生成机器。
预训练决定它见过多大的世界，优化算法决定它能否从错误中学习，模型规模决定它能压缩多复杂的规律，后训练决定它如何与人类协作，而持续学习，则决定它能否跟上不断变化的现实，真正理解大模型，不应该只盯着参数数量和排行榜。
更应该看到参数背后的那条能力形成链：
数据提供经验，预测制造任务，损失暴露错误，梯度推动修正，参数保存规律，后训练塑造行为。
大模型不是被一行行代码写成智能的股票长期推荐，它是在无数次错误和修正中，逐渐长出了能力。
元股证券-证券杠杆通道|实名开户极速通过提示：本文来自互联网，不代表本网站观点。
相关文章
大盘行情指数走势
热点资讯