大模型通识 / 大模型技术演进

12. 2024 年末—2025 年初：投入更多计算求解，推理模型带来变化

本篇目录 · 9 节

来源：大模型技术演进

2025 年 1 月下旬，DeepSeek 突然成为一个远远超出技术圈的话题。

1 月 20 日，DeepSeek R1 正式发布。到 1 月 27 日，美联社报道，DeepSeek 的 AI 助手已登上苹果应用商店免费应用榜首。同一天，围绕中国 AI 竞争者的冲击与算力投入前景的担忧，进入金融市场：英伟达股价下跌 16.9%。一个模型公司的名字，同时出现在手机应用榜单和全球市场新闻里。R1 发布公告、美联社对应用热度的报道、美联社当日市场报道

市场反应本身不能证明模型能力，也不能证明未来不再需要大量芯片。它说明的是，这次发布触动了人们对 AI 竞争格局的判断：高水平能力由谁提供，开发者能否自己部署，以及接近前沿的能力能以什么方式进入大众产品。

对普通用户，变化更加具体。打开 DeepSeek 的“深度思考”模式，系统会先展示一段推演，再给出答案。AI 的产品体验不再只是问题发出后立即往外吐字；等待、检查和重新组织解法，也成了用户能够注意到的过程。

但这一变化并非始于 R1 发布当天。要理解它为什么能在 2025 年初形成如此大的影响，需要先回到 2024 年 9 月的 o1。

o1 把“先花时间求解”带到了产品台前

2024 年 9 月 12 日，OpenAI 发布 o1-preview 和 o1-mini。名字没有沿着 GPT 的数字继续增加，而是启用 o1 系列，突出一种新的能力取向：在回答之前投入更多计算，处理需要多步推导的任务。o1-preview 发布公告

这与当时另一条产品路线形成了鲜明的并行关系。GPT-4o 强调更自然、更及时的交互；o1 则让用户看到，面对某些难题，多等一会儿可能有价值。数学问题、复杂代码错误和需要同时满足多个条件的方案，成为展示这种差别的典型场景。

首发时的 o1 还不是一个功能齐全的新助手。预览版缺少网页浏览和图片、文件上传等能力；API 当时也没有函数调用等功能，开放范围受到限制。推理任务上的进展，并没有自动带来完整产品能力。

到 12 月，产品又跨过了两个节点。12 月 5 日，正式版 o1 随 ChatGPT Pro 的发布进入新的产品阶段，Pro 中还提供使用更多计算的 o1 pro mode。12 月 17 日更新的 API 版本进一步提供函数调用、结构化输出、视觉能力和 reasoning_effort 参数，使开发者能够调节回答前的推理投入。ChatGPT Pro 与 o1 公告、o1 的开发者更新

这里可以看到一条熟悉的演变路线：先证明某种模型能力有价值，再把它补成开发者能够接入应用的服务。能做难题，与能放进一个稳定运行的产品，之间仍有工程距离。

“推理模型”究竟多了什么

“推理”这个词在 AI 里有两个容易混淆的用法。

上一篇说的模型推理，英文是 inference，指训练好的模型接受输入并产生输出的计算过程。生成一句问候，也属于 inference。

这一篇说的推理能力，英文更接近 reasoning，指根据条件进行多步分析、推导或求解。它并不保证正确，却强调模型有能力处理超出直接检索和简单表达的关系。

所谓推理模型，通常是指经过专门训练，更善于利用回答前的中间计算来解决这类问题的模型。它仍然是语言模型，没有因此变成一台永远正确的逻辑证明机器。

“写出中间步骤能帮助解题”也不是 2024 年才出现的发现。2022 年的思维链研究已经表明，给模型展示包含中间推导的示例，可以改善一些算术、常识和符号推理任务。思维链的英文是 Chain of Thought，CoT。思维链提示研究

区别在于，让一个普通模型照着提示写步骤，与训练模型更有效地使用这些步骤，是不同层面的改进。前者改变本次输入；后者通过训练改变模型的行为倾向。只在提示词后面加一句“认真思考”，并不等于拥有了 o1 或 R1 的能力。

OpenAI 在 o1 的研究介绍中，把两种投入放在一起展示：增加强化学习训练的计算，以及增加回答时的计算，都能在其报告的任务和设置中改善表现。这使开发者开始更认真地考虑一个新问题：模型已经选定以后，还能否通过分配不同的求解预算，改变一次回答的质量？o1 研究介绍

推理时计算：模型确定后，仍然可以分配求解预算

可以用三种方式来理解能力投入的位置：

投入发生在哪里	大致在做什么	与本次问题的关系
预训练	从大量数据中学习语言、知识和规律	在接到本次问题之前形成基础能力
后训练	用示例、反馈等改善指令遵循和求解行为	在训练阶段调整模型的行为倾向
推理时计算	针对当前问题展开更多计算、尝试或检查	在本次回答期间消耗资源

第三种也常被称为 test-time compute。这里的 test-time 不只是“做测试时”，也指模型已经训练完毕、正在被使用的阶段。

增加这类计算，不一定只有“写一条更长的思维链”一种形式。可以沿一条路径继续分析和修正，也可以产生多个候选解，再用评估机制挑选。不同方法怎样分配计算，与问题难度、基础模型能力和验证方法有关。2024 年 8 月的一项研究就专门讨论了这种分配问题，指出不同策略的收益会随问题难度变化。推理时计算分配研究

用一个粗略比喻：有时需要把一条解题思路算得更深入，有时需要先尝试几条不同路线。多准备几张草稿纸本身不会让答案正确，关键是求解者会不会有效利用它们。

这也解释了两个常见误解。

首先，多花推理计算通常不意味着模型正在为你这个问题重新训练一遍权重。它主要是在已有能力基础上进行更多计算。把一句回复等得久，当成模型“现场学习并永久记住了新知识”，是不准确的。

其次，时间长不一定代表思考充分。请求可能在排队，也可能在进行网络传输；即使模型确实生成了更多中间内容，也可能重复绕圈。评价这种投入，仍然要看最终结果是否更好，而不能只看等待动画或输出长度。

强化学习：让训练奖励有效的求解行为

要理解 o1 和 R1，不能跳过强化学习，但这里不需要先学习一整套数学公式。

可以先把监督微调理解为“给模型看合格示例，让它学习怎样回答”；把强化学习理解为“模型尝试产生结果，训练系统根据反馈调整它，使获得较好评价的行为更容易出现”。这是理解两者作用的简化方式，实际训练流程可能把它们组合使用。

强化学习也不是推理模型时代的新发明。2022 年的 InstructGPT 已使用人类偏好反馈改进模型的回答。进入这一阶段，研究者更集中地探索：怎样把奖励与问题是否被正确解决联系起来。InstructGPT 原始研究

数学和编程在这条路线上有一个优势：某些题目的结果容易验证。数学答案可以与标准结果比对；代码可以运行测试用例。这样，训练系统就有机会收到比“读起来像是对的”更明确的反馈。它依然依赖题目、规则和测试质量，不能保证每一道实际问题都有可靠的裁判。

可以把训练过程想成反复练习：同一个问题出现几种解法，有的成功，有的失败；训练系统利用这种差异调整模型。这里发生的是训练阶段的参数优化，而不是用户每发一句话，线上模型就自动为这句话更新参数。

DeepSeek 在 2024 年的 DeepSeekMath 研究中已经提出 GRPO，中文通常称为组相对策略优化。它利用一组回答之间的奖励差异来构造训练信号，减少对额外价值模型的依赖。R1 后来使用这一技术脉络，因此也不能把 R1 看成脱离此前积累的一次突然跳跃。DeepSeekMath 研究

对入门开发者，重要的不是记住算法缩写，而是理解：如果奖励偏向表面格式，模型可能学会漂亮地包装答案；如果有可靠的结果反馈，训练才更有机会鼓励有效求解。训练目标与验证方法，会影响模型最终擅长什么。

R1-Zero 与 R1：研究探索和面向用户的模型并不相同

DeepSeek R1 的技术报告中，有一个特别容易被转述错的名字：R1-Zero。

R1-Zero 从已经预训练好的 DeepSeek V3-Base 出发，在没有先做监督微调的情况下进行强化学习。报告观察到一些检查、反思和尝试不同解法的行为，也报告了可读性差、语言混用等问题。

这里的“Zero”不表示没有预训练、没有数据，更不表示模型从一张白纸开始自己学会全部知识。它强调的是这段后训练探索中没有以前置监督微调作为起点。

面向用户的 R1 则加入冷启动示例，也就是用于启动后续训练的一批示范数据，并组合监督微调与强化学习等阶段。团队报告显示，它在数学、代码和推理的多项测试中，与 o1 的 2024 年 12 月 17 日版本具有竞争力。这里比较的是指定版本和测试，不能理解成所有任务效果相同；R1 的流程也不能被概括成“完全不用监督数据”。R1 初版技术报告

这条路线在正式发布前已有公开迹象。2024 年 11 月 20 日，DeepSeek 开放 R1-Lite 预览体验；11 月 28 日，Qwen 发布 QwQ-32B-Preview；12 月 19 日，Google 开放 Gemini 2.0 Flash Thinking Mode 的公开预览。几条路线并行出现，说明“给模型更多求解计算”已成为共同探索的方向，各家的具体训练方法和开放范围则并不相同。R1-Lite 公告、QwQ 预览公告、Gemini 历史更新记录

到 2025 年 1 月 20 日，R1 将模型能力、公开权重、技术报告、API 和普通用户入口组合在了一次发布中。它带来的影响，需要从这个组合来理解。

为什么 R1 的影响迅速越过了研究圈

首先，能力进入了容易接触的产品。用户可以在 DeepSeek 网页或 App 中启用深度思考；开发者可以通过 API 调用。发布公告给出的历史 API 价格是：每百万输入 token，缓存命中 1 元、未命中 4 元；每百万输出 token 16 元。这里引用的是首发报价，不是当前价格。R1 首发的产品与价格安排

其次，开放权重让使用方式超出了一个官方聊天窗口。R1 的代码与权重采用 MIT 许可，团队同时提供了六个基于 Qwen、Llama 的蒸馏模型。模型开发者、推理服务商和本地应用开发者，因此可以围绕它继续工作。R1 官方仓库与模型说明

蒸馏在这里可以理解为：利用较强模型生成的训练样本，改善另一个模型的能力。学生模型已经有自己的基础，再通过这些样本学习。它不是简单删除完整 R1 的一部分参数，也不是下载一个标有“R1”的小模型，就得到了完整 R1 的全部能力。

例如，R1-Distill-Qwen-32B 是基于 Qwen 的蒸馏模型；它与完整 R1 的结构、规模和效果不能混为一谈。不同底座还涉及各自的原始许可，部署时应读具体模型说明。开放也不等于完整公开所有训练数据和生产系统。

生态的响应很快变成了可观察的产品动作。1 月 29 日，微软宣布 R1 进入 Azure AI Foundry 和 GitHub 的模型目录。这说明其传播不只停留在下载量和社交讨论，还进入了已有的开发服务渠道。微软当时的上架公告

从这些事实可以看出，R1 的影响并不只来自某一个测试分数。能力表现让人愿意尝试，产品入口让更多人能够尝试，权重与技术公开又让生态能够接着建设。几种力量相互放大，才使它成为一个产业事件。

看得见推演，不等于拥有了可靠性证明

这一时期，人们开始习惯在答案前看到“思考中”，或者看到展开的分析文字。这样的界面让模型行为更容易被感知，也容易带来新的误判。

不同产品展示的内容并不相同。OpenAI 在 o1 的研究介绍中明确表示，不向用户展示原始思维链，而提供模型生成的摘要；DeepSeek R1 的首发 API 则开放了思维链输出。因此，两个界面都出现“思考”字样，并不表示背后展示的是同一种信息。o1 对思维链展示的说明

可读的解释也不能直接当作模型内部全部计算的忠实记录。早在 2023 年，一项研究就发现，模型可能给出看似合理的步骤，却没有说明真正影响其回答的某些输入因素。该研究针对当时的模型，不能拿它直接断言 R1 的每一次推演都不可信；它提醒我们，解释看起来顺畅，与解释忠实、结论正确，是不同的问题。关于思维链解释忠实性的研究

实际使用时，推演文字可以帮助发现漏掉的条件，但最终仍要回到外部检查：算式是否成立，代码是否通过测试，引用的资料是否存在，方案是否满足约束。

如果模型先接受了一个错误前提，再围绕它认真分析，最后可能得到一份十分完整的错误答案。投入更多计算不会自动补齐它没收到的资料，也不能凭空查到昨天刚发生的事实。检索、工具和可靠数据仍然有自己的作用。

一个复习计划，怎样体现推理能力的价值

继续用个人复习助手做教学构造。下面不是模型实测记录，而是一个可以手工核验的小任务。

假设用户提供了这些条件：从周一到周五，每天最多学习 30 分钟；课程 A、B 各需 30 分钟，必须先完成 A 才能学习 B；课程 C 需 40 分钟，可以拆成两次各 20 分钟，但必须在 B 完成后开始。A、B 合计复习 10 分钟，安排在 B 完成后的下一天或更晚；C 复习 20 分钟，必须在 C 全部学完后的下一天或更晚。

一个可行安排是：

日期	安排	当日用时
周一	学习 A	30 分钟
周二	学习 B	30 分钟
周三	学习 C 的第一部分，复习 A、B	30 分钟
周四	学习 C 的第二部分	20 分钟
周五	复习 C	20 分钟

这个任务需要把总时长、先后依赖、拆分方式和跨日间隔放在一起考虑。一张排得漂亮的表并不够；只要把 C 的复习塞到周四，哪怕每天都不超时，也违反了条件。

如果用户再加一句“所有事情必须周四结束”，助手还应发现：按照现有条件无法完成。A、B 最早分别在周一、周二完成，C 最早占用周三、周四，复习 C 就只能从周五开始。合格的回答应说明冲突，并请用户选择延长截止时间或放宽规则。

推理模型的价值，是更有机会把这些关系处理好。验证则可以交给普通程序：检查每日分钟数、任务是否齐全、依赖是否满足、日期间隔是否正确。模型提出候选方案，程序验证确定性条件，两者结合比只让模型宣称“已检查”更可靠。

这个小项目也说明了边界：模型生成一份计划，不代表已经读取用户真实日历；把计划写入日历，又需要工具接口和相应授权。更强的推理能力可以参与 Agent 的决策，但推理模型本身并不等于一个能操作外部系统的完整 Agent。