11. 2024：效率、成本和速度改善，更多应用开始做得起

来源：大模型技术演进

2024 年 5 月，大模型竞争出现了一种与发布新能力同样直接的表达方式：把价格写到台前。

5 月 6 日，DeepSeek 发布 V2。这个模型的名字后面，跟着三个明确的关键词：强、经济、高效。九天后，火山引擎正式对外发布豆包大模型家族，豆包通用模型 pro 的 32K 版本，输入价格为每千 token 0.0008 元。换算一下，每输入一百万 token，只需 0.8 元。大模型公司的竞争，开始越来越具体地落到开发者能读懂的账单上。DeepSeek V2 发布记录、火山引擎当年对豆包发布和定价的介绍

这个数字的冲击力，要放在应用开发里理解。偶尔向聊天助手提一个问题，使用者未必能感受到每次调用价格的变化；但如果一个应用每天都要整理笔记、分析文档、回复用户，同一项费用就会被重复成千上万次。

此前几篇介绍了模型怎样处理更多资料、理解图像、参与编程。这些能力提出了新的需求：既然 AI 能做更多事，能不能让它多做一些？能不能不只在用户点击按钮时调用一次，而是在资料进入系统时就开始整理？能不能把一个复杂任务拆成几步，每一步都调用模型？

2024 年的效率进展，开始让这些问题有了更现实的答案。它改变的既是账单，也是应用设计的空间。

本文回顾当年的变化。文中价格均对应注明的历史阶段，不是今天的购买报价；模型效果、单价和服务条件也不能只凭一个数字横向排名。

从发布会上的模型，走向每天都要支付的服务

先把两笔经常被混在一起的钱分开。

训练成本是把模型训练出来所消耗的资源。推理成本是训练好的模型接受输入、生成结果时消耗的资源。你调用 API 为笔记生成摘要，主要购买的是后一种服务。API 对外售价又是厂商的商业定价，并不等于其内部每次计算的实际成本。

所以，训练更省、运行更省、API 降价，是有关联的三件事，但无法相互画等号。技术效率提升提供了降价空间，市场竞争、产品分层和限时优惠也会影响最终价格。

到了 9 月，降价仍在继续。阿里云的历史通知显示，2024 年 9 月 19 日起，qwen-plus 实时调用的输入价格从每千 token 0.004 元降到 0.0008 元，输出从 0.012 元降到 0.002 元。输入和输出分别下降，而且降幅不同。阿里云 2024 年 9 月降价通知

这也解释了为什么读价格新闻要留意几个小字：具体是哪款模型，算输入还是输出，按千 token 还是百万 token，是否要求缓存命中，是否属于优惠期。

Token 是模型处理文本时使用的片段单位，并不固定等于一个汉字或一个英文单词。输入里除了用户的问题，还可能有系统说明、检索到的资料、历史对话和工具返回结果。输出则包括模型生成的内容。同样是用户问了一句话，背后提交给模型的文本量可能相差很大。

在这一阶段，豆包的历史意义也不能只理解成“又多了一款聊天 App”。豆包是模型家族，火山方舟提供模型服务与开发平台，面向用户的应用又是另一层。字节把模型能力通过火山引擎对外提供，意味着开发者可以把这类能力接到自己的产品中。阿里百炼、DeepSeek API 等服务也处在这条应用供给链上。

对个人开发者来说，竞争的结果是可选择的服务增多了；至于某个项目最终适合哪一个，还要看它处理自己的任务时是否可靠。

DeepSeek V2：更大的模型，不必每一步都做同样多的计算

V2 展示了一条重要的效率路线。其技术报告给出两个参数量：总参数约 2360 亿，每个 token 激活约 210 亿参数。它采用了混合专家结构，也就是 MoE，Mixture of Experts。DeepSeek V2 技术报告

这里的“专家”，是模型内部的一组神经网络计算模块。处理 token 时，路由机制选择其中一部分参与计算，其他部分不必在这一步全部工作。这样就有机会保留较大的模型容量，同时减少每一步实际执行的计算。

可以把它粗略想成一间拥有许多处理单元的工厂：设备总量很大，但一件产品经过时，只启动当前需要的部分。这个比喻只帮助理解“选择性使用”，不要进一步想象成有人先判断“这是数学题”，然后把问题交给一个独立的数学聊天机器人。专家的分工由训练形成，通常不能整齐地按人类学科划分。

MoE 在 V2 之前就已经发展多年，2023 年末的 Mixtral 也采用了这一方向。V2 的价值在于把它和自己的结构、训练及服务实现结合起来。读到“只激活一部分参数”时，还要记住：其余权重仍需存储，实际部署还有显存、数据搬运和设备通信等开销。不能把一个 2360 亿总参数的模型，直接当成普通 210 亿参数模型来估算设备要求。Hugging Face 对 MoE 结构与部署取舍的解释

V2 的另一项关键设计是 MLA，多头潜在注意力。模型连续生成文本时，会保存与前面内容有关的中间计算状态，减少重复计算；其中一类重要状态叫 KV Cache。上下文更长、同时服务的人更多，这些状态就会占用更多资源。MLA 通过压缩这部分表示，减少相应的缓存负担。V2 技术报告中的 MLA 说明

初学者暂时不用推导注意力公式，只要看到这两条不同的优化方向：MoE 让每一步不必动用全部专家；MLA 让保存上下文计算状态的代价下降。

这类进展把“模型变强”与“计算量按同样比例增加”之间的关系变得更灵活。更强的模型仍然需要资源，但工程师可以改变资源的使用方式。

缓存：同一份资料，为什么要反复从头算

长上下文应用里，有一种浪费特别直观。

你上传了一篇长文，先问主要观点，再问某个概念，最后要求出几道练习题。问题变了，但长文和一些说明并没有变化。如果每轮都重新计算这些共同内容，用户就在反复支付处理同一段输入的代价。

2024 年 8 月 2 日，DeepSeek 宣布上线 API 上下文硬盘缓存。按照当时的规则，命中的输入部分每百万 token 收费 0.1 元，未命中部分为 1 元；服务自动工作。这里复用的是输入前缀对应的计算，要求请求从开头起有相同的 token 序列，并不是意思接近就算命中。公告也明确说命中属于尽力而为，不能保证每次成功。DeepSeek 硬盘缓存公告

这和“把上次的答案复制一遍”有本质区别。前面那篇文章的计算状态可以复用，新的问题仍然要处理，新的答案仍然要生成。

用个人复习助手做一个教学示意，提交的内容可能是：

固定的助手说明
固定的课程资料
本轮新增的问题

如果前两部分保持一致，后续请求就有机会复用它们。若每次都在最前面插入一个不同的时间戳，后面即使是同一份资料，也可能破坏原本可复用的前缀。实际可复用范围仍取决于服务的实现和规则。

这里需要区分三个层次：生成一段回答时保存中间状态；多个请求之间复用共同前缀的状态；应用自己保存某个问题的最终答案。它们都可能被叫作缓存，但省掉的工作不同，适用条件也不同。

缓存逐渐成为模型服务本身的产品能力。Anthropic 的历史公告也介绍了跨 API 调用复用上下文，并记载其提示词缓存于 2024 年 12 月 17 日在 Anthropic API 正式可用。其当时方案区分缓存写入和读取价格，说明不同服务的缓存账单并不完全一样。Claude 提示词缓存公告及更新记录

因此，“缓存输入很便宜”只能推导出重复上下文有优化机会，不能推导出整个应用的费用会按相同比例下降。如果应用主要在生成很长的新内容，输出部分仍然要付费。

Qwen 与小模型路线：把合适的能力放到合适的任务上

降低成本还有一条更容易理解的办法：让适合当前任务的模型来完成它。

2024 年 9 月 19 日发布的 Qwen2.5 开放权重系列，覆盖从 0.5B 到 72B 的多个规模，并包含代码、数学等专门系列。这里的 B 表示十亿；7B 就是约 70 亿参数。该次发布的这些开放权重模型采用稠密结构：相关网络层通常整体参与计算，不采用 MoE 那样的专家选择机制。Qwen2.5 发布公告

多种规模让开发者有了不同取舍。把一段笔记归入“编程”“英语”“生活”三个标签，与综合十篇互相矛盾的资料，不是同一种难度。前一个任务规则清楚、输出短、结果容易核对；后一个任务需要更复杂的理解与综合。让两者无条件使用相同的模型，未必划算。

不过，小模型便宜，并不意味着它必然适合某个任务。它可能把一个普通词误解成专业术语，也可能无法稳定遵守输出格式。实际选择需要用自己收集的一小组典型样本试验，而不是看参数更小就直接替换。

同年，低成本路线也在美国厂商的产品中变得鲜明。7 月 18 日发布的 GPT-4o mini，初始 API 报价为每百万输入 token 0.15 美元、每百万输出 token 0.60 美元。它的发布定位明确强调成本效率，以及需要串联或并行执行多次模型调用的应用。GPT-4o mini 发布公告

这两种供给方式各有意义：开放权重的多个尺寸，让开发者能考虑部署和改造；便宜的托管 API，让不愿维护推理服务的人也能直接使用。它们共同扩大了“足够完成任务，而且付得起”的选择范围。

从这些产品变化可以引出一种应用设计：简单任务先交给较经济的模型，出现可检测的失败、复杂条件或高价值问题时，再升级处理。这个做法通常称为模型路由。它是应用层在不同模型之间做选择，与 MoE 在一个模型内部选择计算模块，是两回事。

升级条件也不能只靠模型说一句“我很有信心”。格式校验是否通过、必要字段是否齐全、引用是否存在，往往是更容易实际检查的信号。怎样系统设计这类评测，后面的工程部分再展开。

年底的 V3：效率路线也能继续推动能力上限

2024 年 12 月 26 日，DeepSeek V3 发布，并同时用于公开的对话服务和 API。它延续 MoE 与 MLA 路线，总参数约 6710 亿，每个 token 激活约 370 亿。团队公布的评测显示，它在多项任务上与当时领先的闭源模型具有竞争力；这应理解为特定评测结果，不能扩大为任何真实任务都已经同样可靠。DeepSeek V3 发布公告

V3 让效率讨论进一步进入训练系统。其报告介绍 FP8 混合精度训练，以及让多设备计算和通信更有效配合的优化。FP8 可以先理解为部分计算和数据表示采用较低精度，以减少资源消耗；“混合精度”意味着不同环节使用适当精度，并不是把所有数字都粗略存成 8 位就完成优化。

报告里后来经常被转述的数字是 557.6 万美元。其口径是：正式训练共使用约 278.8 万 H800 GPU 小时，按每 GPU 小时 2 美元估算，包括预训练、上下文扩展和后训练。一张 GPU 工作一小时计为一个 GPU 小时，因此这个数是多张卡的累计用量，不是训练持续的日历时间。报告明确排除了此前研究与消融实验，也就是检查不同设计作用的对比实验等费用。这不是公司的全部研发支出，也不能拿来表示另一个模型 R1 的完整研发成本。DeepSeek V3 初版技术报告，表 1 及相邻说明

这个案例带来的变化，是效率与能力的讨论可以同时进行。减少浪费，并不只用于把弱一些的模型卖得便宜；节省下来的资源，也可以用于训练更有能力的模型。

对应用开发者而言，还要把这个技术结论与实际服务报价分开。V3 发布时宣布优惠体验期截至 2025 年 2 月 8 日：每百万输入 token，缓存命中为 0.1 元、未命中为 1 元；每百万输出 token 为 2 元。公告同时公布了优惠后的另一套价格。看到旧文章里的低价时，必须带上它的时间条件。V3 当时的价格安排

便宜与快速，分别打开了什么应用空间

模型的速度也不能只用“每秒生成多少字”来概括。

从用户发出请求到看到第一个输出，叫首 token 延迟；开始输出以后，每秒生成多少 token，是另一项指标；从提交任务到获得完整可用结果，又是第三个时间。对于提供服务的人，还会关心系统在一定时间里总共能处理多少工作，也就是吞吐量。这些指标有关，但并不相同。NVIDIA 对推理阶段和性能指标的解释

如果你问一句简单问题，等很久才出现第一个字，体验会很差。若你要求生成一份长报告，即使很快开始输出，也可能还要等待较长时间。再如代码助手需要先检索文件、调用模型、运行测试，最后给出结果，模型本身生成快，并不能保证整个任务马上完成。

这也是缓存的价值所在：它有机会减少重复长输入的处理时间。不过，模型服务的排队、网络和工具执行时间仍然存在。

当单位价格下降时，批量处理更容易成立。资料导入后自动生成摘要、给历史笔记补标签、为一组文章制作练习题，都是可以排队完成的工作。它们不要求用户一直盯着屏幕，却会消耗大量调用。

当响应时间下降时，交互中的辅助更容易成立。编辑器补全、短问题追问、语音对话的回复，都需要及时反馈。一个很便宜却总让人等待的模型，可能适合后台整理，未必适合打断感很强的实时互动。

当便宜、速度和能力达到合适的组合时，多步骤流程才更容易进入日常产品。系统可以先提取信息，再归类，再组织输出，并在关键处做校验。第 6 篇的工作流、第 10 篇的代码编辑器，都能从这类变化中受益。但多调用几次只是提供改进机会；如果每一步都缺少检查，也可能把一次错误加工成一份更完整的错误。

给个人项目算一笔完整一点的账

继续使用“个人复习助手”做教学构造，以下数字用于说明计费方法，不是实测结果或真实用户账单。

假设某月执行 10,000 次笔记整理请求，平均每次输入 2,000 token、输出 500 token。暂时全部按输入未命中缓存计算，借用 V3 发布时的优惠期报价：

项目	用量	历史单价	费用
输入	2,000 万 token	1 元／百万 token	20 元
输出	500 万 token	2 元／百万 token	10 元
模型调用合计	10,000 次请求	—	30 元

计算依据是前述历史报价。这里最值得注意的，是这样一批请求的模型费用可以低到个人开发者能够考虑的范围。它使“把 AI 用在所有新导入的笔记上”成为可以认真估算的方案。

不过，这 30 元没有算文件解析、数据库、存储、服务器，也没有算失败重试。若一个用户操作背后执行三轮同等用量的模型调用，这项费用就变成约 90 元；若上下文逐轮增长，还会更多。产品界面上的“一次操作”，与账单上的“一次模型请求”，并不是同一个单位。

还需要把质量算进去。假设便宜方案经常需要你手工修正，修正所花的时间可能超过节省的 API 费用。真正值得比较的，是完成一个符合要求的任务需要多少成本和时间。

你可以沿着以下顺序理解这个项目的预算：

1. 先确定什么样的摘要和标签算合格，选一些真实笔记检查效果。
2. 记录一个完整操作会发出几次请求，每次带入多少内容。
3. 观察哪些内容重复，哪些步骤可以用普通程序或更经济的模型完成。
4. 把重试、服务费用与人工修正一起计入，再判断方案是否值得。

例如，文件名是否重复、某个字段是否为空，本来就可以由程序确定。降低模型成本，并不意味着应用里的每一步都应该交给模型。

这一年的变化，怎样接到推理模型时代

回看 2024 年，效率进展至少改变了三件事：模型内部可以更有选择地计算，重复上下文可以被复用，开发者可以在更多能力和成本档位之间选择。

因此，大模型应用的边界不只由“最强模型会不会”决定，也由普通开发者能否承担持续调用、用户是否愿意等待、结果是否值得信任共同决定。同一种摘要或问答能力，当它足够便宜、响应足够及时，就可能从一个偶尔点击的功能，变成产品随时工作的组成部分。

但成本下降没有让所有任务从此走向同一个方向。遇到困难问题，人们又开始尝试：让模型在回答前投入更多计算，是否能换来更可靠的求解？

这两条路线可以同时发展。日常任务希望更快、更省；复杂任务则可能值得多花一点时间和计算。下一篇将进入 2024 年末到 2025 年初，讨论 o1、DeepSeek R1 与推理时计算，怎样进一步改变人们对模型能力的认识。

---

上一篇：10｜2023—2024：从补全代码到理解项目，AI 编辑器改变编程方式

下一篇：12｜2024 年末—2025 年初：投入更多计算求解，推理模型带来变化

返回：第 0 部分大纲