24. 硬件视角：从 GPU 紧缺到 Mac mini 热潮，工作负载怎样改变计算需求

来源：大模型技术演进

2023 年 8 月，一笔融资让人直观地看见了 AI 热潮背后的另一场竞争。云计算公司 CoreWeave 获得 23 亿美元债务融资，用作抵押的资产包括 NVIDIA 的芯片。路透社报道特别提到，H100 当时供应紧张，而取得这些芯片的能力，已经成为云服务商竞争的一部分。当时的报道

人们在聊天窗口里试验新能力，另一边的公司则在争取支撑这些能力的机器。AI 竞争很快延伸到机房、供应链和资本投入。

到 2026 年，另一种体积小得多的电脑也进入了这条新闻线。4 月 30 日的苹果财报电话会上，Tim Cook 表示，Mac mini 与 Mac Studio 的需求高于预期，供需达到平衡可能还需要几个月。他明确把这种需求与用户采用 AI 和 Agent 工具联系起来。电话会报道

从数据中心里的 H100，到桌面上的 Mac mini，看起来像是两场相距很远的热潮。把它们放回前面二十三篇的历史中，就能发现联系：模型先要被训练出来，再要为大量用户提供推理，后来还被接到浏览器、代码仓库和消息入口，连续执行工作。每增加一种应用，背后就多出一组需要真实机器承担的负载。

本篇是第 0 部分的最后一篇。我们从硬件需求反过来看这段历史，弄清“缺算力”“缺内存”“CPU 又火了”分别在说什么，以及这些变化与个人开发者有什么关系。观察截止日期仍为 2026 年 10 月 3 日。

先区分三件事：训练模型、运行模型、运行应用

训练是在数据和反馈中调整模型参数。它可能是大规模预训练，也可能是后续微调或强化学习；不同训练阶段的计算组织方式并不完全相同。

推理是使用已有参数处理输入、生成结果。你在聊天窗口问一次问题，或者程序通过 API 请求一次回答，都要在某处完成推理。推理模型生成更长的求解过程，也属于使用时的计算，不能因为它“想得更久”就称为重新训练。

应用执行则是围绕模型发生的其他工作：接收消息、检索资料、打开网页、运行 Python、编译项目、保存结果。Agent 会反复交替进行模型推理和工具执行，因此一项任务往往同时使用几类计算资源。

可以把它们想成一条实际流程：用户提出任务，应用准备资料，模型决定下一步，工具执行操作，结果再回到模型。这里没有任何一步是抽象地发生在“AI 里面”的；每一步都有处理器、内存、存储或网络参与。

GPU 擅长并行处理大量相似的计算，适合模型中的许多矩阵运算。CPU 擅长承担操作系统、程序控制和多种通用任务。在实际系统里，它们通常协作工作。CPU 也能运行部分模型，专用 AI 加速器也能承担推理，因此“运行模型”并不等同于只能购买某一种 GPU。

2023 年：抢到 GPU，开始影响谁能做实验、谁能提供服务

2023 年 8 月 23 日，NVIDIA 披露，截至当年 7 月 30 日的季度，数据中心收入达到 103.2 亿美元，比上年同期增长 171%。这是其 2024 财年第二季度，对应的是 2023 年的经营活动，不能看见财年名称就把事件放错一年。NVIDIA 财报公告

这个数字不能直接换算成“大模型训练市场规模”，但它显示了基础设施需求增长的量级。同季 CFO 说明将 HGX 平台的强劲需求主要联系到大语言模型和生成式 AI 开发，也提到了配套 InfiniBand 网络业务的增长。CFO 说明

为什么不能简单地多买几块普通显卡补上？因为运行大型模型不仅需要计算速度，还需要足够的设备内存、设备之间的数据交换，以及能把整套系统稳定运行起来的软件。训练规模变大后，一项任务可能要分到多块设备上；如果设备之间交换数据很慢，再快的单块芯片也可能花时间等待。

而供给也不只由芯片设计决定。制造、封装、内存、服务器组装与机房条件都需要配合。需求突然增长时，一份采购意向不能马上变成可用的计算集群。

对当时的开发者而言，这种约束会落实成具体选择：能否取得云端计算资源，等待多久，实验能跑多少次，服务能够接待多少用户。直接使用模型 API、采用较小模型、优化推理程序，因而有了很现实的价值。

这里也能看见模型研究与应用生态的相互推动。更好的模型吸引更多实验和产品；资源紧张又推动量化、批处理、缓存和更高效的模型结构，让有限硬件承担更多工作。前面讨论的“成本下降”，有一部分正来自这条技术路线。

内存与存储：为什么“装得下”和“读得快”同样重要

到了内存与存储成为热点时，新闻中一个笼统的“存储”容易造成误解。模型文件放在哪里，模型运行时使用哪里，处理器怎样及时取到数据，是不同的问题。

类别	在系统里承担什么	与大模型负载的关系
HBM，高带宽内存	属于 DRAM 家族，以堆叠和宽接口等方式提供高数据带宽，常与高性能加速器配套	供计算单元快速读取模型参数及运行数据
系统 DRAM，例如 DDR、LPDDR	给 CPU、应用程序及相应系统架构提供工作内存	支撑浏览器、数据库、工具进程，以及部分模型和缓存管理
NAND 闪存及基于它的 SSD	断电后仍保存文件和数据；SSD 还包括控制器等部件	存放模型文件、数据集、文档、索引、检查点和运行记录

HBM 是一种内存技术；SSD 是一种存储设备。二者不能因为都以 GB、TB 描述容量就当成同一类资源。Micron 对 AI 数据中心产品的划分，也分别把 HBM、DDR5 和 SSD 对应到加速器、服务器内存和数据访问等需求。Micron 的用途说明

“装得下”涉及容量。“读得快”涉及带宽，即单位时间能搬运多少数据；“多久才能拿到第一份数据”则涉及延迟。硬盘容量很大，并不能自动消除模型运行时的内存不足；计算单元再快，也可能等待数据送达。

以常见的自回归语言模型为例，推理通常先处理输入，再逐步生成输出。为了避免重复计算，系统会保存部分注意力计算结果，常称为 KV cache。它与用户保存的聊天记录不是一回事，而是模型运行中的中间数据。上下文更长、同时服务更多请求，通常会增加相应缓存压力；具体增幅取决于模型结构和实现。NVIDIA 推理优化说明

这就把硬件问题与第 08、12、18 篇连起来了：更多资料、更长的推理过程、持续调用模型的 Agent，会改变一次任务的数据量和计算量。模型参数没有变，并不意味着运行它所需的全部资源都不变。

大型推理系统还会研究分层放置和复用缓存，把部分数据移到其他内存或存储层。2026 年的 DualPath 论文就研究了 Agent 推理中外部存储与计算节点之间的 KV cache 搬运问题。这表明 SSD 可以进入更复杂的推理数据路径，但不能据此把 SSD 与 HBM 的性能和用途画等号。DualPath 论文

2025—2026 年：需求变化开始传到内存、SSD 和消费产品

2025 年 12 月 3 日，Micron 宣布退出 Crucial 消费业务，并计划继续向消费渠道供货至 2026 年 2 月底。公司将这一决定与 AI 数据中心带来的内存、存储需求增长，以及优先支持增长较快的战略客户联系起来。原有产品的保修和支持仍会继续。Micron 公告

对于熟悉电脑配件的用户，这比抽象的“AI 投资增长”更容易感知：一个长期出现在内存条和 SSD 市场中的消费品牌，正在改变业务去向。它体现了产业资源如何随需求重新分配，而不是只多卖了几块 AI 芯片。

2026 年 3 月 18 日，Micron 在财报电话会准备稿中进一步表示，AI 服务器和传统服务器的需求都受到 DRAM 与 NAND 供应不足的约束；它还把部分传统服务器需求与 Agent 发起的工作负载、服务器更新周期联系起来。Micron 当季准备稿

这是一家供应商在特定时点对市场的判断，不能扩大成所有地区、所有型号都同样缺货。但它足以说明：问题已经超出了 GPU 本身。

这里需要避免一条过于顺滑的因果链：“Agent 多了，所以所有 SSD 都涨价。”AI 需求会改变采购量和产品组合，价格还受到厂商扩产速度、库存、生产安排及其他市场需求影响。同样，供应商对未来几年紧张程度的预期，是预测，不能写成未来已经发生的事实。

从应用角度看，硬件约束会通过云服务价格、资源配额、交付周期和终端成本传到开发者。即使你只调用 API，也没有脱离底层资源问题，只是把硬件采购与运维交给了服务提供方。

2026 年：CPU 重新受到关注，反映的是整项任务开始变重

2026 年 4 月 23 日，Intel 在一季度业绩公告中强调了 AI 时代 CPU 的作用和强劲需求。次日，路透社报道，其股价在早盘一度上涨超过 24%，并将市场反应与 AI 服务相关 CPU 需求、公司业绩和展望联系起来。Intel 公告、路透社当日报道

这里的涨幅指报道时的早盘表现，不是全年收益，也不是 CPU 技术性能提高了 24%。股价反映投资者对未来经营的重新估计，与实际出货、使用率和应用性能是不同指标。

理解 CPU 为什么重新进入讨论，更有帮助的办法是观察 Agent 的工作内容。

一个聊天机器人可能只需接收问题、调用模型、显示答案。一个编程 Agent 则可能克隆仓库、搜索文件、安装依赖、启动服务、运行测试，再打开浏览器检查页面。模型推理可以发生在远处的数据中心，但这些程序仍需要执行环境。

如果同时服务大量用户，还要运行许多工具进程、容器或虚拟机，处理任务调度与数据库读写。这些工作会增加通用计算、系统内存和存储需求。具体哪项先成为瓶颈，要看任务组成，不能仅凭产品名字里有 Agent 就判断。

因此，CPU 需求受到关注，与模型推理需求增长可以同时发生。一次任务调用更多工具，也可能需要更多次模型判断。它们常常是一条工作链上共同增长的部分。

这也解释了为什么评估应用效率不能只看模型生成 token 的速度：模型很快，但测试跑半小时，用户仍要等；CPU 很强，但远程服务排队，任务也不会即时完成。优化要跟着真实耗时走。

Mac mini 热潮：个人 Agent 需要一个持续在线的落脚点

前面提到的苹果电话会，把个人设备与 AI 需求的关系摆到了台前。OpenClaw 等工具又让用户更容易想象这样一种用法：把助手放在一台长期运行的小电脑上，通过消息入口交代任务，让它保留文件、状态和执行环境。

但 “Agent 运行在这台电脑上”和“模型运行在这台电脑上”是两个决定。

一种方式是，本地电脑负责收消息、读写文件、运行工具，模型通过网络 API 调用。此时，大模型推理的主要计算发生在服务商侧，本地设备承担的是应用与工具负载。

另一种方式是，把模型权重下载到本地，让本机也负责推理。这时模型大小、量化方式、上下文、可用内存和推理软件，都直接影响能否运行，以及响应速度。只知道电脑支持运行 Agent，不能据此判断它能流畅运行任意模型。

苹果芯片的统一内存设计使 CPU 与 GPU 可以访问同一内存池，这也是本地模型社区关注 Mac 的一个原因。例如，2024 年发布的 M4 Pro Mac mini 提供最高 64GB 统一内存选项。不过，操作系统和其他程序也会使用内存，标称容量不能全部当作模型可用空间；这里引用的是历史机型规格，不是截至观察日的最新购买清单。苹果当年发布公告

Mac mini 的体积与桌面形态适合一些人的部署习惯，但 OpenClaw 并不要求苹果硬件。其官方平台文档也提供 Linux、Windows 等运行路径；具体系统支持仍要结合所需工具和版本来看。OpenClaw 平台文档

因此，对这股热潮更准确的理解是：一部分用户开始为持续运行的个人 AI 工作环境配置设备。苹果披露的需求增长支持这种趋势，但不能据此推导“所有新增销量都来自 OpenClaw”，更不能把某款电脑说成进入 Agent 开发的必需品。

持续在线还意味着断网、休眠、重启都会影响任务。硬件能启动程序，只是部署的一步；状态保存、故障恢复和权限配置，仍要回到第 22 篇讨论的工程问题。

网络、电力与散热：规模越大，越难只讨论芯片

当模型分布在多块设备上，或者资料、缓存、工具分布在多台机器上，网络就成为工作链的一部分。等待另一台机器传来数据，与等待本机内存一样，都可能让计算资源空转。前面 NVIDIA 在 2023 年披露的网络业务增长，已经提示了这条配套需求。

电力与散热则决定机器能否持续工作。芯片的额定计算能力，不会自动变成数据中心可交付的服务能力：机房需要供电、配电、冷却和相应建设条件，才能把设备稳定地运行起来。

国际能源署在 2025 年发布的《Energy and AI》中，估计全球数据中心 2024 年用电约为 415 TWh，并在当时的基准情景下预测，2030 年可能达到约 945 TWh。TWh 是太瓦时，1 TWh 相当于 10 亿度电。这些数字统计的是数据中心总用电，包含 AI 以外的工作负载；2030 年数字是该报告的预测，不能当作已经实现的用电量。IEA 报告

这让“模型更省算力”与“行业总用电增加”并不矛盾。单次任务效率改善，可能使更多任务变得值得使用 AI；最终总需求还取决于用户数量、调用次数和任务复杂度。不能只从某个模型的效率提升，直接判断整个行业的硬件需求会下降多少。

把硬件新闻翻译成自己的项目问题

回到贯穿本系列的个人复习助手。下面是教学构造的三种部署方式，用来辨认资源位置，不是实际性能测试。

你希望它怎样工作	主要计算发生在哪里	首先需要弄清的问题
打开网页，提交笔记后生成复习卡片	应用服务器处理资料，模型服务商完成推理	资料多大、调用多频繁、等待和费用能否接受
每天定时整理资料，并从消息入口接收任务	持续运行的设备或云服务器调度与执行工具，模型可在云端	程序能否保持在线，失败后怎样恢复
在本机运行模型并处理资料	本地设备同时承担应用与推理	模型和上下文是否装得下，目标任务速度是否够用

判断方式可以很具体：如果慢在上传资料，先看网络与文件处理；如果慢在浏览器和测试，先看工具执行；如果本地模型报内存不足，再检查模型、缓存和并发。不要把所有不流畅都归结成“GPU 不够强”。

走到这里，我们也可以重新理解这几年的硬件新闻。GPU 紧张，反映了训练与推理能力迅速被需要；内存和存储受到关注，反映了更大的模型、资料和运行状态要被装下、搬动和保存；CPU 与个人设备进入热潮，则让人看见模型周围不断扩大的真实软件工作。

这些需求彼此重叠，并没有按年份整齐地交接。决定它们关系的，是用户到底交给 AI 什么任务，以及系统怎样完成任务。

第 0 部分从一个向公众开放的对话窗口开始，到这里落在了执行每一步工作的机器上。模型能力让新的应用成为可能，产品让人们发现用途，工程与基础设施让这些用途能够反复运行。理解这条关系，就能在下一个新模型、新工具或新硬件出现时，问出更有价值的问题：它究竟改变了哪一步，我的项目又因此能多完成什么？

---

上一篇：23｜把历史连起来：能力、应用、生态与尚未解决的问题

返回：第 0 部分大纲