知识点思维导图
36 个知识节点
项目实战（17） - 成本控制与可观测性：钱花在哪、活干得怎样
读完后，你应能完成以下任务：
- 绘制“项目实战（17） - 成本控制与可观测性：钱花在哪、活干得怎样 / 为什么这件事重要？”的关键对象与数据流，解释“Paperclip 的核心卖点之一，就是把这两件事变成一个看板上一目了然的东西。”，并用源码位置、日志或 Trace 标注证据。
- 为“项目实战（17） - 成本控制与可观测性：钱花在哪、活干得怎样 / 预算体系：软告警 + 硬停”设计正常与异常输入，验证“单位是分（cents）。”，输出首个偏差位置与回归测试结果。
- 实现“项目实战（17） - 成本控制与可观测性：钱花在哪、活干得怎样 / 预算单位换算（高频踩坑）”的最小代码或配置，检验“想要 $50/月 → 填 5000”，输出命令、结果与 Diff，并说明不适用边界。
本章目标：用看板实时追踪每个 Agent 的任务进度与 token 花费，设好预算的软告警与硬停，理解「订阅制下成本为何显示 0」。解决传统 AI 工具「干了啥、花了多少钱」难复盘的痛点。
第 01 章说 Paperclip 解决的四大痛点里，有两个是「谁在干什么」和「花了多少钱」。 这一章专门讲这两件事——也就是可观测性（observability）和成本控制（cost control）。
一、先建立全局：成本控制与可观测性：钱花在哪、活干得怎样 是什么？
理解“成本控制与可观测性：钱花在哪、活干得怎样”，先要把标题中的对象放进同一条处理链：它接收什么输入，经过哪些状态变化，最终用什么证据判断结果。下表不另造概念，只把作者正文已经解释的章节按依赖顺序连起来。
“成本控制与可观测性：钱花在哪、活干得怎样”的第一个核心判断是：Paperclip 的核心卖点之一，就是把这两件事变成一个看板上一目了然的东西。。先弄清这个判断中的对象和输入输出，后面的实现、故障和验收才有共同语境。
| 顺序 | 章节 | 读完本节应抓住的结论 |
|---|---|---|
| 1 | 为什么这件事重要？ | Paperclip 的核心卖点之一，就是把这两件事变成一个看板上一目了然的东西。 |
| 2 | 预算体系：软告警 + 硬停 | 单位是分（cents）。 |
| 3 | 看板（Dashboard）：活干得怎样 | Dashboard 是你掌握全局的地方。 |
| 4 | 「订阅制下成本显示 0」是怎么回事？ | 原因：如果你的 Agent 大脑用的是订阅制登录（比如 Claude Code 用订阅账号登录， |
| 5 | token = AI 员工的「工资」 | Paperclip 有个很贴切的隐喻：token 预算就是 AI 员工的「工资上限」（token salary budget）。 |
| 6 | 常见错误 | → 那是订阅登录不走按量计费，订阅本身有额度限制。 |
1.1 核心对象之间怎样衔接
flowchart LR
S1["为什么这件事重要？"] --> S2
S2["预算体系：软告警 + 硬停"] --> S3
S3["看板（Dashboard）：活干得怎样"] --> S4
S4["「订阅制下成本显示 0」是怎么回事？"] --> S5
S5["token = AI 员工的「工资」"]
这张图只表达本文的讲解顺序，不替代正文机制。判断“成本控制与可观测性：钱花在哪、活干得怎样”是否真正掌握，需要能从最后一个结果沿图回到前面每个章节的输入、状态变化和证据。
1.2 再看失败：问题最早会出现在哪一步？
在“成本控制与可观测性：钱花在哪、活干得怎样”的对象和顺序已经明确后，再看可观察的失败：只看均值、耗时未分段或吞吐以正确率为代价。定位时不从最后一条错误猜原因，而是沿上图找第一个偏离正文结论的节点。
二、为什么这件事重要？
传统上你用 AI Agent 干活，最头疼的是：
- 几个终端各跑各的，不知道整体在干嘛。
- token 花费散落各处，月底吓一跳也说不清花在哪。
Paperclip 的核心卖点之一，就是把这两件事变成一个看板上一目了然的东西。
创始人原话：用仪表盘实时追踪任务进度和 token 支出，解决了「AI 干了啥、花了多少钱」难以复盘的问题。
三、预算体系：软告警 + 硬停
Paperclip 在公司级和单 Agent 级都能设每月预算（第 05 章）， 单位是分（cents）。 它强制执行两道线：
花费 ───────────────────────────────▶
0% 80% 100%
│ │ │
正常 软告警 硬停
(soft alert) (hard stop)
Agent 自动 paused
| 线 | 触发 | 行为 |
|---|---|---|
| 软告警 | 用到 80% | 提醒你，但 Agent 继续干 |
| 硬停 | 用到 100% | Agent 被自动暂停（状态 paused），停止烧钱 |
💡 硬停是防失控的最后一道闸。看到某 Agent 突然
paused，先看是不是 burn 到 100% 了。要它继续就调高预算（董事会可覆盖预算，第 09 章）。
3.1 预算单位换算（高频踩坑）
- 想要 $50/月 → 填
5000 - 想要 $100/月 → 填
10000 - 填
50→ 只有 $0.5，Agent 几乎立刻被停
四、看板（Dashboard）：活干得怎样
Dashboard 是你掌握全局的地方。你能一眼看到：
- 每个 Agent 当前在做哪个任务、什么状态（active/running/idle/paused…，第 03 章状态表）
- 累计 token 花费和 burn rate（烧钱速度）
- 任务树的整体进展（哪些 done、哪些 blocked）
这就是第 01 章「看一眼就理解整个公司」原则的落地——谁在干、花多少、是否在产出，尽收眼底。
REST API 也有对应端点（写自定义监控脚本时用）：
GET /api/companies/{companyId}/costs # 成本数据
GET /api/companies/{companyId}/dashboard # 看板汇总
GET /api/companies/{companyId}/activity # 活动审计
五、「订阅制下成本显示 0」是怎么回事？
视频里有个容易困惑的点：有时仪表盘上某些 Agent 的成本显示 0。
原因：如果你的 Agent 大脑用的是订阅制登录（比如 Claude Code 用订阅账号登录，
而不是按 token 计费的 ANTHROPIC_API_KEY），
那么这些调用不产生「按量计费」的 token 成本——所以 Paperclip 显示为 0。
⚠️ 这不代表「免费」，只是「不走按量计费」。订阅有它自己的额度和限制。理解这点，免得看到 0 就以为能无限用。
对比：
| 接入方式 | 成本显示 | 说明 |
|---|---|---|
| API Key（按 token 计费） | 真实金额 | 每次调用都计入花费 |
| 订阅登录 | 可能为 0 | 不走按量计费，但受订阅额度约束 |
六、token = AI 员工的「工资」
Paperclip 有个很贴切的隐喻：token 预算就是 AI 员工的「工资上限」（token salary budget）。
- 给重活、需要强模型的 Agent（CEO、核心工程师）多发「工资」。
- 给轻活、跑固定流程的 Agent（process 适配器那种）少发。
- 谁「绩效差」（反复 blocked、空烧 token）就调整或「解雇」（terminate，第 09 章）。
这套隐喻让「成本控制」变得很直观：你就是在管一支团队的薪资预算。
七、常见错误
-
❌ 预算单位填错（填「元」当「分」） → 想要 $50 填了
50，Agent 立刻被硬停。 记住单位是分。 -
❌ 看到成本 0 以为免费 → 那是订阅登录不走按量计费，订阅本身有额度限制。
-
❌ 不设单 Agent 预算，只设公司预算 → 某个 Agent 可能空烧把公司预算吃光，别的 Agent 没钱干活。 两级都设。
-
❌ Agent 莫名
paused到处找原因 → 大概率 burn 到 100% 硬停了。先看预算使用率。 -
❌ 从不看 burn rate → 等月底超支才发现。该定期扫一眼烧钱速度。
八、最佳实践
- ✅ 两级预算都设：公司级兜底，Agent 级防单点失控。
- ✅ 初期保守、跑顺再放：先小预算观察 burn rate，稳定后再调高（第 05 章）。
- ✅ 按角色分配预算：重活/强模型多给，轻活少给，钱花在刀刃上。
- ✅ 定期看看板：把它当公司的「财务+进度仪表盘」，每天扫一眼。
- ✅ 用活动审计复盘异常：某 Agent 反复 blocked 或异常烧钱，去 activity 日志查根因。
- ✅ 分清接入方式：清楚自己用的是 API Key 还是订阅，才能正确解读成本数字。
九、动手验证：先跑通 成本控制与可观测性：钱花在哪、活干得怎样，再改变一个变量
前面的章节已经建立问题、概念和机制。现在把“成本控制与可观测性：钱花在哪、活干得怎样”放进同一套基线中运行；本节不再引入新术语，只验证前文结论能否被复现。
9.1 基线与候选只允许一个变量不同
验证“成本控制与可观测性：钱花在哪、活干得怎样”时，先固定请求集、Token 分布、并发梯度、模型和机器版本。候选方案只能改变本次要验证的变量；如果同时更换数据、依赖和配置，即使结果改善，也不能知道是哪一项产生作用。
执行“成本控制与可观测性：钱花在哪、活干得怎样”时，动作是：执行冷启动与稳态压测，拆分排队、Prefill、Decode。原始结果不能只保留截图或汇总分数，必须同步保存：P95/P99、TTFT、tokens/s、错误率、缓存率、成本，使下一次复查可以在同一输入上重放。
| 实验要素 | 本文要求 |
|---|---|
| 固定条件 | 固定请求集、Token 分布、并发梯度、模型和机器版本 |
| 唯一变量 | 本次候选方案与基线之间的一项明确差异 |
| 原始证据 | P95/P99、TTFT、tokens/s、错误率、缓存率、成本 |
| 通过阈值 | 质量不降，峰值并发仍满足延迟与成本预算 |
| 立即停止 | 只看均值、耗时未分段或吞吐以正确率为代价 |
9.2 执行前先排除不可比较条件
“成本控制与可观测性：钱花在哪、活干得怎样”开始前先确认下面四项；任一项不成立，都应先修复实验条件，而不是解释结果。
- 基线能够在“成本控制与可观测性：钱花在哪、活干得怎样”的当前环境重复运行。
- 候选只改变一个与“成本控制与可观测性：钱花在哪、活干得怎样”结论直接相关的条件。
- “成本控制与可观测性：钱花在哪、活干得怎样”的基线和候选使用同一批输入、同一版本依赖与同一通过阈值。
- “成本控制与可观测性：钱花在哪、活干得怎样”的原始输出和失败现场不会被重试、格式化或汇总覆盖。
9.3 执行后先核对证据完整性
结果出来后先检查证据，再讨论“成本控制与可观测性：钱花在哪、活干得怎样”是否通过。缺少中间状态时，最终输出只能说明现象，不能证明机制。
| 检查项 | 当前文章的判定 |
|---|---|
| 输入可追溯 | 固定请求集、Token 分布、并发梯度、模型和机器版本 |
| 过程可回放 | 执行冷启动与稳态压测，拆分排队、Prefill、Decode |
| 结果可审计 | P95/P99、TTFT、tokens/s、错误率、缓存率、成本 |
“成本控制与可观测性：钱花在哪、活干得怎样”的一次合格基线对照按以下顺序执行：
- 保存“成本控制与可观测性：钱花在哪、活干得怎样”基线版本及输入摘要，确认基线本身可以重复运行。
- 写下“成本控制与可观测性：钱花在哪、活干得怎样”候选方案唯一变化的变量，以及它预期影响的指标。
- 在同一环境执行“成本控制与可观测性：钱花在哪、活干得怎样”：执行冷启动与稳态压测，拆分排队、Prefill、Decode。
- 为“成本控制与可观测性：钱花在哪、活干得怎样”保存：P95/P99、TTFT、tokens/s、错误率、缓存率、成本。
- 使用“成本控制与可观测性：钱花在哪、活干得怎样”预登记条件判断：质量不降，峰值并发仍满足延迟与成本预算。
- 如果“成本控制与可观测性：钱花在哪、活干得怎样”未通过，不修改第二个变量，先恢复基线并保留失败现场。
十、用一张矩阵验证 成本控制与可观测性：钱花在哪、活干得怎样 的关键结论
矩阵按正文顺序列出“成本控制与可观测性：钱花在哪、活干得怎样”的结论。一次实验只选择一行，只改变这一行对应的条件；不要把多行合并成一个无法归因的大实验。
| 正文章节 | 已解释的结论 | 本轮唯一变量 | 必须保存的证据 |
|---|---|---|---|
| 为什么这件事重要？ | Paperclip 的核心卖点之一，就是把这两件事变成一个看板上一目了然的东西。 | 只改变与“为什么这件事重要？”相关的条件 | P95/P99、TTFT、tokens/s、错误率、缓存率、成本 |
| 预算体系：软告警 + 硬停 | 单位是分（cents）。 | 只改变与“预算体系：软告警 + 硬停”相关的条件 | P95/P99、TTFT、tokens/s、错误率、缓存率、成本 |
| 看板（Dashboard）：活干得怎样 | Dashboard 是你掌握全局的地方。 | 只改变与“看板（Dashboard）：活干得怎样”相关的条件 | P95/P99、TTFT、tokens/s、错误率、缓存率、成本 |
| 「订阅制下成本显示 0」是怎么回事？ | 原因：如果你的 Agent 大脑用的是订阅制登录（比如 Claude Code 用订阅账号登录， | 只改变与“「订阅制下成本显示 0」是怎么回事？”相关的条件 | P95/P99、TTFT、tokens/s、错误率、缓存率、成本 |
| token = AI 员工的「工资」 | Paperclip 有个很贴切的隐喻：token 预算就是 AI 员工的「工资上限」（token salary budget）。 | 只改变与“token = AI 员工的「工资」”相关的条件 | P95/P99、TTFT、tokens/s、错误率、缓存率、成本 |
| 常见错误 | → 那是订阅登录不走按量计费，订阅本身有额度限制。 | 只改变与“常见错误”相关的条件 | P95/P99、TTFT、tokens/s、错误率、缓存率、成本 |
10.1 记录本次实际实验
下面的记录用于“成本控制与可观测性：钱花在哪、活干得怎样”当前这一次实验，不是第二套知识目录。先从矩阵选择一个章节，再填写实际值；没有填写的字段表示尚未验证。
topic: "成本控制与可观测性：钱花在哪、活干得怎样"
selected_chapter: required
claim_from_article: required
baseline_version: required
changed_condition: exactly_one
execution: "执行冷启动与稳态压测，拆分排队、Prefill、Decode"
evidence: "P95/P99、TTFT、tokens/s、错误率、缓存率、成本"
pass_when: "质量不降，峰值并发仍满足延迟与成本预算"
stop_when: "只看均值、耗时未分段或吞吐以正确率为代价"
observed_result: required
first_deviation: null_or_evidence
recovery_replay: required_after_failure
10.2 边界实验必须证明能够停止和恢复
成功路径只能证明“成本控制与可观测性：钱花在哪、活干得怎样”在当前样本上工作，不能证明它可以进入生产。边界实验需要主动制造：只看均值、耗时未分段或吞吐以正确率为代价，并观察系统是否在产生不可逆副作用前停止。
| 场景 | 只改变什么 | 应保存什么 | 通过标准 |
|---|---|---|---|
| 正常路径 | 使用已知有效输入 | P95/P99、TTFT、tokens/s、错误率、缓存率、成本 | 质量不降，峰值并发仍满足延迟与成本预算 |
| 边界路径 | 把一个输入推进到约束临界值 | 临界值前后的输出与指标 | 不静默降级，不把部分结果冒充成功 |
| 明确失败 | 注入：只看均值、耗时未分段或吞吐以正确率为代价 | 原始错误、首个异常阶段和最终状态 | 失败被正确分类且没有扩大副作用 |
| 恢复重放 | 执行：调整上下文、批处理、缓存或路由，保留旧配置回滚 | 原失败样本的复测证据 | 原样本恢复，正常样本没有回归 |
恢复动作不是简单重启。对于“成本控制与可观测性：钱花在哪、活干得怎样”，第一步是：调整上下文、批处理、缓存或路由，保留旧配置回滚。完成后使用原始失败样本复测；只验证一个新样本成功，不能证明触发条件已经消失。
“成本控制与可观测性：钱花在哪、活干得怎样”边界实验结束后，应把正常、临界、失败和恢复四类记录放在同一个运行批次中。这样才能区分“候选方案真的修复问题”和“环境变化让问题暂时没有出现”。
十一、成本控制与可观测性：钱花在哪、活干得怎样 的结果解释
解释“成本控制与可观测性：钱花在哪、活干得怎样”实验时先看首个偏差，而不是最后一条错误。最后的异常通常只是上游状态错误的结果；从末端反推容易误把症状当根因。
| 观察结果 | 可以支持的判断 | 下一步 |
|---|---|---|
| 主链路没有达到预期 | 只看均值、耗时未分段或吞吐以正确率为代价 | 先执行：调整上下文、批处理、缓存或路由，保留旧配置回滚 |
| 异常链路无法恢复 | 只看均值、耗时未分段或吞吐以正确率为代价 | 先执行：调整上下文、批处理、缓存或路由，保留旧配置回滚 |
| 新样本成功但原样本仍失败 | 修复没有覆盖原始触发条件 | 固定原失败输入，恢复基线后重新比较 |
| 指标改善但证据无法回链 | 数据、版本或中间状态没有固定 | 暂停发布，补齐可追溯记录后重跑 |
“成本控制与可观测性：钱花在哪、活干得怎样”只有同时满足“质量不降，峰值并发仍满足延迟与成本预算”，并且没有出现“只看均值、耗时未分段或吞吐以正确率为代价”，才可以认为主链路通过。这里的“通过”只对当前固定版本、样本和环境有效，不能外推到尚未测试的容量、权限或数据分布。
如果“成本控制与可观测性：钱花在哪、活干得怎样”候选方案与基线差异很小，先检查证据分辨率是否足够；如果差异很大，先排除数据泄漏、环境漂移和版本不一致。两种情况都不能只看一个汇总均值，需要回到逐样本输出和中间状态。
“成本控制与可观测性：钱花在哪、活干得怎样”故障定位完成后，记录“现象、首个偏差、根因、改动、原样本复测”五项。缺少原样本复测时，只能标记为待观察，不能标记为已解决。
十二、成本控制与可观测性：钱花在哪、活干得怎样 的发布判断
发布判断需要把“成本控制与可观测性：钱花在哪、活干得怎样”的质量、失败边界和恢复能力放在同一份记录中。以下任一条件缺失，都应停止扩量，而不是用“基本正常”替代证据。
- “成本控制与可观测性：钱花在哪、活干得怎样”的基线与候选只存在一个计划内变量。
- “成本控制与可观测性：钱花在哪、活干得怎样”的输入、代码、依赖、配置和数据版本可以追溯。
- “成本控制与可观测性：钱花在哪、活干得怎样”的正常、临界、失败和恢复样本使用同一套断言。
- “成本控制与可观测性：钱花在哪、活干得怎样”的原始输出、中间状态和失败现场已经保留。
- “成本控制与可观测性：钱花在哪、活干得怎样”的日志、Trace、截图和测试数据已经脱敏。
- “成本控制与可观测性：钱花在哪、活干得怎样”的停止条件、负责人和回滚入口已经演练。
- “成本控制与可观测性：钱花在哪、活干得怎样”尚未覆盖的输入、权限、容量和外部依赖已经登记。
最终记录至少包含基线版本、唯一变量、原始证据、首个偏差、恢复复测和发布责任人。没有参与本次修改的人如果不能据此重放“成本控制与可观测性：钱花在哪、活干得怎样”的判断，就不能发布。
十三、总结
- 为什么这件事重要？：传统上你用 AI Agent 干活，最头疼的是：
- 预算体系：软告警 + 硬停：Paperclip 在公司级和单 Agent 级都能设每月预算（第 05 章），单位是分（cents）。
- 看板（Dashboard）：活干得怎样：Dashboard 是你掌握全局的地方。
- 「订阅制下成本显示 0」是怎么回事？：原因：如果你的 Agent 大脑用的是订阅制登录（比如 Claude Code 用订阅账号登录，而不是按 token 计费的 ANTHROPIC_API_KEY），那么这些调用不产生「按量计费」的 token 成本——所以 Paperclip 显示为 0。
- token = AI 员工的「工资」：Paperclip 有个很贴切的隐喻：token 预算就是 AI 员工的「工资上限」（token salary budget）。
- 常见错误：→ 那是订阅登录不走按量计费，订阅本身有额度限制。
学完自测
选择所有正确答案；提交后逐项核对判断依据。