参考资料

• LangChain Retrieval
• Redis Agent Memory
• LangChain Multi-agent

参考资料

• OpenAI Cookbook
• LangChain 文档

面试题（11） - 系统设计与生产排障（第 91～100 题）

读完后，你应能：

• 能验证“最后 10 题要求把前面的知识组合成项目方案，并能沿证据链定位真实故障”，并保存输入、输出与失败样本。
• 能验证“答案： 离线用连接器获取文档，布局解析、结构分块，附租户/ACL/来源/版本，生成 Embedding，同时写 ES BM25 与向量库”，并保存输入、输出与失败样本。
• 能验证“作业对账后发布索引版本”，并保存输入、输出与失败样本。

最后 10 题要求把前面的知识组合成项目方案，并能沿证据链定位真实故障。

一、先建立全局：系统设计与生产排障（第 91～100 题） 是什么？

理解“系统设计与生产排障（第 91～100 题）”，先要把标题中的对象放进同一条处理链：它接收什么输入，经过哪些状态变化，最终用什么证据判断结果。下表不另造概念，只把作者正文已经解释的章节按依赖顺序连起来。

“系统设计与生产排障（第 91～100 题）”的第一个核心判断是：若证据已进 Context 再查冲突、注入、结构化输出和引用。。先弄清这个判断中的对象和输入输出，后面的实现、故障和验收才有共同语境。

顺序	章节	读完本节应抓住的结论
1	题目与详细答案	若证据已进 Context 再查冲突、注入、结构化输出和引用。
2	最后 10 题要求把前面的知识组合成项目方案	最后 10 题要求把前面的知识组合成项目方案，并能沿证据链定位真实故障。
3	答案	答案： 离线用连接器获取文档，
4	布局解析、结构分块	布局解析、结构分块，
5	附租户/ACL/来源/版本	附租户/ACL/来源/版本，
6	生成 Embedding	生成 Embedding，

1.1 核心对象之间怎样衔接

flowchart LR
  S1["题目与详细答案"] --> S2
  S2["最后 10 题要求把前面的知识组合成项目方案"] --> S3
  S3["答案"] --> S4
  S4["布局解析、结构分块"] --> S5
  S5["附租户/ACL/来源/版本"]

这张图只表达本文的讲解顺序，不替代正文机制。判断“系统设计与生产排障（第 91～100 题）”是否真正掌握，需要能从最后一个结果沿图回到前面每个章节的输入、状态变化和证据。

1.2 再看失败：问题最早会出现在哪一步？

在“系统设计与生产排障（第 91～100 题）”的对象和顺序已经明确后，再看可观察的失败：条件缺失、结果不可复现或失败后责任不清。定位时不从最后一条错误猜原因，而是沿上图找第一个偏离正文结论的节点。

二、题目与详细答案

2.1 第91题：请设计一个企业内部知识问答系统。

答案： 离线用连接器获取文档， 布局解析、结构分块， 附租户/ACL/来源/版本， 生成 Embedding， 同时写 ES BM25 与向量库； 作业对账后发布索引版本。 在线鉴权、Query 改写， 多路召回下推权限， RRF+Rerank， 按 Token 组装证据， 结构化生成并校验引用。 配套评测集、Trace、反馈回流、增量删除、蓝绿索引、超时降级和跨租户安全测试。

2.2 第92题：如何设计完全离线的 RAG？

答案： 文档解析/OCR、Embedding 权重、向量库、Rerank 和生成模型都在本地网络， 依赖包与模型权重预先镜像； 禁用遥测和外部回调，运行时做出站网络限制。 Milvus/FAISS 本地但 Embedding 调云 API 不算完全离线。 还要准备模型许可、硬件容量、升级包校验、备份恢复和无公网观测方案。

2.3 第93题：线上回答错误，第一步怎么排查？

答案： 用 trace_id 回放， 找到正确证据最后出现在哪一层：解析原文、Chunk、索引、单路召回、融合、Rerank、Context、生成。 若召回未命中，调 Prompt 无效； 若证据已进 Context 再查冲突、注入、结构化输出和引用。 保存索引/模型/Prompt 版本，确认不是环境漂移。 修复后把案例加入回归集。

2.4 第94题：为什么正确文档在库里却搜不到？

答案： 依次检查解析是否包含目标段落、分块是否切断、文档/索引版本是否正确、ACL 是否误过滤、Embedding 模型是否一致、中文分词和精确字段是否正确、Top K/阈值是否过严。 分别执行无过滤精确查询、BM25 和向量查询定位。 不要一次同时改多个参数，否则无法确认根因。

2.5 第95题：为什么正确证据已召回，答案仍然错？

答案： 查看它是否在融合/Rerank 后仍保留、Context Packing 是否截断条件、其他证据是否冲突或过期、文档是否包含注入、Prompt 是否允许外部常识、输出引用是否经过验证。 将生成替换成“只摘录证据”可区分理解问题与检索问题。 高风险数值和状态用规则或工具二次校验。

2.6 第96题：如何处理知识库中的冲突文档？

答案： Metadata 保存来源权威级、业务生效时间、文档版本和状态； 检索前过滤已废止版本，Rerank/组装时优先当前权威来源。 若两条 active 权威证据仍冲突，答案应明确冲突、列出来源并请求确认，而不是让模型随机选。 离线任务检测同实体/条款冲突并推动数据治理。

2.7 第97题：如何设计多租户大模型平台？

答案： 身份、配额、模型权限、知识索引、缓存、Memory 和 Trace 全部带租户边界； 高隔离需求可独立索引/密钥，普通场景至少强制过滤并做跨租户测试。 密钥在后端管理，审计所有外部写操作。 按租户统计 Token、并发和费用，限流与预算独立。 用户输入的 tenant_id 不能直接信任。

2.8 第98题：如何把用户反馈变成可持续优化闭环？

答案： 反馈关联 trace_id，保存问题、版本、候选、证据和输出； 运营或专家把坏例标成解析、召回、重排、生成、权限或数据过期。 补充正确证据与答案要点进入回归集，修复后比较局部样本和全量指标，再走发布流程。 点赞/点踩信号噪声大，不能未经审核直接训练或改权重。

2.9 第99题：如何在效果、延迟和成本之间做取舍？

答案： 先定义任务 SLO 与错误成本， 再画配置 Pareto 曲线：召回 K、Rerank 候选、模型大小、上下文长度对应成功率、P95 和费用。 按问题复杂度动态路由：精确简单问题走 BM25/小模型，复杂多跳走混合检索/强模型。 设置总预算和降级顺序。 不能用平均延迟掩盖 P95，也不能为省 Token 删除关键证据。

2.10 第100题：你会怎样介绍一个有说服力的 AI 应用项目？

答案： 用“业务问题与基线 → 数据/权限约束 → 架构取舍 → 自己负责的关键实现 → 真实坏案例与根因 → 指标前后对比 → 上线与回滚”讲述。 明确数据规模、Recall/成功率、P95、成本和安全结果，区分亲自验证与计划项。 重点不是框架名，而是为什么这样选、失败时怎么定位、哪些方案被实验否决。

三、动手验证：先跑通 系统设计与生产排障（第 91～100 题），再改变一个变量

前面的章节已经建立问题、概念和机制。现在把“系统设计与生产排障（第 91～100 题）”放进同一套基线中运行；本节不再引入新术语，只验证前文结论能否被复现。

3.1 基线与候选只允许一个变量不同

验证“系统设计与生产排障（第 91～100 题）”时，先固定样本、基线、候选、成功标准和失败边界。候选方案只能改变本次要验证的变量；如果同时更换数据、依赖和配置，即使结果改善，也不能知道是哪一项产生作用。

执行“系统设计与生产排障（第 91～100 题）”时，动作是：同环境运行基线与候选，记录输入、中间状态和异常。原始结果不能只保留截图或汇总分数，必须同步保存：可重放命令、结构化日志、输出 Diff、失败样本、版本，使下一次复查可以在同一输入上重放。

实验要素	本文要求
固定条件	固定样本、基线、候选、成功标准和失败边界
唯一变量	本次候选方案与基线之间的一项明确差异
原始证据	可重放命令、结构化日志、输出 Diff、失败样本、版本
通过阈值	结果符合结论条件，异常输入可解释、可恢复
立即停止	条件缺失、结果不可复现或失败后责任不清

3.2 执行前先排除不可比较条件

“系统设计与生产排障（第 91～100 题）”开始前先确认下面四项；任一项不成立，都应先修复实验条件，而不是解释结果。

• 基线能够在“系统设计与生产排障（第 91～100 题）”的当前环境重复运行。
• 候选只改变一个与“系统设计与生产排障（第 91～100 题）”结论直接相关的条件。
• “系统设计与生产排障（第 91～100 题）”的基线和候选使用同一批输入、同一版本依赖与同一通过阈值。
• “系统设计与生产排障（第 91～100 题）”的原始输出和失败现场不会被重试、格式化或汇总覆盖。

3.3 执行后先核对证据完整性

结果出来后先检查证据，再讨论“系统设计与生产排障（第 91～100 题）”是否通过。缺少中间状态时，最终输出只能说明现象，不能证明机制。

检查项	当前文章的判定
输入可追溯	固定样本、基线、候选、成功标准和失败边界
过程可回放	同环境运行基线与候选，记录输入、中间状态和异常
结果可审计	可重放命令、结构化日志、输出 Diff、失败样本、版本

“系统设计与生产排障（第 91～100 题）”的一次合格基线对照按以下顺序执行：

1. 保存“系统设计与生产排障（第 91～100 题）”基线版本及输入摘要，确认基线本身可以重复运行。
2. 写下“系统设计与生产排障（第 91～100 题）”候选方案唯一变化的变量，以及它预期影响的指标。
3. 在同一环境执行“系统设计与生产排障（第 91～100 题）”：同环境运行基线与候选，记录输入、中间状态和异常。
4. 为“系统设计与生产排障（第 91～100 题）”保存：可重放命令、结构化日志、输出 Diff、失败样本、版本。
5. 使用“系统设计与生产排障（第 91～100 题）”预登记条件判断：结果符合结论条件，异常输入可解释、可恢复。
6. 如果“系统设计与生产排障（第 91～100 题）”未通过，不修改第二个变量，先恢复基线并保留失败现场。

四、用一张矩阵验证 系统设计与生产排障（第 91～100 题） 的关键结论

矩阵按正文顺序列出“系统设计与生产排障（第 91～100 题）”的结论。一次实验只选择一行，只改变这一行对应的条件；不要把多行合并成一个无法归因的大实验。

正文章节	已解释的结论	本轮唯一变量	必须保存的证据
题目与详细答案	若证据已进 Context 再查冲突、注入、结构化输出和引用。	只改变与“题目与详细答案”相关的条件	可重放命令、结构化日志、输出 Diff、失败样本、版本
最后 10 题要求把前面的知识组合成项目方案	最后 10 题要求把前面的知识组合成项目方案，并能沿证据链定位真实故障。	只改变与“最后 10 题要求把前面的知识组合成项目方案”相关的条件	可重放命令、结构化日志、输出 Diff、失败样本、版本
答案	答案： 离线用连接器获取文档，	只改变与“答案”相关的条件	可重放命令、结构化日志、输出 Diff、失败样本、版本
布局解析、结构分块	布局解析、结构分块，	只改变与“布局解析、结构分块”相关的条件	可重放命令、结构化日志、输出 Diff、失败样本、版本
附租户/ACL/来源/版本	附租户/ACL/来源/版本，	只改变与“附租户/ACL/来源/版本”相关的条件	可重放命令、结构化日志、输出 Diff、失败样本、版本
生成 Embedding	生成 Embedding，	只改变与“生成 Embedding”相关的条件	可重放命令、结构化日志、输出 Diff、失败样本、版本

4.1 记录本次实际实验

下面的记录用于“系统设计与生产排障（第 91～100 题）”当前这一次实验，不是第二套知识目录。先从矩阵选择一个章节，再填写实际值；没有填写的字段表示尚未验证。

topic: "系统设计与生产排障（第 91～100 题）"
selected_chapter: required
claim_from_article: required
baseline_version: required
changed_condition: exactly_one
execution: "同环境运行基线与候选，记录输入、中间状态和异常"
evidence: "可重放命令、结构化日志、输出 Diff、失败样本、版本"
pass_when: "结果符合结论条件，异常输入可解释、可恢复"
stop_when: "条件缺失、结果不可复现或失败后责任不清"
observed_result: required
first_deviation: null_or_evidence
recovery_replay: required_after_failure

4.2 边界实验必须证明能够停止和恢复

成功路径只能证明“系统设计与生产排障（第 91～100 题）”在当前样本上工作，不能证明它可以进入生产。边界实验需要主动制造：条件缺失、结果不可复现或失败后责任不清，并观察系统是否在产生不可逆副作用前停止。

场景	只改变什么	应保存什么	通过标准
正常路径	使用已知有效输入	可重放命令、结构化日志、输出 Diff、失败样本、版本	结果符合结论条件，异常输入可解释、可恢复
边界路径	把一个输入推进到约束临界值	临界值前后的输出与指标	不静默降级，不把部分结果冒充成功
明确失败	注入：条件缺失、结果不可复现或失败后责任不清	原始错误、首个异常阶段和最终状态	失败被正确分类且没有扩大副作用
恢复重放	执行：保留基线，缩小变量；根因确认前不扩大范围	原失败样本的复测证据	原样本恢复，正常样本没有回归

恢复动作不是简单重启。对于“系统设计与生产排障（第 91～100 题）”，第一步是：保留基线，缩小变量；根因确认前不扩大范围。完成后使用原始失败样本复测；只验证一个新样本成功，不能证明触发条件已经消失。

“系统设计与生产排障（第 91～100 题）”边界实验结束后，应把正常、临界、失败和恢复四类记录放在同一个运行批次中。这样才能区分“候选方案真的修复问题”和“环境变化让问题暂时没有出现”。

五、系统设计与生产排障（第 91～100 题） 的结果解释

解释“系统设计与生产排障（第 91～100 题）”实验时先看首个偏差，而不是最后一条错误。最后的异常通常只是上游状态错误的结果；从末端反推容易误把症状当根因。

观察结果	可以支持的判断	下一步
主链路没有达到预期	条件缺失、结果不可复现或失败后责任不清	先执行：保留基线，缩小变量；根因确认前不扩大范围
异常链路无法恢复	条件缺失、结果不可复现或失败后责任不清	先执行：保留基线，缩小变量；根因确认前不扩大范围
新样本成功但原样本仍失败	修复没有覆盖原始触发条件	固定原失败输入，恢复基线后重新比较
指标改善但证据无法回链	数据、版本或中间状态没有固定	暂停发布，补齐可追溯记录后重跑

“系统设计与生产排障（第 91～100 题）”只有同时满足“结果符合结论条件，异常输入可解释、可恢复”，并且没有出现“条件缺失、结果不可复现或失败后责任不清”，才可以认为主链路通过。这里的“通过”只对当前固定版本、样本和环境有效，不能外推到尚未测试的容量、权限或数据分布。

如果“系统设计与生产排障（第 91～100 题）”候选方案与基线差异很小，先检查证据分辨率是否足够；如果差异很大，先排除数据泄漏、环境漂移和版本不一致。两种情况都不能只看一个汇总均值，需要回到逐样本输出和中间状态。

“系统设计与生产排障（第 91～100 题）”故障定位完成后，记录“现象、首个偏差、根因、改动、原样本复测”五项。缺少原样本复测时，只能标记为待观察，不能标记为已解决。

六、系统设计与生产排障（第 91～100 题） 的发布判断

发布判断需要把“系统设计与生产排障（第 91～100 题）”的质量、失败边界和恢复能力放在同一份记录中。以下任一条件缺失，都应停止扩量，而不是用“基本正常”替代证据。

• “系统设计与生产排障（第 91～100 题）”的基线与候选只存在一个计划内变量。
• “系统设计与生产排障（第 91～100 题）”的输入、代码、依赖、配置和数据版本可以追溯。
• “系统设计与生产排障（第 91～100 题）”的正常、临界、失败和恢复样本使用同一套断言。
• “系统设计与生产排障（第 91～100 题）”的原始输出、中间状态和失败现场已经保留。
• “系统设计与生产排障（第 91～100 题）”的日志、Trace、截图和测试数据已经脱敏。
• “系统设计与生产排障（第 91～100 题）”的停止条件、负责人和回滚入口已经演练。
• “系统设计与生产排障（第 91～100 题）”尚未覆盖的输入、权限、容量和外部依赖已经登记。

最终记录至少包含基线版本、唯一变量、原始证据、首个偏差、恢复复测和发布责任人。没有参与本次修改的人如果不能据此重放“系统设计与生产排障（第 91～100 题）”的判断，就不能发布。

七、总结

• 题目与详细答案：若证据已进 Context 再查冲突、注入、结构化输出和引用。
• 第91题：请设计一个企业内部知识问答系统。：答案： 离线用连接器获取文档，布局解析、结构分块，附租户/ACL/来源/版本，生成 Embedding，同时写 ES BM25 与向量库；
• 第92题：如何设计完全离线的 RAG？：答案： 文档解析/OCR、Embedding 权重、向量库、Rerank 和生成模型都在本地网络，依赖包与模型权重预先镜像；
• 第93题：线上回答错误，第一步怎么排查？：若证据已进 Context 再查冲突、注入、结构化输出和引用。
• 第94题：为什么正确文档在库里却搜不到？：答案： 依次检查解析是否包含目标段落、分块是否切断、文档/索引版本是否正确、ACL 是否误过滤、Embedding 模型是否一致、中文分词和精确字段是否正确、Top K/阈值是否过严。
• 第95题：为什么正确证据已召回，答案仍然错？：答案： 查看它是否在融合/Rerank 后仍保留、Context Packing 是否截断条件、其他证据是否冲突或过期、文档是否包含注入、Prompt 是否允许外部常识、输出引用是否经过验证。