知识点思维导图
46 个知识节点
RAG（19） - 进阶：混合检索与 RAG 调优实战
读完后，你应能完成以下任务：
- 绘制“RAG（25） - 进阶：混合检索与 RAG 调优实战 / 一条企业常见检索链路”的关键对象与数据流，解释“Query Rewrite：把口语问题改成更适合检索的查询。”，并用源码位置、日志或 Trace 标注证据。
- 为“RAG（25） - 进阶：混合检索与 RAG 调优实战 / BM25、向量、RRF、rerank 各管什么”设计正常与异常输入，验证“RRF 的好处是不用纠结“BM25 权重 0.4 还是 0.6”。”，输出首个偏差位置与回归测试结果。
- 实现“RAG（25） - 进阶：混合检索与 RAG 调优实战 / Query Rewrite 什么时候加”的最小代码或配置，检验“Query Rewrite 不是每个问题都要加。”，输出命令、结果与 Diff，并说明不适用边界。
一、先建立全局：进阶：混合检索与 RAG 调优实战 是什么？
理解“进阶：混合检索与 RAG 调优实战”，先要把标题中的对象放进同一条处理链：它接收什么输入，经过哪些状态变化，最终用什么证据判断结果。下表不另造概念，只把作者正文已经解释的章节按依赖顺序连起来。
“进阶：混合检索与 RAG 调优实战”的第一个核心判断是：Query Rewrite：把口语问题改成更适合检索的查询。。先弄清这个判断中的对象和输入输出，后面的实现、故障和验收才有共同语境。
| 顺序 | 章节 | 读完本节应抓住的结论 |
|---|---|---|
| 1 | 一条企业常见检索链路 | Query Rewrite：把口语问题改成更适合检索的查询。 |
| 2 | BM25、向量、RRF、rerank 各管什么 | RRF 的好处是不用纠结“BM25 权重 0.4 还是 0.6”。 |
| 3 | Query Rewrite 什么时候加 | Query Rewrite 不是每个问题都要加。 |
| 4 | 阈值 sweep 怎么做 | 先保证正确资料能进候选：调 chunk、BM25、向量召回、topK。 -> 再保证正确资料排得靠前：调 RRF、rerank、rerank_topN。 -> 最后调拒答阈值：平衡误拒和误答。 |
| 5 | 评测集要有正样本和负样本 | 只测“应该能回答”的问题，会把系统训练成一个爱硬答的助手。 |
| 6 | RAGAS 和 LLM-as-Judge 怎么看 | 重点不是 summary 总分， |
1.1 核心对象之间怎样衔接
flowchart LR
S1["一条企业常见检索链路"] --> S2
S2["BM25、向量、RRF、rerank 各管什么"] --> S3
S3["Query Rewrite 什么时候加"] --> S4
S4["阈值 sweep 怎么做"] --> S5
S5["评测集要有正样本和负样本"]
这张图只表达本文的讲解顺序，不替代正文机制。判断“进阶：混合检索与 RAG 调优实战”是否真正掌握，需要能从最后一个结果沿图回到前面每个章节的输入、状态变化和证据。
1.2 再看失败：问题最早会出现在哪一步？
在“进阶：混合检索与 RAG 调优实战”的对象和顺序已经明确后，再看可观察的失败：解析丢内容、正确 chunk 未召回、过滤误删、重排掉出或引用不支持结论。定位时不从最后一条错误猜原因，而是沿上图找第一个偏离正文结论的节点。
二、混合检索与 RAG 调优实战的真实应用场景
用户问：“这个设备老是报 E17，现场应该先查哪里？”
知识库里有三类资料：
- 故障码表：
E17 = 传感器供电异常 - 维修案例：
某型号设备 E17 报警，最终定位为接线松动 - SOP：
供电异常排查步骤：断电、检查端子、测量电压
如果只靠向量检索，可能召回一堆“异常”“报警”的泛泛资料；
如果只靠关键词，用户说“报错十七”就搜不到 E17。
企业 RAG 的调优，不是某个神奇参数，而是把关键词、语义、融合、重排、阈值和评测连成一条链。
三、一条企业常见检索链路
用户问题
-> Query Rewrite
-> BM25 关键词召回
-> 向量召回
-> RRF 融合
-> rerank 精排
-> 阈值过滤
-> 证据进入 prompt
-> 基于证据生成/拒答
这条链路里，每一段解决的问题不同：
- Query Rewrite：把口语问题改成更适合检索的查询。
- BM25：找编号、术语、条款号、故障码。
- 向量召回：找语义相似、同义表达、口语问法。
- RRF：把多路榜单融合，减少手写权重的脆弱性。
- rerank：精排候选证据，挑最能支撑回答的片段。
- 阈值过滤：证据太弱就拒答，不让模型硬编。
四、BM25、向量、RRF、rerank 各管什么
| 组件 | 解决什么 | 适合场景 | 常见失败 | 成本 |
|---|---|---|---|---|
| BM25 | 精确词匹配 | 编号、法条、故障码、型号 | 同义词和口语问法召回差 | 低 |
| 向量召回 | 语义相似 | 用户表达和文档措辞不同 | 容易召回“看着相关但答不上”的片段 | 中 |
| RRF | 多路结果融合 | BM25 和向量都有候选 | 输入榜单质量差时也救不了 | 低 |
| rerank | 候选精排 | topK 有正确答案但排序靠后 | 初排漏召回时无能为力 | 中到高 |
RRF 的好处是不用纠结“BM25 权重 0.4 还是 0.6”。 它看每条结果在不同榜单里的排名，排名越靠前贡献越大。 对初期项目来说，RRF 比手写复杂权重更稳。
五、Query Rewrite 什么时候加
Query Rewrite 不是每个问题都要加。它适合三类情况：
| 场景 | 原问题 | 改写方向 |
|---|---|---|
| 口语转术语 | “这个设备老是报十七” | “E17 故障码 原因 处理步骤” |
| 长问题拆解 | “合同里付款晚了还要质保怎么办” | “付款逾期违约责任”“质保条款义务” |
| 同义词扩展 | “报销多久能批” | “报销 审批 时限 流程” |
也有不能乱改的内容：型号、金额、日期、合同编号、用户身份、地区。 这些是硬条件，改写时只能保留或标准化，不能让模型自由发挥。 否则检索看似更宽，实际把问题改丢了。
六、阈值 sweep 怎么做
拒答阈值、topK、rerank_topN 都不要凭感觉设。 更稳的做法是做一张 sweep 表：
| 配置 | topK | rerank_topN | min_score | Hit Rate@K | 误拒率 | 误答率 |
|---|---|---|---|---|---|---|
| A | 10 | 3 | 0.40 | 86% | 4% | 9% |
| B | 20 | 5 | 0.40 | 92% | 4% | 7% |
| C | 20 | 5 | 0.55 | 92% | 10% | 3% |
调优顺序建议：
- 先保证正确资料能进候选：调 chunk、BM25、向量召回、topK。
- 再保证正确资料排得靠前：调 RRF、rerank、rerank_topN。
- 最后调拒答阈值：平衡误拒和误答。
一次只改一个变量。 否则命中率变了，你不知道是 chunk、topK、rerank 还是阈值带来的。
七、评测集要有正样本和负样本
只测“应该能回答”的问题，会把系统训练成一个爱硬答的助手。 评测集至少要有三类：
| 类型 | 期望 | 例子 |
|---|---|---|
| 正样本 | 找到资料并回答 | “报销几天内提交？” |
| 弱证据样本 | 找到相关词但证据不足，拒答 | “海外报销能不能用个人卡？” |
| 负样本 | 知识库没有或用户无权限，拒答/转人工 | “CEO 薪酬是多少？” |
每条 case 最好包含：
question
expected_doc
expected_mode: answer / refuse / transfer
expected_citation
expected_reason
这样评测不只看“答得像不像”，还能看该拒答时有没有拒答。
八、RAGAS 和 LLM-as-Judge 怎么看
RAGAS、LLM-as-Judge 可以辅助评估，但不要把它们当真理。
| 指标 | 看什么 | 使用提醒 |
|---|---|---|
| Faithfulness | 答案是否忠于证据 | 低分通常说明幻觉或引用不实 |
| Answer Relevancy | 答案是否回答用户问题 | 低分可能是 prompt 没约束好 |
| Context Precision | 召回上下文里有多少有用 | 低分说明噪声太多 |
| Context Recall | 该召回的证据是否召回 | 低分说明召回链路有问题 |
| Answer Correctness | 最终答案是否正确 | 需要标准答案或 judge reason 支撑 |
重点不是 summary 总分， 而是每条 case 的 verdict、reason 和 trace。 一个好评测报告应该能回答：“这个问题失败， 是因为没召回、排错了、证据太弱、还是生成时没遵守证据？ ”
九、坏 case 表模板
调优时建议维护一张表：
| 问题 | 期望 | 实际 | 命中文档 | 最高分 | 失败类型 | 下一步动作 |
|---|---|---|---|---|---|---|
| E17 先查哪里 | 召回故障码表和 SOP | 召回泛化报警文档 | alarm_faq | 0.43 | 召回差 | 加 BM25 术语词典 |
| 付款晚了怎么办 | 输出违约责任 | 只讲付款流程 | pay_process | 0.61 | 排序差 | 加 rerank / query rewrite |
| CEO 薪酬 | 拒答 | 回答了类似薪酬制度 | hr_policy | 0.38 | 阈值低 | 提高 min_score / 加权限负样本 |
坏 case 的价值在“分类”。 不分类，只会得到一句“RAG 不准”； 分类后才知道该改哪里。
十、工程上真正会踩的坑
- 只看 summary 总分。总分从 82 到 86 不知道该高兴还是担心，要看每条 case 的 reason。
- 改参数不重建索引。chunk_size、overlap、embedding 模型改了，旧索引不重建，评测结果就是假的。
- 负样本太少。系统看起来回答率很高，实际上该拒答的问题也在硬答。
- 把 rerank 当召回。正确资料没进初排候选，rerank 再强也排不出来。
- 阈值凭感觉。min_score 太低会误答，太高会误拒，只能靠正负样本 sweep。
十一、动手验证：先跑通 进阶：混合检索与 RAG 调优实战，再改变一个变量
前面的章节已经建立问题、概念和机制。现在把“进阶：混合检索与 RAG 调优实战”放进同一套基线中运行；本节不再引入新术语，只验证前文结论能否被复现。
11.1 基线与候选只允许一个变量不同
验证“进阶：混合检索与 RAG 调优实战”时，先固定标注查询集、原文与 chunk 快照、Embedding 和索引版本、权限身份。候选方案只能改变本次要验证的变量；如果同时更换数据、依赖和配置，即使结果改善，也不能知道是哪一项产生作用。
执行“进阶：混合检索与 RAG 调优实战”时，动作是：依次回放解析、切分、召回、过滤、重排、上下文组装和引用生成。原始结果不能只保留截图或汇总分数，必须同步保存：原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace，使下一次复查可以在同一输入上重放。
| 实验要素 | 本文要求 |
|---|---|
| 固定条件 | 标注查询集、原文与 chunk 快照、Embedding 和索引版本、权限身份 |
| 唯一变量 | 本次候选方案与基线之间的一项明确差异 |
| 原始证据 | 原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace |
| 通过阈值 | 正确证据可召回可回链，无答案时拒答，权限过滤不泄漏其他主体资料 |
| 立即停止 | 解析丢内容、正确 chunk 未召回、过滤误删、重排掉出或引用不支持结论 |
11.2 执行前先排除不可比较条件
“进阶：混合检索与 RAG 调优实战”开始前先确认下面四项；任一项不成立，都应先修复实验条件，而不是解释结果。
- 基线能够在“进阶：混合检索与 RAG 调优实战”的当前环境重复运行。
- 候选只改变一个与“进阶：混合检索与 RAG 调优实战”结论直接相关的条件。
- “进阶：混合检索与 RAG 调优实战”的基线和候选使用同一批输入、同一版本依赖与同一通过阈值。
- “进阶：混合检索与 RAG 调优实战”的原始输出和失败现场不会被重试、格式化或汇总覆盖。
11.3 执行后先核对证据完整性
结果出来后先检查证据，再讨论“进阶：混合检索与 RAG 调优实战”是否通过。缺少中间状态时，最终输出只能说明现象，不能证明机制。
| 检查项 | 当前文章的判定 |
|---|---|
| 输入可追溯 | 标注查询集、原文与 chunk 快照、Embedding 和索引版本、权限身份 |
| 过程可回放 | 依次回放解析、切分、召回、过滤、重排、上下文组装和引用生成 |
| 结果可审计 | 原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace |
“进阶：混合检索与 RAG 调优实战”的一次合格基线对照按以下顺序执行：
- 保存“进阶：混合检索与 RAG 调优实战”基线版本及输入摘要，确认基线本身可以重复运行。
- 写下“进阶：混合检索与 RAG 调优实战”候选方案唯一变化的变量，以及它预期影响的指标。
- 在同一环境执行“进阶：混合检索与 RAG 调优实战”：依次回放解析、切分、召回、过滤、重排、上下文组装和引用生成。
- 为“进阶：混合检索与 RAG 调优实战”保存：原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace。
- 使用“进阶：混合检索与 RAG 调优实战”预登记条件判断：正确证据可召回可回链，无答案时拒答，权限过滤不泄漏其他主体资料。
- 如果“进阶：混合检索与 RAG 调优实战”未通过，不修改第二个变量，先恢复基线并保留失败现场。
十二、用一张矩阵验证 进阶：混合检索与 RAG 调优实战 的关键结论
矩阵按正文顺序列出“进阶：混合检索与 RAG 调优实战”的结论。一次实验只选择一行，只改变这一行对应的条件；不要把多行合并成一个无法归因的大实验。
| 正文章节 | 已解释的结论 | 本轮唯一变量 | 必须保存的证据 |
|---|---|---|---|
| 一条企业常见检索链路 | Query Rewrite：把口语问题改成更适合检索的查询。 | 只改变与“一条企业常见检索链路”相关的条件 | 原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace |
| BM25、向量、RRF、rerank 各管什么 | RRF 的好处是不用纠结“BM25 权重 0.4 还是 0.6”。 | 只改变与“BM25、向量、RRF、rerank 各管什么”相关的条件 | 原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace |
| Query Rewrite 什么时候加 | Query Rewrite 不是每个问题都要加。 | 只改变与“Query Rewrite 什么时候加”相关的条件 | 原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace |
| 阈值 sweep 怎么做 | 先保证正确资料能进候选：调 chunk、BM25、向量召回、topK。 -> 再保证正确资料排得靠前：调 RRF、rerank、rerank_topN。 -> 最后调拒答阈值：平衡误拒和误答。 | 只改变与“阈值 sweep 怎么做”相关的条件 | 原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace |
| 评测集要有正样本和负样本 | 只测“应该能回答”的问题，会把系统训练成一个爱硬答的助手。 | 只改变与“评测集要有正样本和负样本”相关的条件 | 原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace |
| RAGAS 和 LLM-as-Judge 怎么看 | 重点不是 summary 总分， | 只改变与“RAGAS 和 LLM-as-Judge 怎么看”相关的条件 | 原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace |
12.1 记录本次实际实验
下面的记录用于“进阶：混合检索与 RAG 调优实战”当前这一次实验，不是第二套知识目录。先从矩阵选择一个章节，再填写实际值；没有填写的字段表示尚未验证。
topic: "进阶：混合检索与 RAG 调优实战"
selected_chapter: required
claim_from_article: required
baseline_version: required
changed_condition: exactly_one
execution: "依次回放解析、切分、召回、过滤、重排、上下文组装和引用生成"
evidence: "原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace"
pass_when: "正确证据可召回可回链，无答案时拒答，权限过滤不泄漏其他主体资料"
stop_when: "解析丢内容、正确 chunk 未召回、过滤误删、重排掉出或引用不支持结论"
observed_result: required
first_deviation: null_or_evidence
recovery_replay: required_after_failure
12.2 边界实验必须证明能够停止和恢复
成功路径只能证明“进阶：混合检索与 RAG 调优实战”在当前样本上工作，不能证明它可以进入生产。边界实验需要主动制造：解析丢内容、正确 chunk 未召回、过滤误删、重排掉出或引用不支持结论，并观察系统是否在产生不可逆副作用前停止。
| 场景 | 只改变什么 | 应保存什么 | 通过标准 |
|---|---|---|---|
| 正常路径 | 使用已知有效输入 | 原文位置、各路候选、分数、过滤前后 Diff、Recall@K、NDCG、引用和 Trace | 正确证据可召回可回链，无答案时拒答，权限过滤不泄漏其他主体资料 |
| 边界路径 | 把一个输入推进到约束临界值 | 临界值前后的输出与指标 | 不静默降级，不把部分结果冒充成功 |
| 明确失败 | 注入：解析丢内容、正确 chunk 未召回、过滤误删、重排掉出或引用不支持结论 | 原始错误、首个异常阶段和最终状态 | 失败被正确分类且没有扩大副作用 |
| 恢复重放 | 执行：在最早丢失正确证据的阶段停止，固定该阶段输入单独修复并重放全链 | 原失败样本的复测证据 | 原样本恢复，正常样本没有回归 |
恢复动作不是简单重启。对于“进阶：混合检索与 RAG 调优实战”，第一步是：在最早丢失正确证据的阶段停止，固定该阶段输入单独修复并重放全链。完成后使用原始失败样本复测；只验证一个新样本成功，不能证明触发条件已经消失。
“进阶：混合检索与 RAG 调优实战”边界实验结束后，应把正常、临界、失败和恢复四类记录放在同一个运行批次中。这样才能区分“候选方案真的修复问题”和“环境变化让问题暂时没有出现”。
十三、进阶：混合检索与 RAG 调优实战 的结果解释
解释“进阶：混合检索与 RAG 调优实战”实验时先看首个偏差，而不是最后一条错误。最后的异常通常只是上游状态错误的结果；从末端反推容易误把症状当根因。
| 观察结果 | 可以支持的判断 | 下一步 |
|---|---|---|
| 主链路没有达到预期 | 解析丢内容、正确 chunk 未召回、过滤误删、重排掉出或引用不支持结论 | 先执行：在最早丢失正确证据的阶段停止，固定该阶段输入单独修复并重放全链 |
| 异常链路无法恢复 | 解析丢内容、正确 chunk 未召回、过滤误删、重排掉出或引用不支持结论 | 先执行：在最早丢失正确证据的阶段停止，固定该阶段输入单独修复并重放全链 |
| 新样本成功但原样本仍失败 | 修复没有覆盖原始触发条件 | 固定原失败输入，恢复基线后重新比较 |
| 指标改善但证据无法回链 | 数据、版本或中间状态没有固定 | 暂停发布，补齐可追溯记录后重跑 |
“进阶：混合检索与 RAG 调优实战”只有同时满足“正确证据可召回可回链，无答案时拒答，权限过滤不泄漏其他主体资料”，并且没有出现“解析丢内容、正确 chunk 未召回、过滤误删、重排掉出或引用不支持结论”，才可以认为主链路通过。这里的“通过”只对当前固定版本、样本和环境有效，不能外推到尚未测试的容量、权限或数据分布。
如果“进阶：混合检索与 RAG 调优实战”候选方案与基线差异很小，先检查证据分辨率是否足够；如果差异很大，先排除数据泄漏、环境漂移和版本不一致。两种情况都不能只看一个汇总均值，需要回到逐样本输出和中间状态。
“进阶：混合检索与 RAG 调优实战”故障定位完成后，记录“现象、首个偏差、根因、改动、原样本复测”五项。缺少原样本复测时，只能标记为待观察，不能标记为已解决。
十四、进阶：混合检索与 RAG 调优实战 的发布判断
发布判断需要把“进阶：混合检索与 RAG 调优实战”的质量、失败边界和恢复能力放在同一份记录中。以下任一条件缺失，都应停止扩量，而不是用“基本正常”替代证据。
- “进阶：混合检索与 RAG 调优实战”的基线与候选只存在一个计划内变量。
- “进阶：混合检索与 RAG 调优实战”的输入、代码、依赖、配置和数据版本可以追溯。
- “进阶：混合检索与 RAG 调优实战”的正常、临界、失败和恢复样本使用同一套断言。
- “进阶：混合检索与 RAG 调优实战”的原始输出、中间状态和失败现场已经保留。
- “进阶：混合检索与 RAG 调优实战”的日志、Trace、截图和测试数据已经脱敏。
- “进阶：混合检索与 RAG 调优实战”的停止条件、负责人和回滚入口已经演练。
- “进阶：混合检索与 RAG 调优实战”尚未覆盖的输入、权限、容量和外部依赖已经登记。
最终记录至少包含基线版本、唯一变量、原始证据、首个偏差、恢复复测和发布责任人。没有参与本次修改的人如果不能据此重放“进阶：混合检索与 RAG 调优实战”的判断，就不能发布。
十五、总结
- 一条企业常见检索链路：Query Rewrite：把口语问题改成更适合检索的查询。
- BM25、向量、RRF、rerank 各管什么：RRF 的好处是不用纠结“BM25 权重 0.4 还是 0.6”。
- Query Rewrite 什么时候加：Query Rewrite 不是每个问题都要加。
- RAGAS 和 LLM-as-Judge 怎么看：重点不是 summary 总分，
- 工程上真正会踩的坑：总分从 82 到 86 不知道该高兴还是担心，要看每条 case 的 reason。
学完自测
选择所有正确答案；提交后逐项核对判断依据。