知识点思维导图
51 个知识节点
面试题（12） - 大模型基础与训练机制（第 101～110 题）
读完后，你应能：
- 能验证“这组题考察应用工程师能否解释模型能力的来源和边界”，并保存输入、输出与失败样本。
- 能验证“回答应落到推理行为与工程影响，不必现场推导整篇论文”，并保存输入、输出与失败样本。
- 能验证“答案： Decoder-only 用因果注意力统一训练与生成目标：根据前文预测下一个 Token，训练数据容易规模化，推理时还能复用 KV Cache”，并保存输入、输出与失败样本。
这组题考察应用工程师能否解释模型能力的来源和边界。回答应落到推理行为与工程影响，不必现场推导整篇论文。
一、先建立全局：大模型基础与训练机制（第 101～110 题） 是什么？
理解“大模型基础与训练机制（第 101～110 题）”，先要把标题中的对象放进同一条处理链：它接收什么输入，经过哪些状态变化，最终用什么证据判断结果。下表不另造概念，只把作者正文已经解释的章节按依赖顺序连起来。
“大模型基础与训练机制（第 101～110 题）”的第一个核心判断是：相比 Encoder-Decoder，它没有单独编码器和跨注意力，参数与部署链路更简单。。先弄清这个判断中的对象和输入输出，后面的实现、故障和验收才有共同语境。
| 顺序 | 章节 | 读完本节应抓住的结论 |
|---|---|---|
| 1 | 第101题：为什么主流生成式大模型多采用 Decoder-only 架构？ | 相比 Encoder-Decoder，它没有单独编码器和跨注意力，参数与部署链路更简单。 |
| 2 | 第102题：自注意力为什么通常需要 Q、K、V，三者一定是独立参数吗？ | Q、K、V 是计算角色，不应误解为必须独立存储三份上下文。 |
| 3 | 第103题：为什么很多大模型训练和推理配置很少使用 Dropout？ | 不能把它说成绝对规律：小数据微调、分类头或特定架构仍可使用 Dropout， |
| 4 | 第104题：大模型是如何“记住”上下文的？ | 历史 Token 通过注意力参与当前计算， |
| 5 | 第105题：大模型为什么会产生幻觉？ | 答案： 模型优化的是“生成条件概率较高的序列”，不是查询事实数据库。 |
| 6 | 第106题：为什么 Temperature=0 仍可能得到不同输出？ | 答案： Temperature=0 通常表示贪心选择， |
1.1 核心对象之间怎样衔接
flowchart LR
S1["第101题：为什么主流生成式大模型多采用 Decoder-only 架构？"] --> S2
S2["第102题：自注意力为什么通常需要 Q、K、V，三者一定是独立参数吗？"] --> S3
S3["第103题：为什么很多大模型训练和推理配置很少使用 Dropout？"] --> S4
S4["第104题：大模型是如何“记住”上下文的？"] --> S5
S5["第105题：大模型为什么会产生幻觉？"]
这张图只表达本文的讲解顺序，不替代正文机制。判断“大模型基础与训练机制（第 101～110 题）”是否真正掌握，需要能从最后一个结果沿图回到前面每个章节的输入、状态变化和证据。
1.2 再看失败：问题最早会出现在哪一步？
在“大模型基础与训练机制（第 101～110 题）”的对象和顺序已经明确后，再看可观察的失败：数据泄漏、只报均分、裁判未校准或样本不可追溯。定位时不从最后一条错误猜原因，而是沿上图找第一个偏离正文结论的节点。
二、第101题：为什么主流生成式大模型多采用 Decoder-only 架构？
答案： Decoder-only 用因果注意力统一训练与生成目标：根据前文预测下一个 Token， 训练数据容易规模化， 推理时还能复用 KV Cache。 相比 Encoder-Decoder，它没有单独编码器和跨注意力，参数与部署链路更简单。 它不是所有任务的理论最优解； 翻译、编码检索等固定输入任务仍可能使用 Encoder 或 Encoder-Decoder。 面试时要强调“统一目标、扩展性、推理复用”三点，而不是说其他架构已经失效。
三、第102题：自注意力为什么通常需要 Q、K、V，三者一定是独立参数吗？
答案： Q 表示当前 Token 要找什么，
K 表示每个 Token 可被怎样匹配，
softmax(QKᵀ/√d) 得到权重后再聚合 V。
三个角色不同，
但不要求三套完全独立的头：Multi-Query Attention 让多个 Query 头共享一组 K/V，
Grouped-Query Attention 让一组 Query 头共享 K/V，
以少量质量代价显著减少 KV Cache。
Q、K、V 是计算角色，不应误解为必须独立存储三份上下文。
四、第103题：为什么很多大模型训练和推理配置很少使用 Dropout？
答案： 大规模预训练拥有海量且多样的数据，数据本身已提供强正则化； Dropout 会增加训练噪声、降低有效容量，也不利于精确复现。 推理阶段 Dropout 本来就应关闭。 不能把它说成绝对规律：小数据微调、分类头或特定架构仍可使用 Dropout， 是否保留应由验证集过拟合程度决定。
五、第104题：大模型是如何“记住”上下文的？
答案： 单次请求内， 历史 Token 通过注意力参与当前计算， 推理服务通常把历史层的 K/V 缓存在显存中； 它不是把对话永久写进模型参数。 跨请求若没有再次传入历史、服务端会话状态或外部 Memory，模型就不记得。 长期记忆通常是数据库中的事实或摘要， 经检索后重新注入上下文， 因此必须处理用户隔离、过期、冲突和删除。
六、第105题：大模型为什么会产生幻觉？
答案： 模型优化的是“生成条件概率较高的序列”，不是查询事实数据库。 知识缺失、上下文冲突、问题前提错误、采样、训练噪声和对齐目标都可能让流畅性压过真实性。 工程上要分层处理：RAG 提供证据， 结构化工具获取实时事实， 引用校验约束结论， 低证据时拒答， 评测集测忠实度。 只把 Temperature 调低不能消除幻觉。
七、第106题：为什么 Temperature=0 仍可能得到不同输出？
答案： Temperature=0 通常表示贪心选择， 但服务端并行归约、低精度计算、硬件内核、模型快照、动态路由或并列 Logit 的细小差异， 都可能改变后续 Token。 工具结果、检索排序和系统提示词变化也会放大差异。 生产中应固定模型快照和参数、记录 Prompt 与依赖版本、对结构化结果做校验； 不能把“近似确定”当成字节级确定。
八、第107题：为什么 SFT 后再做强化学习，某些离线指标可能先降后升？
答案： SFT 学习示范分布， 强化学习优化的是奖励模型或可验证奖励， 两者目标并不完全一致。 训练初期策略偏离 SFT 分布，可能导致通用能力或格式指标下降； 随着优势估计和约束稳定，目标任务收益才上升。 应同时监控奖励、KL 距离、长度、能力回归集和安全集，保留基线检查点。 若只看奖励上升，容易遇到 Reward Hacking。
九、第108题：向量化和词嵌入的本质区别是什么？
答案： 向量化是把任意对象映射为数值向量的统称， TF-IDF、图像特征、统计特征都属于向量化； Embedding 是通过学习得到的稠密表示，让语义相近对象在空间中更接近。 RAG 常用句段级 Embedding，而不是逐词向量简单平均。 选型要看语言、领域、最大长度、维度、检索指标、吞吐与许可证， 并保证建库和查询使用同一模型与预处理版本。
十、第109题：Tokenizer 为什么会影响效果、延迟和成本？
答案： 模型按 Token 而不是字符计费和计算。 一个领域词被拆成过多 Token，会占用窗口、增加 Prefill 计算，也可能削弱实体边界。 评估模型时应在真实中文、代码、表格和业务缩写上统计 Token/字符比、截断率和成本， 而不是只比较标称上下文长度。 Prompt 压缩也要以 Token 数为准，不能只看字符串长度。
十一、第110题：预训练、SFT 和偏好对齐分别解决什么问题？
答案： 预训练从大规模语料学习语言、知识和通用模式； SFT 用高质量指令示范教模型遵循任务与输出格式； 偏好对齐通过人类或规则反馈改善有用性、安全性和风格。 三者不能互相替代：动态企业事实应走 RAG， 确定性业务动作应走工具和校验， 不能靠再次训练“记住”频繁变化的数据。
十二、动手验证：先跑通 大模型基础与训练机制（第 101～110 题），再改变一个变量
前面的章节已经建立问题、概念和机制。现在把“大模型基础与训练机制（第 101～110 题）”放进同一套基线中运行；本节不再引入新术语，只验证前文结论能否被复现。
12.1 基线与候选只允许一个变量不同
验证“大模型基础与训练机制（第 101～110 题）”时，先固定版本化数据集、切分规则、基线、Rubric、随机参数。候选方案只能改变本次要验证的变量；如果同时更换数据、依赖和配置，即使结果改善，也不能知道是哪一项产生作用。
执行“大模型基础与训练机制（第 101～110 题）”时，动作是：同输入比较基线与候选的能力、安全、延迟和成本。原始结果不能只保留截图或汇总分数，必须同步保存：逐样本输出、评分理由、置信区间、失败标签、版本，使下一次复查可以在同一输入上重放。
| 实验要素 | 本文要求 |
|---|---|
| 固定条件 | 版本化数据集、切分规则、基线、Rubric、随机参数 |
| 唯一变量 | 本次候选方案与基线之间的一项明确差异 |
| 原始证据 | 逐样本输出、评分理由、置信区间、失败标签、版本 |
| 通过阈值 | 目标指标改善，通用能力与安全集不越过回退阈值 |
| 立即停止 | 数据泄漏、只报均分、裁判未校准或样本不可追溯 |
12.2 执行前先排除不可比较条件
“大模型基础与训练机制（第 101～110 题）”开始前先确认下面四项；任一项不成立，都应先修复实验条件，而不是解释结果。
- 基线能够在“大模型基础与训练机制（第 101～110 题）”的当前环境重复运行。
- 候选只改变一个与“大模型基础与训练机制（第 101～110 题）”结论直接相关的条件。
- “大模型基础与训练机制（第 101～110 题）”的基线和候选使用同一批输入、同一版本依赖与同一通过阈值。
- “大模型基础与训练机制（第 101～110 题）”的原始输出和失败现场不会被重试、格式化或汇总覆盖。
12.3 执行后先核对证据完整性
结果出来后先检查证据，再讨论“大模型基础与训练机制（第 101～110 题）”是否通过。缺少中间状态时，最终输出只能说明现象，不能证明机制。
| 检查项 | 当前文章的判定 |
|---|---|
| 输入可追溯 | 版本化数据集、切分规则、基线、Rubric、随机参数 |
| 过程可回放 | 同输入比较基线与候选的能力、安全、延迟和成本 |
| 结果可审计 | 逐样本输出、评分理由、置信区间、失败标签、版本 |
“大模型基础与训练机制（第 101～110 题）”的一次合格基线对照按以下顺序执行：
- 保存“大模型基础与训练机制（第 101～110 题）”基线版本及输入摘要，确认基线本身可以重复运行。
- 写下“大模型基础与训练机制（第 101～110 题）”候选方案唯一变化的变量，以及它预期影响的指标。
- 在同一环境执行“大模型基础与训练机制（第 101～110 题）”：同输入比较基线与候选的能力、安全、延迟和成本。
- 为“大模型基础与训练机制（第 101～110 题）”保存：逐样本输出、评分理由、置信区间、失败标签、版本。
- 使用“大模型基础与训练机制（第 101～110 题）”预登记条件判断：目标指标改善，通用能力与安全集不越过回退阈值。
- 如果“大模型基础与训练机制（第 101～110 题）”未通过，不修改第二个变量，先恢复基线并保留失败现场。
十三、用一张矩阵验证 大模型基础与训练机制（第 101～110 题） 的关键结论
矩阵按正文顺序列出“大模型基础与训练机制（第 101～110 题）”的结论。一次实验只选择一行，只改变这一行对应的条件；不要把多行合并成一个无法归因的大实验。
| 正文章节 | 已解释的结论 | 本轮唯一变量 | 必须保存的证据 |
|---|---|---|---|
| 第101题：为什么主流生成式大模型多采用 Decoder-only 架构？ | 相比 Encoder-Decoder，它没有单独编码器和跨注意力，参数与部署链路更简单。 | 只改变与“第101题：为什么主流生成式大模型多采用 Decoder-only 架构？”相关的条件 | 逐样本输出、评分理由、置信区间、失败标签、版本 |
| 第102题：自注意力为什么通常需要 Q、K、V，三者一定是独立参数吗？ | Q、K、V 是计算角色，不应误解为必须独立存储三份上下文。 | 只改变与“第102题：自注意力为什么通常需要 Q、K、V，三者一定是独立参数吗？”相关的条件 | 逐样本输出、评分理由、置信区间、失败标签、版本 |
| 第103题：为什么很多大模型训练和推理配置很少使用 Dropout？ | 不能把它说成绝对规律：小数据微调、分类头或特定架构仍可使用 Dropout， | 只改变与“第103题：为什么很多大模型训练和推理配置很少使用 Dropout？”相关的条件 | 逐样本输出、评分理由、置信区间、失败标签、版本 |
| 第104题：大模型是如何“记住”上下文的？ | 历史 Token 通过注意力参与当前计算， | 只改变与“第104题：大模型是如何“记住”上下文的？”相关的条件 | 逐样本输出、评分理由、置信区间、失败标签、版本 |
| 第105题：大模型为什么会产生幻觉？ | 答案： 模型优化的是“生成条件概率较高的序列”，不是查询事实数据库。 | 只改变与“第105题：大模型为什么会产生幻觉？”相关的条件 | 逐样本输出、评分理由、置信区间、失败标签、版本 |
| 第106题：为什么 Temperature=0 仍可能得到不同输出？ | 答案： Temperature=0 通常表示贪心选择， | 只改变与“第106题：为什么 Temperature=0 仍可能得到不同输出？”相关的条件 | 逐样本输出、评分理由、置信区间、失败标签、版本 |
13.1 记录本次实际实验
下面的记录用于“大模型基础与训练机制（第 101～110 题）”当前这一次实验，不是第二套知识目录。先从矩阵选择一个章节，再填写实际值；没有填写的字段表示尚未验证。
topic: "大模型基础与训练机制（第 101～110 题）"
selected_chapter: required
claim_from_article: required
baseline_version: required
changed_condition: exactly_one
execution: "同输入比较基线与候选的能力、安全、延迟和成本"
evidence: "逐样本输出、评分理由、置信区间、失败标签、版本"
pass_when: "目标指标改善，通用能力与安全集不越过回退阈值"
stop_when: "数据泄漏、只报均分、裁判未校准或样本不可追溯"
observed_result: required
first_deviation: null_or_evidence
recovery_replay: required_after_failure
13.2 边界实验必须证明能够停止和恢复
成功路径只能证明“大模型基础与训练机制（第 101～110 题）”在当前样本上工作，不能证明它可以进入生产。边界实验需要主动制造：数据泄漏、只报均分、裁判未校准或样本不可追溯，并观察系统是否在产生不可逆副作用前停止。
| 场景 | 只改变什么 | 应保存什么 | 通过标准 |
|---|---|---|---|
| 正常路径 | 使用已知有效输入 | 逐样本输出、评分理由、置信区间、失败标签、版本 | 目标指标改善，通用能力与安全集不越过回退阈值 |
| 边界路径 | 把一个输入推进到约束临界值 | 临界值前后的输出与指标 | 不静默降级，不把部分结果冒充成功 |
| 明确失败 | 注入：数据泄漏、只报均分、裁判未校准或样本不可追溯 | 原始错误、首个异常阶段和最终状态 | 失败被正确分类且没有扩大副作用 |
| 恢复重放 | 执行：保留基线，隔离失败样本，定位数据、提示、模型或裁判 | 原失败样本的复测证据 | 原样本恢复，正常样本没有回归 |
恢复动作不是简单重启。对于“大模型基础与训练机制（第 101～110 题）”，第一步是：保留基线，隔离失败样本，定位数据、提示、模型或裁判。完成后使用原始失败样本复测；只验证一个新样本成功，不能证明触发条件已经消失。
“大模型基础与训练机制（第 101～110 题）”边界实验结束后，应把正常、临界、失败和恢复四类记录放在同一个运行批次中。这样才能区分“候选方案真的修复问题”和“环境变化让问题暂时没有出现”。
十四、大模型基础与训练机制（第 101～110 题） 的结果解释
解释“大模型基础与训练机制（第 101～110 题）”实验时先看首个偏差，而不是最后一条错误。最后的异常通常只是上游状态错误的结果；从末端反推容易误把症状当根因。
| 观察结果 | 可以支持的判断 | 下一步 |
|---|---|---|
| 主链路没有达到预期 | 数据泄漏、只报均分、裁判未校准或样本不可追溯 | 先执行：保留基线，隔离失败样本，定位数据、提示、模型或裁判 |
| 异常链路无法恢复 | 数据泄漏、只报均分、裁判未校准或样本不可追溯 | 先执行：保留基线，隔离失败样本，定位数据、提示、模型或裁判 |
| 新样本成功但原样本仍失败 | 修复没有覆盖原始触发条件 | 固定原失败输入，恢复基线后重新比较 |
| 指标改善但证据无法回链 | 数据、版本或中间状态没有固定 | 暂停发布，补齐可追溯记录后重跑 |
“大模型基础与训练机制（第 101～110 题）”只有同时满足“目标指标改善，通用能力与安全集不越过回退阈值”，并且没有出现“数据泄漏、只报均分、裁判未校准或样本不可追溯”，才可以认为主链路通过。这里的“通过”只对当前固定版本、样本和环境有效，不能外推到尚未测试的容量、权限或数据分布。
如果“大模型基础与训练机制（第 101～110 题）”候选方案与基线差异很小，先检查证据分辨率是否足够；如果差异很大，先排除数据泄漏、环境漂移和版本不一致。两种情况都不能只看一个汇总均值，需要回到逐样本输出和中间状态。
“大模型基础与训练机制（第 101～110 题）”故障定位完成后，记录“现象、首个偏差、根因、改动、原样本复测”五项。缺少原样本复测时，只能标记为待观察，不能标记为已解决。
十五、大模型基础与训练机制（第 101～110 题） 的发布判断
发布判断需要把“大模型基础与训练机制（第 101～110 题）”的质量、失败边界和恢复能力放在同一份记录中。以下任一条件缺失，都应停止扩量，而不是用“基本正常”替代证据。
- “大模型基础与训练机制（第 101～110 题）”的基线与候选只存在一个计划内变量。
- “大模型基础与训练机制（第 101～110 题）”的输入、代码、依赖、配置和数据版本可以追溯。
- “大模型基础与训练机制（第 101～110 题）”的正常、临界、失败和恢复样本使用同一套断言。
- “大模型基础与训练机制（第 101～110 题）”的原始输出、中间状态和失败现场已经保留。
- “大模型基础与训练机制（第 101～110 题）”的日志、Trace、截图和测试数据已经脱敏。
- “大模型基础与训练机制（第 101～110 题）”的停止条件、负责人和回滚入口已经演练。
- “大模型基础与训练机制（第 101～110 题）”尚未覆盖的输入、权限、容量和外部依赖已经登记。
最终记录至少包含基线版本、唯一变量、原始证据、首个偏差、恢复复测和发布责任人。没有参与本次修改的人如果不能据此重放“大模型基础与训练机制（第 101～110 题）”的判断，就不能发布。
十六、总结
- 第101题：为什么主流生成式大模型多采用 Decoder-only 架构？：相比 Encoder-Decoder，它没有单独编码器和跨注意力，参数与部署链路更简单。
- 第102题：自注意力为什么通常需要 Q、K、V，三者一定是独立参数吗？：Q、K、V 是计算角色，不应误解为必须独立存储三份上下文。
- 第103题：为什么很多大模型训练和推理配置很少使用 Dropout？：不能把它说成绝对规律：小数据微调、分类头或特定架构仍可使用 Dropout，是否保留应由验证集过拟合程度决定。
- 第104题：大模型是如何“记住”上下文的？：答案： 单次请求内，历史 Token 通过注意力参与当前计算，推理服务通常把历史层的 K/V 缓存在显存中；
- 第105题：大模型为什么会产生幻觉？：答案： 模型优化的是“生成条件概率较高的序列”，不是查询事实数据库。
- 第106题：为什么 Temperature=0 仍可能得到不同输出？：答案： Temperature=0 通常表示贪心选择，但服务端并行归约、低精度计算、硬件内核、模型快照、动态路由或并列 Logit 的细小差异，都可能改变后续 Token。
学完自测
选择所有正确答案；提交后逐项核对判断依据。