14. 机器学习与深度学习基础扫盲

来源：150 道 AI 面试题

应用岗的兜底类，只需知道基本概念和"为什么大模型是这样工作的"，不深挖数学。轻理论。

147. 大模型预训练为什么叫"自监督学习"？它和传统监督学习有什么本质区别？

直接答案：大模型预训练用的是自监督学习（Self-Supervised Learning）——标签不是人工标注的，而是从数据自身构造出来的。

• 传统监督学习：需要人工标注标签（"这张图是猫"），成本高、难以规模化。
• 自监督学习：以语言模型为例，任务是"预测下一个 token"，标签就是语料本身的下一个词——不需要任何人标注，海量文本自动就是训练数据。

本质区别：监督学习靠"人工给的标签"，自监督学习靠"数据自己就是标签"。

知识点讲解：

• 规模化的根本原因：大模型能"吃"下整个互联网的文本，因为不需要标注，语料即标签——这是它 scale up 的根本。
• 三种范式的记忆点：监督（有老师批改）、无监督（自己找规律）、自监督（从数据自身构造伪标签）。
• 概念的澄清：自监督是"无监督的机制 + 监督的目标"——没有人工标签（无监督），但预训练在数学上仍是有明确损失函数的监督式优化（预测下一 token 的交叉熵）。
• 为什么"下一 token 预测"这么强：为了准确预测下一 token，模型被迫学会语法、语义、世界知识、推理——这些能力是"副产品"。
• 加分点：能说清"自监督 = 从数据自身构造监督信号"，而非把它和无监督混为一谈。

---

148. 微调 LLM 时，"过拟合"具体表现为哪些现象？怎么在微调中避免？

直接答案：过拟合表现为目标任务训练表现很好，但同分布未见样例的泛化变差，例如记住模板或措辞（而非学到通用能力）。灾难性遗忘是旧任务能力退化，两者可能同时出现，却不是同一个现象。

避免方法：

• 分别维护目标任务训练/验证集和旧任务回归集。
• 训练误差下降而验证误差上升 → 提示过拟合。
• 旧任务退化 → 检查遗忘及数据分布偏移。
• 用数据去重、多样化、早停、学习率和正则控制泛化；混入合适的旧任务数据可能缓解遗忘。

知识点讲解：

• 过拟合 vs 灾难性遗忘的区别：过拟合是"新任务泛化差"，遗忘是"旧能力退化"——两者机制不同、要分开监控。
• 微调过拟合的典型表现：模型只会复读训练集里的答案模板、对未见措辞的同类问题答错。
• LoRA 不是免死金牌：LoRA 减少可训练参数，但启用后的 W+BA 仍会改变模型行为，不能保证无过拟合或遗忘。
• 监控的双轨制：同时监控"新任务验证集"和"旧任务回归集"，才能同时发现过拟合和遗忘。
• 加分点：能区分"过拟合"和"灾难性遗忘"两个易混概念。

参考：LoRA 论文。

---

149. LoRA 为什么能"只改一点点参数"就完成微调？它解决了什么痛点？

直接答案：LoRA 冻结选定权重 W，训练低秩矩阵 A、B，用 W+BA 表达适配后的计算。它限制了可训练更新的形式，降低梯度和优化器状态等开销。

解决的痛点：全参微调需要为所有参数保存梯度和优化器状态，显存开销巨大；LoRA 只训练两个小矩阵（秩 r 通常 8~64），训练参数和显存大幅下降。

知识点讲解：

• 低秩是假设不是定理：低秩是适配方法的假设与容量选择，不是"所有任务的最优更新天然低秩"的定理。秩、作用层和数据都影响效果。
• 冻结 W 不代表行为不变：W+BA 会改变模型行为，不能保证通用能力不退化。
• 全参微调 ≠ 从零重训：全参微调通常从已有预训练权重继续训练全部参数，不是从零开始。
• LoRA 的隐性成本：仍要保存基础模型并承担激活开销；能否单卡运行需实测模型规模、序列长度、量化与批量。
• LoRA 的工程优势：多个 LoRA 适配器可以复用同一个基座，切换任务只需换适配器，存储和部署成本低。

---

150. 自注意力的 Q、K、V 分别扮演什么角色？为什么说"注意力是软性检索"？

直接答案：自注意力的 Q（Query）、K（Key）、V（Value）三个向量，本质是把注意力建模成一次软性的键值检索：

• Q（查询）：当前 token "我要找什么"——代表当前要关注的目标。
• K（键）：每个 token "我能提供什么标签"——用于和 Q 匹配。
• V（值）：每个 token "我实际的内容"——被加权求和取走的部分。

计算过程 = 检索过程：用 Q 去和所有 K 算相似度（打分）→ softmax 归一化成"注意力权重"（决定"取多少"）→ 用权重对所有 V 加权求和（"取走内容"）。

为什么是"软性检索"：区别于硬检索（只取最相关的 1 条），注意力是对所有位置按相似度"软加权"，每个位置都贡献一点，越相关贡献越大。

知识点讲解：

• 直观类比：查字典——Query 是"要查的词"，Key 是"词条"，Value 是"释义"。
• Q/K/V 的来源：都来自同一个输入（自注意力），但通过三个不同的权重矩阵投影得到，这是"多头注意力能在不同子空间捕捉不同关系"的基础。
• 软加权 vs 硬检索的区别：硬检索是"选一条"，软加权是"每一条都取一点，按相关度加权"——这让注意力可微、可端到端训练。
• 缩放因子 √d_k：Q·Kᵀ 的值会随维度增大而变大，softmax 会饱和，除以 √d_k 是防止梯度消失的稳定技巧。
• 加分点：能说清"注意力 = 用 Q 和 K 算权重，用权重聚合 V"，并点出"软加权"和"硬检索"的区别。

---