15. 多模态模型：文字、图片、声音和视频怎样一起参与任务

来源：大模型理论基础

你想让复习助手不再只读文字笔记：拍一张白板照片，上传一段课堂录音，再问“老师最后把第二章复习改到哪天，要带什么？”

这时，答案可能藏在被划掉的日期、指向某行的箭头，以及一句“刚才那个时间作废”中。把所有材料简单转成一长段文字，有时够用，有时会丢掉决定答案的信息。

多模态模型扩展了模型能够接触的信号，但“支持图片、音频、视频”并不是一个完整的能力说明。本篇解释这些信号怎样进入模型、怎样建立联系，以及为什么输入格式被支持，仍不等于任务能可靠完成。

下面的截图内容、音视频片段、向量长度、预算和延迟均为教学构造；没有上传实际媒体或进行模型实测。涉及论文架构时以对应版本为准，资料观察基准为 2026 年 10 月 3 日。

一、模态是什么：同一件事可以通过不同信号表达

模态，Modality，可以理解为信息的表达形式或感知渠道，例如文字、图像、声音。视频则把连续画面、时间顺序以及可能存在的音轨放在一起。

这些形式包含的信息并不完全相同。一份转写能保留讲话内容，却可能没有记录谁指着哪张图；一张截图能保留版面，却没有拍摄之后发生的口头更正。

先构造一张白板照片，用文字说明它的可见内容：

位置	白板上的内容
第一行	第二章：周五被划掉，旁边改写为周六
第二行	第三章：周五
右下角	“带错题清单”，有箭头指向第一行

如果提取过程只输出“第二章 周五 周六 第三章 周五 带错题清单”，字大体都在，关系却丢了：哪个日期作废？清单对应哪一章？

多模态任务常常不仅要求识别内容，还要保留内容之间的空间、时间和指代关系。对复习助手来说，“第二章现在周六复习，带错题清单”比单纯抄出所有字符更接近用户需要。

二、图片怎样进入模型：像素、图块与视觉表示

计算机里的图片首先是像素数值。第 01 篇的文字分词器不能仅凭一个图片文件名，就把其中的白板内容变成可用信息；应用必须真正提供图片数据，并由支持图像的处理路径读取。

一种常见路线是把图片切成小图块，称为 Patch，再把每块变成向量。Vision Transformer（ViT）的原始研究展示了用图块序列进行图像识别的方式。《An Image is Worth 16×16 Words》

一个图块计数算例

假设图片已经被处理为 224×224 像素，每块为 16×16，不重叠、不填充：

每边图块数 = 224÷16 = 14
总图块数 = 14×14 = 196

若每个像素有红、绿、蓝三个通道，一块原始数据包含 16×16×3=768 个数值。模型可以通过学习到的变换，把它映射为所需维度的向量，并利用位置等信息继续处理。

如果图片变成 448×448，图块大小不变，数量就是 28×28=784。每边扩大两倍，图块数变成四倍。这解释了为什么提高图像细节往往需要更多处理资源。

但 196 个图块不等于某个 API 必然收费 196 个 Token。真实模型可能先缩放、分块裁剪、合并或压缩视觉表示，还可能加入特殊位置。视觉序列长度与接口计费口径要分别核实。

怎样接到语言模型上

以早期 LLaVA 的方案为例，视觉编码器先提取图像特征，再用可训练的投影层把它们转换到语言模型能够接收的表示维度，与文字指令共同参与回答生成。《Visual Instruction Tuning》

flowchart LR
    I[白板照片] --> V[视觉编码器]
    V --> P[连接或投影模块]
    Q[文字问题] --> T[文字表示]
    P --> M[多模态条件下的模型计算]
    T --> M
    M --> A[文字回答]

这张图是一类架构示意，不是所有多模态模型的内部结构。还有其他融合方式，例如让语言计算通过交叉注意力读取视觉特征。

这里常说的“视觉 Token”，可能是连续的特征向量，不一定是第 01 篇那种能在文字词表里查到的整数 ID。图片也不必先完整翻译成一段中文，才能参与后续计算。

三、图像与文字怎样对应：对齐需要学习

把两个向量放在一起，并不自动让模型知道哪个图案对应哪个词。模型需要通过数据与训练目标学习关系。

CLIP 的经典做法是使用图文配对数据，分别编码图像与文字，学习提高匹配配对的相似度、区分不匹配的配对。这可以帮助实现“用文字找到相关图片”等任务。《Learning Transferable Visual Models From Natural Language Supervision》

例如，训练材料里有白板图片及其描述，也有猫的图片及其描述。模型通过许多配对获得跨模态联系，并不是程序员逐张写规则“白色矩形一定是白板”。

但图文相似度学习与生成详细答案仍是不同任务。判断“这张图更像课程安排而不是菜单”，不等于已经学会读清小字、理解删除线、定位箭头，再回答某章的最新安排。

因此，多模态助手还可以使用图像、问题与回答组成的指令数据，学习根据视觉内容完成任务。早期 LLaVA 便区分了视觉与语言的特征连接训练，以及后续的视觉指令微调。LLaVA 的训练设计

这里的“对齐”主要指不同信号的表示与语义建立联系，与第 06 篇“更符合人类偏好”的对齐不是同一个具体训练目标。两者都可以出现在一个助手的训练流程里。

即便完成了这些训练，模糊小字、特殊版式或不熟悉的图表仍可能失败。会描述图片整体场景，不能自动证明能够逐字抄录整张表格。

四、声音怎样进入模型：波形不只是转写文字

数字音频可以表示为随时间变化的采样值。假设一段单声道录音长 10 秒，采样率为每秒 16000 次：

采样点数 = 10×16000 = 160000
若每点用 16 位保存：原始载荷 = 160000×2 = 320000 字节

这是未压缩采样数据的简化计算，不包含文件头，也不是 MP3 等压缩文件大小，更不是模型的音频 Token 数量。

音频模型可以把波形变为频谱等特征，描述不同时间段里各频率成分的强弱，再交给神经网络处理。Whisper 的原始架构使用 log-Mel 频谱作为编码器输入，再由解码器生成文字等输出。《Robust Speech Recognition via Large-Scale Weak Supervision》

你不必先学会计算频谱。此处要理解的是：声音可以先成为保留时间结构的数值表示，而不是一开始就变成汉字。

转写能解决什么，可能丢掉什么

ASR，自动语音识别，主要把讲话内容转成文字。若任务只是整理老师明确说出的复习日期，一份准确转写可能已经足够。

但录音还可能包含停顿、重叠讲话、声音事件或不同人的发言。一条纯文本“对，就这个”如果没有上下文和说话时刻，无法说明“这个”对应哪张幻灯片。转写漏掉“不”字，也可能直接反转安排。

某些直接处理音频的模型能够利用文字之外的声学信息，但也不应该把“声音里听起来犹豫”当成已经查明的真实心理。对教程中的复习任务，优先记录可以核对的讲话内容、时间和不清晰处。

TTS，语音合成，则从文字等条件生成声音。ASR 与 TTS 的方向相反；一个模型擅长转写，并不说明它同时能自然地说话。

五、视频理解：关键在于时间和跨模态关系

视频可以看成一系列带时间顺序的画面，但模型未必逐帧查看原始文件。常见处理会抽帧、缩放、压缩表示，再结合音轨和时间信息。

假设 10 秒视频原本每秒 30 帧，共有 300 帧。教学流程只在 0、0.5、1.0……9.5 秒取画面，一共 20 帧。

如果“第二章改周六”的字幕仅在 4.2 秒到 4.4 秒之前出现，那么 4.0 秒和 4.5 秒两张抽样画面都可能没有它。即便后续语言模型再强，也不能可靠还原根本没有进入输入的内容。

把抽帧提高到每秒 10 帧，在这个特定构造中会取到 4.2、4.3 秒的画面，有机会保留字幕；这不代表任何短事件都不会遗漏，画面清晰度和识别能力仍需检查。Gemini 的官方视频文档也提供视频片段与采样帧率的处理设置，说明这些选择确实属于应用输入处理的一部分。Gemini 视频处理文档

“这部分”指哪里，需要把声画对上

再构造一个片段：4 秒时老师指向第二章的框，5 秒时手移到第三章；“只复习这部分”出现在 4 秒附近。若把两张画面倒序、丢掉时间戳，再把转写放在最后，模型就更难确定指代对象。

时间关系需要在表示或输入组织中保留。Qwen2.5-Omni 的技术报告给出了一种使用时间位置信息连接音视频的设计；这说明声画同步是需要专门处理的机制，不是上传文件后自然就不会错。Qwen2.5-Omni 技术报告

应用保存证据时，也应保留“哪个文件、哪个时间段、哪一帧或区域”，而不只保存一句模型摘要。这样才能返回原片段核对是否听错、看错，或把前后两个安排混在一起。

模型生成的时间戳本身也需要检查。它写出“00:04”不意味着一定完成了精确定位，尤其在输入只提供稀疏画面时。

六、原生多模态与组合流程：看信息在哪一步流动

一个语音助手可能采用这样的组合流程：

录音 → ASR 转写 → 文字模型生成回答 → TTS 朗读

每个组件完成明确任务，转写也容易查看和纠错。代价是：如果中间只传递纯文字，未写进文字的声学信息就不会自动传到后面的文字模型。

另一类系统让同一个多模态模型直接接收音频或视觉表示，联合处理并生成所需输出。这常被称为“原生多模态”或“端到端”能力，但这些名称不能代替架构和接口说明。

端到端也不等于内部只有一个没有分工的网络。Qwen2.5-Omni 的报告同时介绍了多模态编码器，以及负责理解与文字生成的 Thinker、负责语音生成的 Talker；这些部分通过内部表示协作。Qwen2.5-Omni 架构说明

因此，选择时更有用的问题是：模型实际接收的是原始信号的编码，还是上一组件生成的文本？哪些关系保留了？发生错误时能否定位并重新处理？

对白板日期提取，OCR（光学字符识别，把图中的字提取出来）加文字模型可能足够；若删除线和箭头决定意义，就需要能够保留版面关系的提取或视觉理解。对录音整理，ASR 加文字模型也有价值；若任务必须同时知道说话时指向哪个区域，则要额外保留和结合画面。

这不是“组合一定落后、原生一定正确”的排名。结构选择取决于任务需要的信息，以及你能否验证整条流程。

七、理解与生成，是两张不同的能力清单

能接收图片，不代表能输出图片；能回答关于视频的问题，也不代表能生成连贯视频。

任务	输入	输出	需要的能力
读取白板安排	图片与问题	文字或字段	图像内容与版面理解
生成复习插图	文字描述	图片	图像生成
整理课堂录音	音频与要求	文字	听清内容并完成整理
语音答疑	音频	语音	音频理解、回答与声音生成
找到视频中的更正	视频与问题	时间段及依据	内容理解与时间定位

图像生成可以采用第一部分介绍过的扩散路线。潜在扩散模型先在压缩的表示空间中生成，再解码为图像；这与视觉编码器读图回答的方向不同。《High-Resolution Image Synthesis with Latent Diffusion Models》

声音输出也需要把生成的表示变成可播放的波形；仅让文字模型输出“你好”两个字，还没有完成语音合成。不同系统可以使用不同生成机制，不能假设所有媒体都只是按同一种文字词表逐字输出。

对你的项目，应该逐项确认输入格式、输出格式与任务，而不是看到“多模态”三个字就把表里全部打勾。

八、长音视频和实时交互，仍然受预算限制

模型能够处理很长的多模态上下文，已经有系统研究，例如 Gemini 1.5 的技术报告讨论了长视频和长音频任务。但报告中的特定检索或问答结果，不等于任意长视频的所有细节都能被完整理解。Gemini 1.5 技术报告

除了第 08 篇讲的“放得下”与“用得好”，还要检查预处理究竟保留了什么。把半小时录音变成两百字摘要，后续回答依据的是这两百字，不能假装仍然随时掌握原录音所有细节。

一个纯教学预算

假设某个自定义教学系统把每张选中画面压缩成 128 个视觉位置；20 帧就是 2560 个位置。再假设文字占 800、音频表示占 400、预留输出占 600，则：

总预算 = 20×128 + 800 + 400 + 600 = 4360

如果处理上限是 6000，在这个假设下可以放入。若选中帧数翻倍为 40，其余不变，总量就是 6920，超过上限 920。

这不是任何服务的计费公式。不同模态可能有不同编码、压缩与限制，甚至不能这样简单共用一个计数。算例只说明：更密集画面、更细图像与更长声音，都可能与上下文和计算预算竞争。

可行的处理思路是先按主题或时间分段，找出相关片段，再读取足够细的原始证据。与 RAG 一样，需要保留来源、边界和必要上下文；过度压缩可能恰好删掉一句更正。

实时还要处理“什么时候开口”

语音聊天除了模型计算，还要经历采集与判断用户是否说完、处理输入、生成第一段声音、启动播放。假设从用户说完开始计时，完成采集与判停还需 0.20 秒，后面三个阶段串行分别花 0.15、0.40、0.25 秒，总等待就是 1.00 秒。真实系统可能重叠处理，不能总把所有阶段完整相加。

过早判断用户说完，可能截断一句“周五……不，周六”；等太久又让对话显得迟钝。支持流式输入或输出，也不自动意味着支持随时打断、双向同时说话，以及打断后正确更新上下文。这些都是具体的系统行为。

九、给笔记助手做一次可检查的任务设计

不需要立即安装工具，可以先把第一节白板案例的预期结果写出来：

问题：第二章现在安排在什么时候，需要带什么？
预期：周六；带错题清单。
依据：第一行周五被划掉并改为周六；右下角箭头指向第一行。
无法确定：具体年月日、几点开始，因为白板没有提供。

然后准备几种变化：照片缩小到小字模糊；只裁出日期却去掉章节名；箭头被遮挡；音频说“照片是旧的，第二章安排取消”；视频只给不包含更正字幕的抽帧。

检查的重点不是模型是否每次都给出一个日期，而是它能否正确区分可见证据、信息缺失和有效更正。遮挡后应保留不确定性；明确的后续取消应改变结论；仅仅没有在抽样帧里看到更正，不足以证明原视频里没有更正。

可要求应用把答案拆成“结论、证据位置、仍不确定的内容”。位置可以是页码与区域，也可以是录音时间段。这些是可核对的输出要求，不是模型自称“看清楚了”的保证。

十、理解检查

1. 一张 448×448 的图片按 16×16 切块，图块数变成 224×224 时的几倍？

分别为 784 与 196，是四倍。这是假设没有缩放、重叠和额外处理的图块数，不是通用 API Token 数。

2. CLIP 能判断图文相关，就等于能详细回答图中所有问题吗？

不等于。图文匹配、细字识别、空间关系和指令回答是不同能力，需要各自检查。

3. 10 秒、每秒 16000 次采样的单声道录音，有多少采样点？就是多少 Token 吗？

160000 个采样点。它们经过特征提取或编码后才成为模型输入表示，不能直接当作 160000 个音频 Token。

4. 每 0.5 秒取一帧，能否保证看到 4.2—4.4 秒之间的字幕？

不能。本篇从 0 秒开始的采样只覆盖 4.0 和 4.5 秒，可能完全漏掉这段字幕。

5. “端到端多模态”是否说明模型内部没有编码器等模块，并且所有模态都能输入输出？

不是。端到端系统仍可包含不同组件；支持哪些输入、输出与交互能力，要分别确认。

6. 20 帧的构造预算为 4360，增加到 40 帧后，在 6000 上限下能否放下？

总量变成 6920，超出 920。可以调整读取范围或表示，但须检查是否丢掉任务所需证据；不能只为压缩而删除关键更正。

---

多模态给应用增加了可用证据，也增加了识别、对齐、压缩和定位的环节。设计时先问“答案依赖哪些信号与关系”，再决定怎样把这些信息交给模型，并保留可以返回核对的出处。

下一篇《结构化输出、工具调用与 Agent：模型怎样参与真实操作》，将从理解资料走向生成可处理的字段和操作请求，解释模型输出怎样接上实际程序。

上一篇：蒸馏、量化与推理优化 · 返回第二部分大纲