17. 2024—2025：从单次生成到连续创作，多模态应用进入工作流程

来源：大模型技术演进

2024 年 2 月 15 日，OpenAI 公布 Sora 的研究成果，展示从文字生成视频的能力，最长可达一分钟。它把一个此前更容易被理解成技术实验的问题，推到了更直观的位置：如果人物、场景和镜头运动都能由模型生成，制作影像的门槛会发生什么变化？Sora 技术报告

这与看到一张 AI 图片的感受不同。视频要求画面中的事物在时间里继续存在：人物转身后还是同一个人，镜头移动后房间布局仍然连贯，物体被拿起后不能凭空消失。观众看到的，是一段场景在眼前展开。

但 Sora 当时展示的是研究进展，不是所有人当天就能注册使用的产品。直到 2024 年 12 月 9 日，OpenAI 才推出速度更快的 Sora Turbo，并通过独立网站向支持地区的 ChatGPT Plus、Pro 用户开放。Sora 产品发布公告

在这两次发布之间，以及随后的 2025 年，行业的关键问题逐渐变了。生成一段令人惊讶的素材，只是开始。创作者接着要问：能不能保留这个角色，再拍下一个镜头？能不能只改背景？画面、对白和音乐能不能配合？

本篇沿着这些问题，回顾多模态生成怎样从一次性的结果，走向可以反复修改、组合和交付的创作过程。这里的“连续创作”，既包括片段之间的衔接，也包括人对同一份作品持续修改，并不表示模型已经能够无误地生成任意长度的影片。

视频带来的难题，比让图片动起来更多

第 03 篇讲过 AI 绘画及其周边生态。到了视频，模型除了要决定一张画面里有什么，还要处理前后画面之间的关系。

一张人物拿杯子的图片可能很自然；当它变成五秒钟的视频，手指接触、杯子的位置、液体的变化和身体动作都需要相互配合。某一帧看起来不错，不代表整段动作合理。

Sora 的技术报告介绍了一条实现路线：先把视觉数据压缩，再切成同时包含空间和时间信息的小块，交给扩散 Transformer 建模。对入门读者来说，先理解它在联合处理“画面是什么”和“画面怎样变化”就够了，不需要现在掌握架构细节。技术报告中的方法说明

这种训练能够学到许多运动和场景的规律，但生成的视频并不等于物理仿真。原报告也承认，玻璃破碎、进食后的物体状态等交互仍可能出错。画面看起来像真实世界，与系统已经准确理解所有物理因果，是两种不同的判断。

与此同时，开发者还有另一项挑战：用户的文字通常不够精确。“一个人走进房间”没有说明服装、光线、镜头位置和步速。模型不得不补全这些细节；下一次重新生成时，补全的选择又可能变化。

因此，视频产品后来的许多改进，都围绕同一个目标：让用户能把更多已经确定的创意交给模型，而不是每次从一句描述重新猜起。

2024 年，视频生成开始变成可以持续尝试的工具

2024 年的视频进展不是 Sora 的独角戏。

快手的可灵于 6 月 6 日开始推出。6 月 17 日，Runway 公布 Gen-3 Alpha，着重展示动态质量和对时间变化的控制。MiniMax 则在当年 8 月底放出早期视频模型的演示网页，随后发展成海螺视频产品。这些节点分别见于厂商当时的公告或后续回顾。可灵早期时间线、Gen-3 Alpha 公告、MiniMax 对早期产品的回顾

对用户来说，模型榜单之外的变化同样重要：从观看厂商挑选的样片，转向拿自己的题材反复试验。能否获得访问权限、等待多久、一次失败要花多少成本，都会决定一个工具能不能进入日常创作。

年底的 Sora 产品也不只有一个提示词输入框。它提供分镜输入工具，并支持对已有素材进行延展、重混和混合。此时开放的产品规格，与年初研究报告展示的最高能力并不完全一样，不能把“一分钟研究样片”直接当成所有订阅用户都能生成的时长。Sora 当时的产品说明

这已经显露出一种产品方向：模型负责生成，创作工具则帮助人安排素材与时间。二者相互依赖，却不能混为一谈。

2025 年，角色与素材的一致性成为关键

假设要制作一段三镜头的故事：一个女孩拿着红色笔记本走进书店，翻开笔记，再把它放到桌上。如果分别生成三个片段，每段都很漂亮，但女孩长相和笔记本封面变了，故事就接不起来。

这种问题称为一致性。它不仅涉及人物身份，也涉及服装、物体、地点、画风和镜头之间的空间关系。

2025 年 3 月推出的 Runway Gen-4，把跨场景的角色、地点和物体一致性作为重点，允许结合视觉参考与文字指令生成素材。它代表了一种更贴近创作的交互：先确定“这个人、这个物件”，再要求它们出现在不同镜头中。Runway Gen-4 介绍

可灵也沿着类似问题推进。2025 年 4 月 15 日发布的 2.0 版本介绍了多模态视频编辑：在已有视频上，结合文字或图像输入增加、删除、替换元素。这里的意义是，修改可以围绕已有素材展开，而不总要放弃整段结果重新生成。可灵 2.0 发布公告

同年 6 月，字节跳动 Seed 团队发布 Seedance 1.0 的技术报告，介绍多镜头生成能力，并说明已通过即梦、豆包和火山引擎 API 开放使用。即梦是用户创作的产品入口，Seedance 是其中提供视频生成能力的模型，二者不是同一个层次的名称。Seedance 1.0 官方说明

这几条路线共同扩大了应用边界：创作者可以尝试围绕同一组人物和素材组织多个镜头。不过，“支持一致性”仍然是一项需要检查效果的能力，不是永久锁定每个细节的保证。人物的侧脸、服装纹理或一个小配饰，依然可能在变化中偏离。

图像生成也在从重新抽样，走向围绕原稿修改

视频之外，2025 年的图像产品发生了相关变化。

3 月 25 日，OpenAI 发布 GPT-4o 图像生成能力，强调文字呈现、指令遵循，以及利用对话上下文进行多轮生成和修改。它与 2024 年 GPT-4o 发布时的图像理解能力，是不同的产品节点。GPT-4o 图像生成公告

对个人项目来说，这类变化比“再生成一张漂亮的图”更实用。你可能已经选定一张学习卡片的插图，只想改变姿势、留出标题位置，或者把背景变简单。如果修改后主体也完全变了，前面的选择就失去了价值。

8 月 26 日，Google 发布 Gemini 2.5 Flash Image，也就是广泛传播的 Nano Banana。它是一款图像生成与编辑模型的别称，不是一家新公司，也不是所有 Gemini 模型的统称。官方介绍突出多图融合、角色一致性，以及用自然语言指定局部变换。Google 开发者公告

在 Gemini 产品侧，Google 还展示了持续修改的体验：先改变房间墙面，再加入家具，同时尽量保留未要求改变的部分。用户可以沿着同一个设计逐步推进。Gemini 图像编辑说明

9 月 9 日，字节跳动发布 Seedream 4.0，把图像生成与编辑整合在统一架构中，支持文字、单图和多图等输入。它与视频侧的 Seedance 名称相近，但处理的任务不同。Seedream 4.0 公告

局部重绘、参考图和图像编辑在此前就已存在，第 03 篇中的工具生态也做过大量探索。2025 年的重要变化，是这些控制能力进一步融入普通用户熟悉的对话方式，并与更强的理解和生成能力结合。

这也不意味着生成结果自动成为可编辑的设计工程文件。一张海报图片里的标题，可能仍然只是像素；它不一定像设计软件中的文字图层那样，可以单独选中修改。做应用时，生成插图与排版文字仍然可以分别完成。

音画协同与 Flow，让创作单位从片段扩大到场景

早期生成视频的常见工作方式，是先获得画面，再另外添加对白、音效和音乐。画面质量提高后，声音缺位会变得更加明显：门关上了，却没有合适的关门声；人物开口了，却需要另外处理对白与节奏。

2025 年 5 月 20 日，Google 发布 Flow，并把 Veo 3 的原生音频生成作为当时的重要能力。Veo 3 可以让环境声音和角色对白进入视频生成过程；Flow 则把 Veo、Imagen 和 Gemini 组织成面向创作的工具。Flow 发布公告

这两个名字同样需要分开：Veo 是视频模型，Flow 是帮助用户创作的产品。Flow 提供素材管理、镜头控制，以及编辑、延展镜头的 Scenebuilder。用户可以带入自己的素材，也可以先生成角色或场景，再把它们用于不同片段。首发开放有地区和订阅范围，Veo 3 的早期访问也与套餐有关。

这里的价值，来自对创作过程的组织。单个模型调用通常不知道用户最终准备怎样剪片；创作工具可以保存选定素材、镜头意图和不同版本，让后一次生成接得上前一次决定。

9 月 30 日，OpenAI 发布 Sora 2，介绍同步对白与音效等能力，并通过新的 Sora 应用逐步开放。12 月 16 日，字节跳动发布 Seedance 1.5 pro，介绍音视频联合生成，并通过即梦等入口提供使用；豆包的相关入口当时仍在内测。音画协同由此成为多家厂商推进的方向。Sora 2 公告、Seedance 1.5 pro 公告

原生生成声音，可以减少一部分后期拼接，但不会消除剪辑需求。对白内容、口型、停顿和镜头切换是否合适，仍然要结合最终作品检查。模型能够一次生成更多模态，和创作者能够精确控制每个细节，并不是同步完成的两件事。

Suno：音乐也在经历从整首生成到分轨修改

音乐生成让这条变化更容易理解。

2024 年 3 月 21 日，Suno 发布 v3，面向所有用户开放，并介绍了生成完整两分钟歌曲的能力。对不懂编曲、录音和混音的人来说，把一段想法转成可以播放的歌曲，显著缩短了从构想到试听的距离。Suno v3 公告

但第一次听到一首歌，与把它改成适合自己作品的音乐，是两种工作。可能旋律满意、歌词不合适，也可能人声不错、鼓点太密。如果每次修改都要重新生成整首歌，好的部分也会一起变化。

2025 年 6 月，Suno 推出新的 Song Editor 和分轨提取等功能，让用户按段落调整歌曲，或把人声、鼓、贝斯等部分分离出来。9 月 25 日推出的 Suno Studio 进一步提供多轨时间线和分轨变体生成，最初面向 Premier 订阅者。6 月编辑功能公告、Suno Studio 公告

这里的分轨提取，可以先理解成把混在一起的声音拆成若干可分别处理的部分。例如，人声太响时，希望调整人声，而不把背景音乐一并压低。时间线则让创作者安排这些部分在什么时候出现、怎样叠加。

这与图像和视频的演进互相呼应：先得到完整结果，再逐渐获得保留某些部分、替换另一些部分的控制能力。生成成为创作中的一个环节，编辑、试听和选择继续发挥作用。

速度和成本改善，才让反复修改变得现实

创作过程很少一次完成。如果一次生成需要等待很久，或者每个试验都很昂贵，用户即使知道怎样改，也可能没有足够预算继续尝试。

2025 年 6 月发布的 MiniMax Hailuo 02，不仅强调画面质量，也介绍了通过架构调整提高训练和推理效率的路线。官方展示短片时还说明：三位创作者用了一天半，生成多段短片后再剪辑成完整视频。Hailuo 02 发布说明

后一个细节很有价值。人们最终看到的是一段成片，背后却可能包含多次生成、挑选和剪辑。不能从成片长度，反推出它只调用了一次模型，也不能把某个生成按钮的等待时间，当作整部作品的制作时间。

因此，个人开发者评估多模态应用时，可以把成本理解为：

一份可交付结果的成本 = 素材生成与重试 + 人工挑选和修改 + 后期处理。

便宜但经常需要重做的模型，不一定使项目更省；能力很强却缺少局部控制的工具，也可能让一次小改动波及整段素材。提高成功率、保留已确认部分和缩短迭代时间，都能改变应用是否做得起。

这解释了为什么素材库、参考图、编辑器和版本管理开始变得重要。它们并非只是给模型加一个漂亮外壳，而是在减少重复劳动，让一次已经满意的结果可以继续使用。

用一段个人项目介绍，理解新的创作流程

假设你想为前几篇的复习助手制作一段简短介绍，展示“导入笔记—生成卡片—开始复习”。下面是教学构造，不是对这些产品的实际制作测试。

如果直接要求模型“生成一支完整宣传片”，它可能交出漂亮的画面，却把软件界面、按钮文字和实际功能都编造出来。作品看起来像广告，并不代表准确介绍了你的项目。

更可控的做法，是先把需要真实呈现的部分，与可以发挥创意的部分区分清楚：

内容	可以采用的制作方式	判断是否合格
软件的实际操作	使用真实界面录屏，再裁剪和加说明	步骤与已经实现的功能一致
片头插图或虚构角色	生成参考图，确定后再做不同画面	主体和风格保持连贯
氛围镜头	根据选定图片生成短片段	动作合理，能接上前后镜头
配乐与音效	生成候选素材，挑选后调整	不遮盖旁白，节奏适合内容
最终成片	剪辑、字幕、音量与导出检查	信息完整，没有虚构功能或文字错误

这里的重点是，每一步留下的结果，都能够成为下一步的明确输入。片头角色确认后，后续就围绕参考图展开；界面已经录好，就围绕真实操作剪辑；配乐太长，可以局部调整，而不是把整套内容重新生成。

假如要把这一流程做成一个应用，也不能只保存最后的视频地址。项目至少需要知道选中了哪些素材、哪些版本已被确认、哪个生成任务失败，以及用户要重做哪一部分。用户说“第二个镜头换成白天”，应用应当能定位这个镜头及其依赖，而不是重新制作整支片子。

这正是多模态应用与前几篇 Agent、工作流内容相接的地方：模型提供生成能力，应用负责组织状态和步骤，人负责判断表达是否准确、节奏是否成立。

2024—2025 年，多模态创作的边界因此向前推进了。重要的进步既包括生成质量，也包括让人能够继续工作：留下满意部分、修改局部、连接镜头、安排声音，最终形成可交付的作品。

这些能力会继续进入更广泛的个人助手。下一篇将回到 2026 年的 OpenClaw 热潮，观察持续运行、消息入口、记忆和工具连接，怎样把一次次任务组织成更日常的使用方式。

时间说明：本文回顾的是 2024—2025 年的技术与产品节点，不是当前购买指南。按本系列 2026 年 10 月 3 日的观察截止日期，OpenAI 帮助中心说明，Sora 网页与 App 体验已于 2026 年 4 月 26 日停用，API 的停用日期为同年 9 月 24 日；历史上的发布与能力进展，不等于产品持续运营。官方状态说明

---

上一篇：16｜2024—2025：从提出建议到操作软件，任务型 Agent 扩展应用边界

下一篇：18｜2026 年初起：OpenClaw 与个人 Agent 生态热潮

返回：第 0 部分大纲