TG:视频模型原生支持动作一致只是你不会用！揭开「首帧」的秘密

　　【新智元导读】最新方法FFGo改变了我们对视频生成模型中第一帧的理解。第一帧并非简单起点，而是模型的「概念记忆体」，存储了后续画面的视觉元素。FFGo通过少量样本和特殊训练，激活模型的这种能力，实现高质量的视频定制，无需修改模型结构或大量数据，为视频生成开辟了新方向。

　　视频生成的第一帧（First Frame）只是时间轴的起点，是后续动画的起始画面。

　　但马里兰大学、南加利福尼亚大学、麻省理工学院的最新研究发现：第一帧的真正角色完全不是「起点」，它其实是视频模型的「概念记忆体」（conceptual memory buffer）, 所有后续画面引用的视觉实体，都被它默默储存在这一帧里。

　　该研究的出发点，源于对视频生成模型中一个广泛存在但尚未被系统研究的现象的深入思考。

　　论文的核心洞察非常大胆：视频生成模型会自动把首帧中的角色、物体、纹理、布局等视觉实体，全部「记住」，并在后续帧中不断复用。

　　换句话说，不论你给多少参考物体，模型都会在第一帧悄悄把它们打包成一个「概念蓝图（blueprint）」。

　　若首帧出现多对象组合, 在很少的情况下，通过使用特殊的转场提示词 ，模型在后续帧里能自然融合它们, 甚至能支持跨场景转场、保持角色属性一致；

　　但是这个神奇的转场提示词 对于每个模型，每个要生成的视频都是不一样的，而且模型在转场融合多物体后常常会产生物体，场景一致性损失，或者物体丢失的问题。

　　不改结构、不大规模微调，只用20–50个例子就能让任何预训练的视频模型变身强大的「参考图驱动视频定制系统」。

　　✔ 不修改任何模型结构✔ 不需要百万级训练数据✔ 只需 20–50 个 carefully curated 的视频例子✔ 几个小时的 LoRA 训练✔ 就能实现SOTA级别的视频内容定制

　　用户只需要给模型一张包含多个物体/角色的首帧，再配一个文本prompt，FFGo就能让模型自动「记住」所有元素并生成交互视频, 且画面一致性、物体身份保持、动作连贯都非常强，甚至支持「多达5个参考实体同时融合」, 而 VACE/SkyReels-A2限制在3个以内，会直接漏物体。

　　用Gemini-2.5 Pro自动识别前景物体, 用SAM2提取RGBA mask, 自动生成视频文本描述,构建适配视频模型输入的训练样本, 这大大降低了手工工作量。

　　LoRA学到的不是新能力，而是「如何触发这些能力」，推理时只需丢掉前4帧（Wan2.2的压缩帧）

　　研究人员做了大量对比实验：✔ FFGo 能保持物体身份一致性（Identity Preservation）✔ 能处理更多参考对象（5个 vs 3个）✔ 能避免大模型微调带来的「灾难性遗忘」✔ 输出画面更自然、更连贯

　　特别是在多物体场景和通用的多物体互动场景下 FFGo的生成效果显著优于VACE和SkyReels-A2。

　　在研究FFGo的过程中，有一个特别关键的实验图示值得单独拿出来说：在偶尔的、极罕见的情况下，Wan2.2原始I2V模型也能完成一次「完美」的任务：

　　如果只看这一组结果，你甚至会以为原始模型本身就具备稳定的多对象融合能力。

　　但事实恰恰相反，成功的意义并不在于「基础模型表现很好」，而是在于：基础模型本来就「拥有」这种能力，只是大多数时候无法被稳定激活。

　　✔ 视频生成模型确实会把多个参考实体存进第一帧的内部记忆结构中✔ 视频模型本身能执行「多对象+动作一致」的生成✔ 但这种行为默认几乎不可控、不稳定、难复现

　　这就像模型体内藏着一块「隐藏 GPU」，偶尔会亮一下，但你完全不能指望它全天候工作。

　　在上述对比中，FFGo的结果与原始模型的「偶尔成功结果」几乎一致，这说明：FFGo的LoRA不是在重写模型，而是在激活已有的潜在能力。

　　换句话说：原始模型=有潜力，但无法持续发挥，而FFGo=让潜力变成稳定能力（且不破坏预训练知识）

　　论文中提到，FFGo能保留原模型的生成质量，而不是像传统大规模微调那样牺牲泛化能力, 没有任何微调可以媲美预训练的数据质量和学习效果。

　　这个实验也证明了一件极具革命性的事：首帧本身就具备「概念记忆体」的角色、视频模型天生可以做多对象融合、关键只是缺乏一个「触发机制」。

　　FFGo做的就是：用几十条样本、一个精心设计的转场标记（transition phrase）、Few-shot LoRA，把这种能力重新「开机」，并且让它可控、稳定、可靠。

　　这个实验所传达的，本质上就是一句话：视频模型已经足够强，只是我们过去一直没有找到正确的用法。

　　用一句话概括这篇论文的研究意义：它不是让模型学会新能力，而是教我们如何使用模型已经拥有但从未被正确利用的能力。

　　更聪明地使用模型，而不是更暴力地训练模型 用更少的数据、更轻的微调，获得更强的定制能力 把「首帧作为概念记忆体」变成视频生成的新范式

　　FFGo用极低成本把这种能力「唤醒」， 不改结构、不用大数据， 仅20–50个例子即可实现SOTA视频定制

　　实验覆盖机器人、驾驶、影视等多场景， 用户研究中以81.2%票数大幅领先