视频版Midjourney免费开放，一句话拍大片！PC和手机均可体验(8)

还有网友表示，使用“cinematic shot of”开头，也能让你的视频更具动感（解决了很多人试出来的视频不怎么动的问题）。

什么来头？
Gen2于今年3月20日正式发布，经历了两个多月的内测，现在终于正式上线。
它的前代Gen1只比它早了一个多月（2月发布），所以说迭代速度相当快。
作为一个基于扩散的生成模型，Gen1通过在预训练图像模型中引入时间层，并在图像和视频数据上进行联合训练，完成了潜扩散模型到视频生成领域的扩展。
其中也包括使用一种全新的引导方法完成了对生成结果时间一致性的精确控制。
其架构如图所示：

在训练阶段，先用固定编码器将输入视频x编码为z0，并扩散为zt。
然后对MiDaS获得的深度图进行编码，提取出结构表示s；再用CLIP对其中一个帧进行编码来获取内容表示c。
接着，在s的帮助下，模型学习反转潜空间中的扩散过程（其中s与c以及通过交叉注意块生成的c相连）。
在推理阶段，模型以相同的方式提供输入视频的结构s。
为了通过文本生成内容，作者还通过一个prior将CLIP文本嵌入转换为图像嵌入。
最终，Gen1可以生成细粒度可控的视频，也能对一些参考图像进行定制。
不过，一开始对公众发布的Gen1只能对已有视频进行编辑，Gen2才直接完成了文生视频的“蜕变”。
并且一口气带来了另外7大功能，包括文本 参考图像生视频、静态图片转视频、视频风格迁移等等。
这样的Gen2，也在内测阶段就被网友称赞“视频界的Midjourney”。