李飞飞谷歌破局之作
！用Transformer天生真切视频 ，下一个Pika来了？ 【新智元导读】昨天

【新智元导读】昨天 ，李飞李飞飞携斯坦福携手谷歌 ，飞谷用Transformer天生了真切视频，歌破个效验媲美Gen-2比肩Pika 。作用2023年犹如已成AI视频元年!

视频大数据时期 ，切视真的频下出国劳务派遣公司收费标准来了!

适才，李飞飞的李飞斯坦福团队同谷歌协作，推出了用于天生真切视频的飞谷散布模子W.A.L.T。

这是歌破个一个在同享隐蔽空间中训练图像和视频天生的 ，鉴于Transformer的作用散布模子。

论文:https://walt-video-diffusion.github.io/assets/W.A.L.T.pdf

英伟达高级迷信家Jim Fan转发谈论道:2022年是切视影像之年  ，2023是频下声波之年，而2024，李飞是飞谷视频之年!

最先 ，钻研职员运用因果编码器在同享隐蔽空间中中断图像和视频 。歌破个

其次，为了提升影象和训练作用
，钻研职员运用鉴于窗口注重的变压器架构来停止隐蔽空间中的团结空间和时刻天生建模
。

钻研职员的模子能够依据做作语言提醒天生真切的、时刻一致的运动:

A Teddy bear skating carefully in Times Square，Slow Motion/一只泰迪熊在时期广场上优雅的溜冰
，慢作为

Pouring chocolate sauce over vanilla ice cream in a cone ， studio lighting/将巧克力酱倒在香草冰淇淋甜筒上，职责室灯光

An stronaust riding a horse/一位宇航员骑着马

A squirrel eating a burger/一只松鼠在吃汉堡

A panda taking a selfie/一只正在自拍的熊猫

An elephant wearing a birthday hat walking on the beach/一头戴着华诞帽的大象在海滩下行走

Sea lion admiring nature， river，江苏正规出国劳务公司 waterfull
， sun， forest/海狮欣赏做作，河流 ，瀑布，阳光 ，森林

Pouring latte art into a silver cup with a golden spoon next to it/在银杯中停止拿铁拉花 ，中间放着金勺子

Two knights dueling with lightsabers ，cinematic action shot，日本房产extremely slow motion/两个骑士用光剑决战 ，影戏作为镜头
，极为慢作为

A swarm of bees flying around their hive/一群蜜蜂在他们的蜂巢周围飞行

这个组织还能够用图片天生视频:

A giant dragon sitting in a snow covered landscape， breathing fire/一条重大的龙占据在冰雪遮盖的地面上，喷吐着火焰

A cute panda skateboarding in the sky ， over snow covered mountains ， with a dreamy and whimsical atmosphere/一只能爱的熊猫在天空中滑滑板
，越过雪山，足够梦境和异想天开的气氛

An asteroid collides with Earth ， massive explosive ， slow motion/小行星撞上地球，大领域爆炸，慢作为

以及，天生一致性很高的3D相机运动的视频。

Cameraturns around a cute bunny ，柘城县正规出国劳务公司 studio lighting，360rotation/相机围绕一只能爱的兔子转动，职责室灯光，360度转动

Camera turns around utah teapot ，studio lighting，360rotation/相机围绕茶壶转动，职责室灯光，360度转动

Camera turns around a burger on a plate  ，studio lighting，360rotation/相机围绕盘子中的汉堡转动，职责室灯光，360度转动

网友们齰舌道 ，这些天犹如已经人手一个LLM也许图像天生器。

往年具体是AI生长的怂恿性的一年 。

两个症结决议意图，组成三模子级联

W.A.L.T的要领有两个症结决议意图。

最先，钻研者运用因果编码器在一致的隐蔽空间内团结中断图像和视频，进而完成跨模态的训练和天生 。

其次，日本求人为了提升影象和训练作用 ，钻研者运用了为空间和时空团结天生建模量身定制的窗口注重力架构
。

通过这两个症结决议意图，团队在已竖立的视频（UCF-101和 Kinetics-600）和图像(ImageNet)天生基准尝试上完成了SOTA，而无需运用无分类器指示。

最终，团队还训练了三个模子的级联 ，用于文本到视频的天生恣意
，席卷一个基础的隐蔽视频散布模子和两个视频超区分率散布模子，以每秒8帧的速率，天生512x896区分率的视频。

W.A.L.T的症结 
，是将图像和视频编码到一个同享的隐蔽空间中。

Transformer主干通过拥有两层窗口限制注重力的块来解决这些隐蔽空间——空间层捕捉图像和视频中的空间联系，而时空层师法视频中的时刻静态，并通过身份注重力掩码通报图像。

而文本调治，是通过空间交织注重终了的。

W.A.L.T解决视频天生建模难题

Transformer是高度可扩张和可并行的神经网络架构，是暂时最当红的构架 。

这种意向的特征也让钻研界越来越喜爱Transformer
，而不是语言 、音频、语音、视觉、机械人手艺等分歧畛域的一定畛域架构。

这种一致的趋向，使钻研职员能够同享分歧泄露领域的先进，这样就作育了有益于Transformer的模子设想立异和矫正的良性循环。

然则 ，有一个破例 ，就是视频的天生建模。

散布模子已成为图像和视频天生建模的抢先类型。然则，由一系列卷积层和自注重力层组成的U-Net架构一直是整个视频散布要领的主流。

这种偏好源于这样一个现实:Transformer中整体注重力体制的影象需要 ，与输入序列的长度呈二次方缩放。

在解决视频等高维信号时 
，这种缩放会致使利润太高 。

隐蔽散布模子能够通过在从自动编码器派生的低维隐蔽空间中运转，来下降算计要求。

在这种状况下，一个症结的设想选择，就是所运用的隐蔽空间的种别:空间中断 （每帧隐蔽） 与时空中断。

空间中断一般为首选，由于它能够应用预训练的图像自动编码器和LDM ，它们在庞大成对图像文本数据集长停止训练。

然则，这种选择增长了网络庞杂性，并限制了Transformer作为主干网的运用，尤为是由于内存限制而天生高区分率视频时  。

另一方面 ，纵使时空中断能够减缓这些问题，但它消除了配对图像文本数据集的运用
，后者比视频数据集更大、更千般化。

因而，钻研者提出了窗口注重力隐蔽Transformer （W.A.L.T） :一种鉴于Transformer的隐蔽视频散布模子 (LVDM) 要领。

该要领由两个阶段组成。

最先
，自动编码器将视频和图像映照到一致的低维隐蔽空间中
 。这种设想能够在图像和视频数据集上团结训练单个天生模子，并昭著增加天生高区分率视频的算计职守。

随即，钻研者提出了一种用于隐蔽视频散布建模的Transformer块的新设想，由在非重叠
、窗口限制的空间和时空注重力之间交替的自注重力层组成。

这种设想有两个主要优点——

最先，运用一面窗口注重力 ，能够昭著下降算计需要。

其次，它有益于团结训练，其中空间层自力解决图像和视频帧，而时空层致力于对视频中的时刻联系停止建模 。

纵使观念上很简朴，但团队的要领让Transformer在团体基准上隐蔽视频宣传中展现出了卓著的质量和参数作用 ，这是第一集体味证实。

详细来说，在类条件视频天生 （UCF-101） 
、帧展望 (Kinetics-600) 和类条件图像天生 (ImageNet)上
， 不运用无分类指示，就赢患有SOTA。

最终，为了注明这种要领的可扩张性和作用，钻研者还天生了真切的文本到视频天生效验
。

他们训练了由一个基础隐蔽视频散布模子和两个视频超区分率散布模子组成的级联模子，以每秒8帧的速率天生512X896区分率的视频 
，而且在UCF-101基准尝试中，赢患有SOTA的zero-shot FVC分数。

学习视觉符号

视频天生建模中的一个症结设想决议意图，就是隐蔽空间表征的选择
。

意向状况下 ，需要一个同享且一致的中断视觉表征，可用于图像和视频的天生建模。

一致的表征很主要
，这是由于由于符号视频数据（譬如文本视频对）的稀缺，团结的图像-视频学习更可取。

为了完成视频和静态图像的一致表征，第一帧终究自力于视频的其余一面停止编码。

为了将这个设想实例化  ，钻研者运用了MAGVIT-v2分词器的因果3DCNN编码器-解码器 。

一般，编码器-解码器由通例D卷积层组成
 ，它们无奈自力解决第一帧 。

而因果3D卷积层解决了这个问题 ，由于卷积核仅对已往的

帧停止支配
。

这就确保了每一个帧的输入仅受前面帧的作用，进而使模子能够自力符号第一帧 。

试验

视频天生

钻研职员斟酌了两个规范视频基准，即种别条件天生的UCF-101和带有5个条件帧的视频展望Kinetics-600。

钻研职员运用FVD 作为主要评价宗旨 。在这两个数据集上，W.A.L.T 昭著优于之前的整个职责（下表1） 。

与之前的视频散布模子相比，钻研职员在模子参数更少的状况下完成了最早进的性能，而且需要50个DDIM推理方法。

图像天生

为了验证W.A.L.T在图像畛域的建模威力
 ，钻研职员训练了一个W.A.L.T版本，用于规范的ImageNet种别条件树立 。

在评价中，钻研职员遵照ADM并演讲在50K样本上用50个DDIM方法天生的FID和Inception分数。

钻研职员将W.A.L.T与256×256区分率的最早进图像天生要领停止较为（下表2）。钻研职员的模子在不需要专门的调理、卷积总结私见、矫正的散布损失和无分类器指示的状况下优于之前的职责。纵使VDM++的FID分数略有提升，但该模子的参数显著更多(2B)。

消融试验

在运用ViT -based模子的种种算计机视觉恣意中 ，已经注明较小的补钉巨细p能够终究提升性能 。异样，钻研职员的钻研效果也注解，减小补钉巨细能够提升性能（下表3a） 。

窗口注重力

钻研职员较为了三种分歧的STW窗口设置装备铺排与全自注重（表3b）。钻研职员发现，一面自注重力能够在速率上昭著更快(高达2倍)而且增加减速器内存的需要 ，同时抵达有协作力(或更好)的性能。

文生视频

钻研者在文本-图像和文本-视频对上，团结训练了文本到视频的W.A.L.T
。

运用的是来自团体互联网和外部泉源的约970M文本-图像对 ，和约89M文本-视频对的数据集
。

定性评价

W.A.L.T依据做作语言提醒天生的示例视频，区分率为512*896，延续时刻为3.6秒，每秒8帧。

W.A.L.T模子能够天生与文本提醒一致 、时刻一致的真切视频。

钻研职员在以1或2个隐蔽帧为条件的帧展望恣意上，团结训练了模子。

因而
，模子可用于图像动画（图像到视频）和天生拥有联贯镜头运动的较长视频。

定量评介

迷信地评价文本条件视频天生系统依然是一个重要应战，部人缘由是缺少规范化的训练数据集和基准。

到暂时为止
，钻研职员的试验和综合主要集中在规范学术基准上
，这些基准运用相同的训练数据来确保受控和平正的较为  。

纵使云云
，为了与之前的文本到视频职责停止较为，钻研职员还在表5中的零样本评价协议中演讲了 UCF-101数据集的效果。

钻研职员框架的主要优势是它能够同时在图像和视频数据集长停止训练。

在上表5中，钻研职员消弭了这种团结训练要领的作用。

详细来说，钻研职员运用第5.2节中指定的默许树立训练了两个版本的W.A.L.T-L （每一个版本有419M 参数）模子
。

钻研职员发现团结训练可以使这两个宗旨都有昭著革新。

参照资料:

https://walt-video-diffusion.github.io/