划重心: 🔍 Meta的频模频人 Fairy是一个倏地的视频到视频综合模子 ,展现了 AI 怎样为视频编纂带来更多创作自在
。盈替 🔍 Fairy 运用交织帧体贴体制,换视确保时刻上的物转出国劳务去澳大利亚怎么样一致性和高保真度剖析。 🔍 Fairy 比之前的变作模子快44倍 ,但在解决静态情况效验方面仍生存一些问题
。频模频人 ()1月8日 音讯:Meta 的盈替 GenAI 团队推出了名为 Fairy 的视频到视频综合模子 ,该模子比现有模子更快
,换视时刻上更一致。物转钻研团队展现了 Fairy 在几个运用中的变作展现
,席卷脚色 / 物体替换,频模频人最适合华人移民的国家排名作风化和长形势视频天生。盈替 譬如,换视只要简朴的物转文本提醒,如 “仿梵高作风”,变作就足以编纂源视频
。澳大利亚出国务工正规劳务公司譬如 ,文本下令 “形成雪人” 将视频中的宇航员形成了雪人
。 Fairy 的视觉联贯性是一个尤其拥有应战性的问题 ,由于鉴于相同提醒有没有数种要领能够修正给定的图像。Fairy 运用交织帧体贴体制,这是一种隐式宣传散布特征的体制,确保了优越的时刻联贯性和高保真度的剖析。 该模子能够在仅14秒内天生巨细为512x384像素
、日本企业直聘120帧(30fps 下的4秒)的视频,比之前的模子最少快44倍 。与 Meta 的 Emu 视频模子一致
,Fairy 是鉴于用于图像解决的散布模子,通过了视频编纂的增强。 Fairy 在解决源视频的整个帧时一直止时刻降采样或帧插值,并依旧了512的水准输入视频的纵横比 。在运用六个 A100GPU 停止尝试时 ,Fairy 能够在71.89秒内渲染一个27秒的视频,并依旧高度的视觉一致性 。 Fairy 的性能在一个蕴涵1000个天生样本的普遍用户钻研中停止了尝试。不论是人类推断照样定量宗旨都注明,Fairy 的展现优于 Rerender
、TokenFlow 和 Gen-1这三个模子
。 然则,该模子暂时在解决如雨、失火或闪电等静态情况效验方面生慰问题
,这些效验要末无奈很好地融入整体场景
,要末会孕育发生视觉同伴
。 纵使生存这些问题 ,钻研团队以为他们的职责在 AI 视频编纂畛域代表了一次重要希望,拥有对时刻一致性和高质量视频剖析的厘革性要领 。 Fairy项目体验网址:https://top.aibase.com/tool/fairy