当前位置:首页 > 内容聚合

新图像合成模型LCM SD生成图片推导步骤减少至4步! 新图像合型为了解决这个问题

站长之家()10月24日 消息:图像合成是新图像合型计算机视觉领域的一个重要研究方向,目标是成模根据给定的条件生成逼真的图像。近年来,生成潜在扩散模型(LDM)在这方面取得了显著的图片推导瀛洲国际出国劳务公司怎么样成果 ,能够生成高分辨率和高质量的步骤图像 。然而,减少LDM的至步一个主要缺点是它们需要进行多次迭代的采样过程,导致生成速度缓慢。新图像合型

为了解决这个问题,成模本文受一致性模型的生成启发 ,提出了一种新的图片推导出国劳务正规公司10大排名图像合成模型 ,称为潜在一致性模型(LCM) 。步骤LCM可以利用任何预训练的减少LDM,包括稳定扩散模型(SD),至步并通过少步推理生成高分辨率的新图像合型图像 。LCM的泰安出国劳务公司哪家好核心思想是将引导反向扩散过程视为求解一个增广概率流ODE(PF-ODE),并设计一个网络来直接预测该ODE在潜在空间中的解 ,从而减少迭代次数和计算量  。

新图像合成模型LCM SD生成图片推导步骤减少至4步! 新图像合型为了解决这个问题

LCM可以从预训练的无分类器引导扩散模型中有效地提取出来,在只需要32个A100GPU小时的训练时间内 ,就可以生成768×768分辨率的高质量图像 。日本求人以往我们用 SD 生成图片起码需要20步的推导步骤 ,但是使用 LCM 只需要4步就行  ,从一些测试结果看6-8步可能是一个理想的步骤。

项目地址:https://latent-consistency-models.github.io/

这个技术可以让4090在1秒钟生成10张512X512大小的图片.如果可以用在 Animetadiff 中的话可以大幅提高视频生成效率。

此外 ,论文还介绍了一种新的微调方法,称为潜在一致性微调(LCF),它专门用于在定制的图像数据集上微调预训练的LCM。LCF不需要教师扩散模型,只需要少量数据和训练步骤 ,就可以使LCM产生具有定制风格的图像。

论文在LAION-5B-Aesthetics数据集上对LCM进行了评估 ,结果表明LCM在文本到图像生成任务上达到了最先进的性能,并且具有快速 、高保真 、低失真和低噪声等优点。

论文还展示了LCM使用LCF在Pokemon和Simpsons两个定制数据集上生成图像的效果 ,证明了LCM具有良好的泛化能力和适应能力 。

本文为图像合成领域提供了一种新颖且有效的方法 ,不仅提高了生成速度和质量  ,还降低了训练成本和数据需求 。本文也为进一步探索潜在空间中的一致性和结构提供了一个有益的尝试 。

分享到: