1张图2分钟转3D ！纹理质量、多视角一致性新SOTA｜北京大学出品 天生忠实一致的性新图像

1 、张图转D质量天生拥有多视角一致性的分钟高质量图像序列

天生拥有多视角一致性的高质量图像序列分为以下三个一面:

△多视角一致的图像天生流程

DDIM反演

为了遗失在粗模阶段天生的3D一致的低频纹理信息 ，作者选择了DDIM反演将图像反演到详情的纹理隐蔽空间 ，为后续的多视大学去噪流程奠基前提 ，天生忠实一致的性新图像。

可控去噪

为了在去噪阶段掌握若干一致性和长程纹理一致性 ，北京有资质的出国劳务公司作者引入了ControlNet，出品运用粗模渲染的张图转D质量深度图作为若干先验，同时注入参照图的分钟Attention特征停止纹理转嫁。

另外 ，纹理为了执行无分类器指导以提升图像质量 ，多视大学论文运用CLIP将参照图编码为图像提醒，性新用于指示去噪网络。北京加拿大出国劳务信息 加拿大劳务招聘

重绘

渐进式重绘遮拦和重叠一面为了确保图像序列中相邻图像的出品重叠区域在像素级别对齐，作者选择了渐进式一面重绘的张图转D质量政策
。

在保庄重叠区域稳定的同时，天生折衷一致的相邻区域 ，并从参照视竞争渐延长到360° 。

然则，加拿大华人网招工信息以下图所示  ，作者发现重叠区域异样需要停止细化，由于在重视时之前斜视的区域的可视区分率变大，需要增补更多的高频信息。

其余，细化强度即是1-cosθ*，其中θ*为之前整个相机视角与所视外面法向量夹角θ的最大值  ，进而自顺应地重绘重叠区域。日本工作

△相机视角与细化强度的联系

为了选择适量的细化强度
 ，以在提升质量的同时确保忠实度，作者自创了投影定理和图像超分的头脑，提出了一种简朴而直接的可见性感知的重绘政策来细化重叠区域  。

2、倏地且高质量的3D重修

正以下图所展现的 ，作者在停止倏地且高质量的3D重修流程中，选择了两阶段要领。

△Repaint123两阶段单视角3D天生框架

最先，他们应用Gaussian Splatting意味来倏地天生正当的若干组织和毛糙的纹理 。

同时，借助之前天生的多视角一致的高质量图像序列，作者能够运用简朴的均方瑕玷（MSE）损失停止倏地的3D纹理重修  。

一致性
、质量和速率最优

钻研职员对多个单视图天生恣意的要领停止了较为。

△单视图3D天生可视化较为

在RealFusion15和Test-alpha数据集上，Repaint123赢患有在一致性、质量和速率三个方面最抢先的效验。

同时，作者也对论文运用的每一个模块的有用性以及视角转化增量停止了消融试验:

而且发现，视角距离为60度时，性能抵达峰值 ，但视角距离过大会增加重叠区域，增长多面问题的能够性 ，因而40度可作为最佳视角距离。

论文所在:https://arxiv.org/pdf/2312.13271.pdf

代码所在:https://pku-yuangroup.github.io/repaint123/

项目体验所在:https://top.aibase.com/tool/repaint123