只要2分钟 ，单视图3D天生又快又好 ！北京大学等提出崭新Repaint123要领 嗣后重新视角Vn渲染3D点云Pr

DDIM Inversion

为了遗失粗模阶段天生的只分钟单崭新3D一致的低频纹理信息，作者运用DDIM Inversion将图像反演到详情的视图生又latent， 为后续去噪天生忠实一致的天提出图片做前提
 。

Controllable Denoising

为了掌握若干一致与长程纹理一致，快又在去噪阶段作者运用ControlNet引入粗模渲染的好北出国劳务招聘信息普工深度图作为若干先验， 注入参照图的只分钟单崭新出国劳务信息网真的假的Attention特征停止纹理转嫁 。

同时 ，视图生又为了执行Classifier-free guidance提升图像质量 ，天提出论文运用CLIP将参照图编码为image prompt提醒去噪网络。快又

Obtain Occlusion Mask

为了从渲染进去的好北图像In和深度图­­Dn的新颖视图中赢得遮拦掩码Mn，在给定Ir和Dr的只分钟单崭新重绘参照视图Vr条件下
，作者最先通过运用深度Dr缩放来自Vr的视图生又2D像素点至3D点云
，嗣后重新视角Vn渲染3D点云Pr，天提出出国劳务信息在哪可以获得失去深度图Dn'。快又

作者以为两个新颖视图深度图（Dn和Dn'）之间拥有分歧深度值的好北区域是遮拦掩码中的遮拦区域。

Progressively Repainting both Occlusions and Overlaps

为了确保图像序列重相邻图像的重叠区域像素级别对齐，作者运用了渐进式一面重绘的政策，在保庄重叠区域稳定的状况下天生折衷一致的左近区域  ，从参照视角依次类推到360° 。

然则如图3所示 ，作者发现重叠区域异样需要停止细化，日本找活由于一个之前斜视的区域在重视时其可视区分率变大 ，需要增补更多的高频信息。

为了选择适宜的细化强度使得在提升质量的同时确保忠实度 ，作者自创投影定理与图像超分的头脑，提出了一种简朴直接的能见度可感知的重绘政策来细化重叠区域 ，另细化强度即是1-cosθ*（其中θ*为之前整个相机视角与所视外面法向量夹角的最大值），进而自顺应地重绘重叠区域。

图3:相机视角与细化强度的联系

倏地高质量的3D重修:

如图4所示，作者选择了两阶段要领，先运用Gaussian Splatting意味来倏地天生正当的若干和毛糙的纹理 ，同时借助上述天生的多视角一致的高质量图像序列， 作者得以运用简朴的MSE loss停止倏地的3D纹理重修
。

图4:Repaint123两阶段单视角3D天生框架

试验效果

作者较为了多个单视图天生恣意要领，在RealFusion15和Test-alpha数据集上赢患有一致性 、质量、速率三方面最早进的效验  。

单视图3D天生可视化较为

单视图3D天生定量较为

消融试验

同时，作者也对论文运用的每一个模块的有用性以及视角转化增量停止了消融试验:

参照资料:

https://github.com/PKU-YuanGroup/repaint123