谷歌研究根据静止照片学习天生3D周游视图

检察引用/信息源请点击：映维网Nweon

利用仅以静止照片练习的体系产生高分辨率、高质量的Flythroughs飞行周游视图

（映维网Nweon2022年11月14日）我们生存的地球拥有雄伟的山脉、壮丽的海洋和清静的森林。你能想象小鸟飞过这种细节丰富的三维景观时所看到的景致吗？盘算性能学会合成这种视觉体验吗？显然，如许的本事可以为游戏和VR体验提供新的内容。

在名为“Infinite Nature”的研究中，谷歌探索了可以根据静止照片来学习天生这种Flythroughs飞行周游视图。这是亘古未有的突破性本事。谷歌将潜伏的研究标题称为Perpetual View Generation连续视图天生：给定一个场景的单个输入视图，怎样合成一组对应于通过所述场景恣意长度的、由用户控制3D路径的逼真输出视图？

Perpetual View Generation连续视图天生非常具有挑衅性，由于体系必须在大型地标（比方山脉）的另一侧天生新内容，并以高逼真度和高分辨率渲染新内容。

颠末一番积极后，由谷歌、康奈尔大学、加利福尼亚大学伯克利分校构成的团队于ECCV 2022展示的InfiniteNature Zero可以从单个种子图像开始，利用仅以静止照片练习的体系产生高分辨率、高质量的Flythroughs飞行周游视图。如下面这个视频所示：

*InfiniteNature Zero天生的Flythroughs飞行周游视图。它可以获取自然场景的单个输入图像，并合成相应的飞行周游路径，从而天生新的场景内容。

被页竞从视频中学习3D飞行周游视图

现实上，谷歌早早就已经开始探索干系的方案。在2021 ICCV大会，团队展示了自己的研究《Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image》。这是一种根据视频学习的方案。他们网络了一组无人机从沿海岸线飞行拍摄的在线视频，并由AI学习合成雷同于所述真实视频的Flythroughs飞行周游视图。

这组在线视频称为Aerial Coastline Imagery Dataset（ACID）。然而，为了学习怎样合成动态相应任何所需3D camera路径的场景，不能简朴地将所述视频视为原始像素聚集。团队同时必须盘算它们的根本3D多少结构，包罗每帧的camera位置。

研究的根本头脑是，渐渐学习天生Flythroughs飞行周游视图。给定一个起始视图，如下图中的第一幅图像，团队起首利用单图像深度猜测方法盘算深度图。然后，利用深度图将图像向前渲染到一个新的camera视点（如中央所示），并从所述新视点天生一个新图像和深度图。

然而，这个中央图像存在肯定的标题：我们可以看到物体背面的地区，但这种地区在起始图像中不可见。别的，它非常暗昧，由于我们现在更靠近物体，而我们是在拉伸前一帧的像素以渲染现在近看更大的对象。

为相识决所述标题，谷歌练习了一个获取低质量的中央图像，并输出完备的高质量图像和相应深度图的神经图像细化网络。然后，可以重复步调，以所述合成图像作为新的出发点。由于团队对图像和深度图都举行了细化，以是这个过程可以根据须要重复多次。当camera进一步进入场景时，体系会自动学习天生新的风景，如山脉、岛屿和海洋。

谷将这种方法称为“渲染-细化-重复”。接下来，谷歌利用ACID数据集练习这种渲染-细化-重复合成方法。特殊是，从数据会合采样一个视频，然后从所述视频中采样一帧。然后，利用所述方法渲染沿着与ground truth视频雷同的camera轨迹移动参加景中的新视图，并将渲染帧与相应的ground truth帧举行比力，从而导出练习信号。研究职员同时包罗一个对抗性设置，将合成帧与真实图像区分开来。

以是，体系可以天生精彩的Flythroughs飞行周游视图，如项目网页所示。与以往的视频合成方法差异，这个方法允许用户交互式地控制camera，并可以天生更长的camera路径。

从静止照片中学习Flythroughs飞行周游视图

探求具有准确camera运动范例的高质量视频是一项挑衅，而且单个视频帧的质量通常无法与故意拍摄的自然照片相比力。以是在《InfiniteNature-Zero: Learning Perpetual View Generation of Natural Scenes from Single Images》这项研究中，由谷歌、康奈尔大学、加利福尼亚大学伯克利分校构成的团队以上述渲染细化重复战略作为根本，并计划了一种从静态照片聚集学习连续视图合成的方法，无需任何视频。他们将这种方法称为InfiniteNature Zero，不须要任何视频。

在一开始，这似乎是一项不大概完成的使命：都是孤立的照片，怎样练习模子天生场景的Flythroughs飞行周游视图呢？

为相识决这个标题，团队提出了一个关键的看法：假如拍摄一张图像并渲染一个形成cycle的camera路径，亦即路径循环返回，使得末了一个图像与第一个图像都来自同一个视点，如许就能知道沿着所述路径的末了一个合成图像应该与输入图像雷同。这种cycle同等性提供了一种练习束缚，可以资助模子在视图天生的每个步调中学习添补缺失地区并进步图像分辨率。

然而，利用这种camera cycle举行练习不敷以天生长而稳固的视图序列，以是团队纳入了一种对抗战略，思量了长而非循环的camera路径。特殊是，假如从开始帧渲染T帧，研究职员会优化渲染-细化-重复模子，以便辨别器网络无法区分哪个是开始帧，哪个是终极合成帧。末了，他们添加了一个经练习以天生高质量天清闲区的组件，从而进步结果的真实感。

有了上述看法，团队利用可以从网络大量获取的风景照片来练习InfiniteNature Zero。下面的视频展示了InfiniteNature Zero的结果。可以看到，它可以沿着恣意长的camera路径天生漂亮多彩的自然风光。谷歌指出，与先前的工作以及先前的视频合成方法相比，InfiniteNature Zero的结果在内容质量和多样性方面都有了明显的改进。

结论

干系论文：

InfiniteNature-Zero: Learning Perpetual View Generation of Natural Scenes from Single Images

https://paper.nweon.com/13437

团队总结道，这项研究存在一系列令人高兴的将来方向。比方，所述方法现在仅基于前一帧及其深度图合成场景内容，没有长期的底层3D表现。以是，团队接下来将研究可以天生完备的、逼真的、同等的3D天下的算法。