一项新研究展示神经网络 3D 场景 NeRF 可面向 VR

　　NeRF 指的是神经网络中的 3D 场景，一项新研究为动态场景打开了AI技能。

　　神经辐射场 （NeRF）从图像中学习 3D 表现，然后可以渲染 3D 场景，比方从从前看不见的角度。这允许在物体四周举行 360 度摄像机移动、无人机录制游览或穿越餐厅内部。该技能还可用于天生逼真的 3D 对象。

　　然而，在险些全部环境下，这些都是静态场景或物体，由于活动在训练过程中引入了迄今为止难以办理的时间维度。

　　在一篇新的研究论文中，来自布法罗大学、苏黎世联邦理工学院、InnoPeak和蒂宾根大学的团队展示了 从 2D 图像中学习 4D 表现的 NeRF 动态场景。

　　该演示以来自差别相机或单个移动相机的 RGB 图像用作输入。比方，在镜头中可以看到移动的人或有人将咖啡倒入玻璃杯中。

　　为了使场景可学习，团队将动态场景分为三种时态模式：静态、变形和新地区。比方，在咖啡的环境下，玻璃杯地点的木板保持静止。玻璃的内容物看起来是新的，可见的手变形了。分解场担当将场景分别为三个种别，每个地区都有专属神经域。

　　在他们的方法中，研究职员还分离了时间和空间维度，以改善代表性。

　　与其他方法相比，动态场景的分解表现明显镌汰了视觉伪影。该团队还利用 NeRFPlayer 来演示一种以有限比特率及时流式传输学习表现的方法。

　　得益于 Nvidia InstantNGP框架，该框架允许神经网络在几秒钟内学习千兆像素图像、3D 对象和 NeRF 表现，所提出的方法也很快。

　　在工作中，该团队将捏造现实的“真实 4D 时空环境”的视觉探索形貌为一种愿景，并将本身的工作视为对这一目标的贡献。该论文指出：“在 VR 中自由地对真实的 4D 空间举行视觉探索是一项长期的任务。当仅利用几个乃至单个 RGB 相机来捕获动态场景时，这项任务特殊有吸引力。”