来自今天的爱可可AI前沿推介
[CV] HexPlane: A Fast Representation for Dynamic Scenes
A Cao, J Johnson
[University of Michigan]
HexPlane: 动态场景的快速表示
要点:
-
HexPlane 是一种动态 3D 场景的显式表示，使用六个平面的习得特征，导致了一种高效的解决方案；
-
HexPlane 具有很高的效率，将训练时间减少了100倍以上，同时实现了与之前工作相当的图像质量；
-
HexPlane 是一种简单而通用的表示方法，对底层场景的假设最小，且不依赖于变形场或特定类别的先验。
一句话总结:
HexPlane 是一种高效、显式动态 3D 场景表示，使用6个平面的习得特征，适合广泛的研究，最小化的假设，训练时间比之前的工作快100倍。
摘要：
对动态 3D 场景进行建模和重新渲染，是 3D 视觉一项具有挑战性的任务。之前的方法建立在 NeRF 的基础上，并依赖于隐性表示。这很慢，因为需要许多 MLP 的评估，限制了现实世界的应用。本文表明，动态 3D 场景可以通过六个平面的习得特征来明确表示，这导致了一个优雅的解决方案，称为 HexPlane。HexPlane 通过融合从每个平面提取的向量，来计算时空中的点特征，这是很高效的。将 HexPlane 与一个微小的 MLP 配对，以回归输出色彩，并通过体渲染进行训练，在动态场景新视图合成方面取得了令人印象深刻的结果，与之前工作的图像质量相匹配，但训练时间减少了100倍以上。广泛的消融证实了 HexPlane 的设计，并表明它对不同的特征融合机制、坐标系统和解码机制具有鲁棒性。HexPlanes 是一个简单而有效的表示 4D 体的解决方案，希望它们能广泛地促进动态 3D 场景的时空建模。
Modeling and re-rendering dynamic 3D scenes is a challenging task in 3D vision. Prior approaches build on NeRF and rely on implicit representations. This is slow since it requires many MLP evaluations, constraining real-world applications. We show that dynamic 3D scenes can be explicitly represented by six planes of learned features, leading to an elegant solution we call HexPlane. A HexPlane computes features for points in spacetime by fusing vectors extracted from each plane, which is highly efficient. Pairing a HexPlane with a tiny MLP to regress output colors and training via volume rendering gives impressive results for novel view synthesis on dynamic scenes, matching the image quality of prior work but reducing training time by more than 100×. Extensive ablations confirm our HexPlane design and show that it is robust to different feature fusion mechanisms, coordinate systems, and decoding mechanisms. HexPlanes are a simple and effective solution for representing 4D volumes, and we hope they can broadly contribute to modeling spacetime for dynamic 3D scenes.
评论
沙发等你来抢