来自爱可可的前沿推介

K-Planes: Explicit Radiance Fields in Space, Time, and Appearance

S Fridovich-Keil, G Meanti, F Warburg, B Recht, A Kanazawa
[UC Berkeley & Istituto Italiano di Tecnologia & Technical University of Denmark]

K-Planes: 空间、时间和外观的显式辐射场

要点:

  1. 提出 k-planes，一种任意维度辐射场白盒模型；

  2. 用 d 选择 2 个平面来表示 d 维场景，提供了一个从静态(d=3)到动态(d=4)场景的无缝方式；

  3. 平面分解允许轻松添加特定于维的先验，例如时间平滑性和多分辨率空间结构。

一句话总结:
提出 k-planes，一种白盒模型，用基于习得色彩基的线性特征解码器来表示任意维度的辐射场，实现了竞争性能和高效优化，允许轻松添加特定于维的先验。

论文地址：https://arxiv.org/abs/2301.10241

摘要：
本文提出 k-planes，一种任意维度辐射场白盒模型。使用 d 选择 2 个平面来表示 d 维场景，提供了一个从静态(d=3)到动态(d=4)场景的无缝方式。这种平面因子化使得添加特定维度的先验因素变得容易，例如时间平滑性和多分辨率空间结构，并得到一个场景的静态和动态成分的自然分解。本文用一个基于习得色彩基的线性特征解码器，其性能与非线性黑盒 MLP 解码器相似。在一系列合成的和真实的、静态的和动态的、固定的和变化的外观场景中，k-planes 产生了有竞争力的、最先进的重建保真度，内存使用率低，在一个完整的4D网格上实现了1000倍的压缩，并通过纯PyTorch实现快速优化。

We introduce k-planes, a white-box model for radiance fields in arbitrary dimensions. Our model uses d choose 2 planes to represent a d-dimensional scene, providing a seamless way to go from static (d=3) to dynamic (d=4) scenes. This planar factorization makes adding dimension-specific priors easy, e.g. temporal smoothness and multi-resolution spatial structure, and induces a natural decomposition of static and dynamic components of a scene. We use a linear feature decoder with a learned color basis that yields similar performance as a nonlinear black-box MLP decoder. Across a range of synthetic and real, static and dynamic, fixed and varying appearance scenes, k-planes yields competitive and often state-of-the-art reconstruction fidelity with low memory usage, achieving 1000x compression over a full 4D grid, and fast optimization with a pure PyTorch implementation.


图片
图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除