Rasterized Edge Gradients: Handling Discontinuities Differentiably

计算渲染过程的梯度对于计算机视觉和图形学的各种应用至关重要。然而，由于不连续性和渲染近似，特别是对于基于表面表示和栅格化渲染，准确计算这些梯度是具有挑战性的。我们提出了一种新的方法，用于计算基于栅格化的可微分渲染器中的可见性不连续处的梯度。我们的方法通过精心设计的近似策略，优雅地简化了传统上复杂的问题，从而实现了简单、有效和高性能的解决方案。我们引入了微边缘的新概念，使我们能够将栅格化图像视为与固有的不可微分的离散像素栅格化对齐的可微分连续过程的结果。这种技术消除了渲染近似或对正向传递的其他修改的必要性，保持了渲染图像的完整性，使其适用于栅格化掩模、深度和法线图像，其中过滤是禁止的。利用微边缘简化了不连续性处的梯度解释，并能够处理几何交点，优于现有技术。我们在动态人头场景重建中展示了我们的方法，展示了对相机图像和分割掩模的有效处理。

如何在基于光栅化的可微分渲染器中计算可视性不连续性处的梯度？

通过设计微边缘的概念，将光栅化图像视为与本质上不可微分的离散像素光栅化对齐的可微连续过程的结果，从而简化了传统复杂的问题，消除了渲染逼近或其他修改前向传递的必要性，保持了渲染图像的完整性。

论文提出了微边缘的概念，使得在不连续性处的梯度解释变得简单，并且能够处理几何交叉，具有优势。论文展示了在动态人头场景重建中的应用，展示了对相机图像和分割掩模的有效处理。

最近的相关研究包括：Differentiable Rendering: A Survey (2021); Neural 3D Mesh Renderer (2020); Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer (2019)