NeurTV: Total Variation on the Neural Domain

最近，我们见证了总变差（TV）在许多成像应用中的成功。然而，传统的TV是定义在原始像素域上的，这限制了它的潜力。在这项工作中，我们提出了一种新的TV正则化，它是在神经域上定义的。具体而言，离散数据通过深度神经网络（DNN）进行连续和隐式表示，我们使用DNN输出相对于输入坐标的导数来捕捉数据的局部相关性。与原始域上的经典TV相比，所提出的神经域上的TV（称为NeurTV）具有两个优点。首先，NeurTV不仅适用于网格数据，也适用于非网格数据。其次，由于神经域的隐式和连续性质，NeurTV可以更准确地捕捉跨数据的任何方向和任何阶导数的局部相关性。我们在变分逼近框架下理论上重新解释了NeurTV，这使我们建立了经典TV和NeurTV之间的联系，并激发了我们开发变体（例如任意分辨率的NeurTV和空间变异的NeurTV）的灵感。对于网格数据（例如彩色和高光谱图像）和非网格数据（例如点云和空间转录组学），广泛的数值实验展示了所提出方法的有效性。

本论文旨在提出一种新的基于神经域的总变差（TV）正则化方法，以解决传统TV在像素域中的限制问题，同时适用于网格和非网格数据。

该论文提出了一种基于神经网络的总变差正则化方法，通过神经网络输出的导数来捕捉数据的局部相关性，相比传统TV在像素域中的限制，该方法不受网格限制，能够更准确地捕捉数据的局部相关性。

论文通过实验展示了该方法在网格数据（如彩色和高光谱图像）和非网格数据（如点云和空间转录组学）上的有效性，并提出了该方法的变种，如任意分辨率的NeurTV和空间变体NeurTV。论文还解释了NeurTV在变分近似框架下的理论重新解释，并启示我们建立经典TV和NeurTV之间的联系。

最近在这个领域中，还有一些相关研究，如《A Convolutional Neural Network for Real-time 3D Point Clouds Processing with 1D Feature Learning》和《PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation》。