Nonparametric Teaching of Implicit Neural Representations

我们通过一种新颖的非参数化教学视角，使用过度参数化的多层感知器（MLP）研究隐式神经表示（INR）的学习。后者为非参数定义（即非闭合形式）的目标函数提供了高效的示例选择框架，例如由2D像素网格定义的图像函数。为了解决INR训练的成本问题，我们提出了一种称为隐式神经教学（INT）的范例，将INR学习视为非参数化教学问题，其中被拟合的给定信号作为目标函数。然后，教师选择信号片段进行迭代训练MLP以实现快速收敛。通过建立MLP通过基于参数的梯度下降和非参数化教学中的函数演变之间的联系，我们首次表明教授过度参数化的MLP与教授非参数化学习器是一致的。这一新发现方便地允许非参数化教学算法的方便插入，从而广泛增强INR训练效率，在各种输入模式下展示了30％以上的训练时间节省。

论文旨在提高隐式神经表示（INR）的训练效率，通过将INR学习视为非参数教学问题，并提出了一种称为隐式神经教学（INT）的新范例。

论文提出了一种非参数教学框架，通过选择信号片段来迭代地训练过度参数化的MLP，以实现快速收敛。同时，论文还发现，教授过度参数化的MLP与教授非参数学习器是一致的。

论文的实验结果表明，INT可以大大提高INR训练效率，不同输入模态下的训练时间可节省30%以上。此外，论文还开源了代码和数据集。

最近的相关研究包括使用INR进行图像生成和重建的研究，以及使用MLP进行非参数回归的研究。