Fully invertible hyperbolic neural networks for segmenting large-scale surface and sub-surface data

由于地球科学和遥感数据的大空间/时间/频率尺度，使用卷积神经网络进行（亚）表面数据分割时会出现内存问题。最近开发的完全可逆或完全可逆网络可以通过在网络反向传递过程中重新计算状态来避免内存限制。这导致存储网络状态的内存需求低且固定，而不是随着网络深度的增加而线性增长。本文重点介绍了一种基于电报方程的完全可逆网络。虽然可逆性通过数据节省了深度网络中使用的大量内存，但如果完全可逆网络包含多个可逆池化/粗化层，则卷积核可能占用大部分内存。我们通过将完全可逆网络与直接以压缩形式包含卷积核的层相结合来解决卷积核数量的爆炸性增长问题。第二个挑战是，可逆网络输出与其输入大小相同的张量。这种特性阻止了将可逆网络直接应用于将不同输入输出尺寸映射到一起的应用程序，需要将输出映射到比输入数据中存在的通道更多的输出，或者希望输出相对于输入数据降低/增加分辨率的情况。然而，我们展示了通过以非标准方式使用可逆网络，仍然可以将它们用于这些任务。在高光谱土地利用分类、空中地球物理勘测和地震成像的示例中，我们可以一次输入大量数据，并且不需要处理小块、使用降维或采用将一个补丁分类为单个中心像素的方法。

解决使用卷积神经网络进行地球科学和遥感数据分割时的内存问题，提出使用完全可逆网络来解决此问题。

使用完全可逆网络来解决卷积神经网络内存问题，并通过压缩卷积核和非标准应用可逆网络来解决其他问题。

论文提出的完全可逆网络能够解决卷积神经网络在处理大数据时的内存问题，同时也能够处理输入输出维度不同的情况。实验使用了多个数据集来验证算法的有效性，并且开源了代码。

与本文相关的研究包括使用可逆网络进行图像分割的研究，以及使用卷积神经网络进行地球科学和遥感数据分割的研究。