Machine Learning Techniques for Data Reduction of Climate Applications

科学家们进行大规模的模拟来计算从原始数据中得出的感兴趣的衍生量（QoI）。通常，QoI与特定的特征、区域或时间间隔相关联，因此可以自适应地减少数据而不影响QoI的完整性。对于许多时空应用程序，这些QoI本质上是二进制的，并表示物理现象的存在或不存在。我们提出了一种流水线压缩方法，首先使用基于神经网络的技术来推导出QoI高度可能存在的区域。然后，我们使用保证自编码器（GAE）来压缩具有差分误差边界的数据。GAE使用QoI信息来仅对这些区域应用低误差压缩。这导致总体高压缩比，同时仍实现模拟或数据收集的下游目标。针对从E3SM模拟模型生成的气候数据的下游量，如热带气旋和大气河流的检测和跟踪，我们呈现了实验结果。这些结果表明，我们的方法优于文献中的可比方法。

本文旨在提出一种适用于大规模模拟数据的压缩方法，该方法可以通过神经网络技术确定可能存在QoI的区域，并使用保证自编码器（GAE）对数据进行压缩，从而实现高压缩比和保持QoI完整性的目标。

本文的关键思路是使用神经网络技术确定可能存在QoI的区域，然后使用保证自编码器（GAE）对这些区域进行低误差压缩，从而实现高压缩比和保持QoI完整性的目标。

本文的亮点包括使用神经网络技术确定可能存在QoI的区域，使用保证自编码器（GAE）对这些区域进行低误差压缩，并在气候数据的实验中展示了该方法的优越性。

在这个领域中，最近的相关研究包括使用基于熵编码的方法进行数据压缩和使用深度学习技术进行数据压缩。