Improving Shift Invariance in Convolutional Neural Networks with Translation Invariant Polyphase Sampling

下采样算子会破坏卷积神经网络(CNNs)的平移不变性，这会影响CNNs学习到的特征的鲁棒性，即使是小的像素级平移也会受到影响。通过大规模的相关分析框架，我们研究了CNNs的平移不变性，检查了现有的下采样算子在最大采样偏差(MSB)方面的存在，并发现MSB与平移不变性呈负相关。基于这一关键洞见，我们提出了一种可学习的池化算子，称为平移不变多相采样(TIPS)，并对TIPS的中间特征映射进行了两种正则化，以减少MSB并学习平移不变表示。TIPS可以集成到任何CNN中，并且可以在较小的计算开销下进行端到端的训练。我们的实验表明，与以前的方法相比，TIPS在图像分类和语义分割的多个基准测试中表现出了一致的精度、平移一致性和平移保真度的提高，并且在对抗和分布鲁棒性方面也有所改善。与所有以前的方法相比，TIPS的MSB最低，从而解释了我们强有力的实证结果。

本文旨在解决下采样操作破坏卷积神经网络（CNN）的平移不变性，从而影响CNN学习到的特征对于即使是小的像素级平移的鲁棒性。研究通过大规模相关性分析框架，检查现有的下采样操作在最大采样偏差（MSB）方面的表现，并发现MSB与平移不变性呈负相关。基于这一关键洞见，提出了一种可学习的池化操作——Translation Invariant Polyphase Sampling（TIPS），并对TIPS的中间特征图进行了两种正则化，以减少MSB并学习平移不变表示。

本文提出了一种新的可学习的池化操作——TIPS，可以减少最大采样偏差（MSB）并学习平移不变表示。TIPS可以集成到任何CNN中，并可以通过微小的计算开销进行端到端训练。

本文的实验结果表明，与以前的方法相比，TIPS在多个图像分类和语义分割基准测试中均表现出一致的性能提高，包括准确性、平移一致性和平移保真度，并且还提高了对抗和分布鲁棒性。TIPS相对于所有以前的方法都具有最低的MSB，从而解释了我们的强实证结果。

与本文相关的研究包括但不限于：《A Comprehensive Survey on Convolutional Neural Networks for Image Classification》、《Shift-invariance and optimal representations for convolutional neural networks》、《Deep Convolutional Networks as shallow Gaussian Processes》等。