Learning by Reconstruction Produces Uninformative Features For Perception

输入空间重构是一种有吸引力的表示学习范例。尽管重构和生成的可解释性，我们发现学习重构与学习感知之间存在不匹配。我们表明，前者将模型的容量分配到数据的子空间中，该子空间解释了观察到的方差——这是后者中无信息特征的子空间。例如，将图像投影到解释90％像素方差的顶部子空间上的TinyImagenet监督任务可以通过45％的测试准确度解决。相反，使用仅解释20％像素方差的底部子空间可以达到55％的测试准确度。学习感知的特征最后被学习，这解释了长时间训练的必要性，例如使用蒙版自动编码器。通过去噪学习是缓解这种不匹配的流行策略。我们证明了，虽然一些噪声策略（如蒙版）确实有益，但其他策略（如加性高斯噪声）则不是。然而，即使在蒙版的情况下，我们发现收益也会因掩码的形状、比例和考虑的数据集而有所不同。虽然在没有感知任务的知识的情况下调整噪声策略似乎很具有挑战性，但我们提供了第一个线索，以便检测噪声策略是否从未有益，无论感知任务如何。

论文试图解决学习数据重构与学习感知之间的不一致性问题，即重构学习分配模型能力到解释观察方差的数据子空间，但这些子空间可能对于感知学习来说是无信息的。

通过研究重构学习和感知学习之间的不一致性，论文证明了学习数据重构并不一定能够提高感知学习的准确性，提出了通过加噪声的方式来解决这个问题。

论文使用了TinyImagenet数据集进行实验，并发现使用底部子空间可以获得更高的测试准确率。此外，论文还研究了不同的加噪声策略对于解决不一致性问题的效果，并提供了一些启示来检测噪声策略是否有益。

相关研究包括学习表示的其他方法，如对抗生成网络和变分自编码器，以及更好地理解模型学习的方法，如可视化和可解释性的研究。