Soft Matching Distance: A metric on neural representations that captures single-neuron tuning

常见的神经表示（不）相似度测量方法旨在对神经激活空间的旋转和反射不敏感。由于单个神经元的调谐可能很重要，因此最近出现了对表示（不）相似度进行更严格定义的兴趣，这需要在网络之间逐个匹配神经元。当两个网络具有相同的大小（即具有相同数量的神经元）时，可以通过优化神经元索引排列来制定距离度量，以最大化调谐曲线的对齐。然而，如何将此度量推广到测量不同大小的网络之间的距离尚不清楚。在这里，我们利用与最优传输理论的联系，基于“软”排列导出一种自然的推广。所得到的度量是对称的，满足三角不等式，并可解释为两个经验分布之间的Wasserstein距离。此外，我们提出的度量避免了替代方法所遭受的反直觉结果，并捕捉到完全被旋转不变度量所忽略的神经表示的补充几何见解。

论文试图解决如何测量神经表示（不）相似性的问题，尤其是在不同大小的网络之间。同时，论文还试图探究旋转不变度量方法无法捕捉到的神经表示的几何洞察力。

论文提出了一种基于“软”置换的距离度量方法，将其与最优输运理论联系起来。该方法可以将神经元的匹配问题转化为经验分布的距离度量问题。相比于当前领域的研究，该方法在测量不同大小的网络之间的距离时具有更好的性质。

论文通过实验验证了该方法的有效性，并比较了该方法与其他距离度量方法的性能。实验使用了多个数据集，并公开了代码。此外，该方法还揭示了旋转不变度量方法无法捕捉到的神经表示的几何洞察力。

最近在这个领域中，还有一些相关研究，如《Rotation-Invariant Convolutional Neural Networks for Galaxy Morphology Prediction》、《Rotation-Invariant Convolutional Neural Networks using Quaternion Fourier Moments》等。