Kernel Heterogeneity Improves Sparseness of Natural Images Representations

生物和人工神经网络在性能和操作成本之间本质上存在平衡，这种平衡体现了它们的计算能力。通常，高效的神经形态神经网络是学习降低其输入冗余和维度的表示的神经网络。这在稀疏编码中实现，从自然图像中得出的稀疏表示产生了异质性表示，既在其输入特征的采样上，也在这些特征的方差上。在这里，我们研究了自然图像结构（尤其是定向特征）与其相应的稀疏码之间的联系。我们展示了散布在多个方差水平上的输入特征的表示大大提高了稀疏码的稀疏性和韧性，但代价是重构性能的降低。这回应了模型输入的结构，使其能够考虑自然图像的异质性随机结构。我们证明，从自然图像中学习内核通过平衡近似和密集表示产生异质性，从而改善了所有的重构度量。使用卷积稀疏编码算法中内核异质性的参数化控制，我们展示了异质性强调稀疏性，而同质性则提高了表示粒度。在更广泛的背景下，这些编码策略可以作为深度卷积神经网络的输入。我们证明，这种方差编码的稀疏图像数据集增强了计算效率，强调了内核异质性的好处，以利用自然和变异的输入结构，并可能应用于提高神经形态硬件的吞吐量。

本论文旨在研究自然图像的结构与其对应的稀疏编码之间的关系，以及通过学习自然图像中的核来产生异质性，以提高计算效率。

通过在多个方差水平上分散输入特征的表示，可以显著提高稀疏编码的稀疏性和鲁棒性，从而提高计算效率。通过学习自然图像中的核，可以产生异质性，平衡近似和密集表示之间的关系，从而提高重构度量。

论文展示了学习自然图像中的核如何产生异质性，通过控制核的异质性参数来平衡稀疏性和表示粒度。研究表明，这种异质性编码策略可以作为深度卷积神经网络的输入，提高计算效率。

与本文相关的研究包括稀疏编码、深度卷积神经网络、自然图像处理等方面的研究。