马毅教授NeurIPS 2022新作：稀疏卷积性能和稳健性超越ResNet

尽管深度神经网络在图像分类方面具有很强的经验性能（empirical performance），但这类模型往往被视为「黑盒」，最为人诟病的就是「难以解释」。

 相比之下，稀疏卷积模型（sparse convolutional models）也是分析自然图像的强大工具，其假设一个信号可以由卷积字典（convolutional dictionary）中的几个元素的线性组合来表达，具有良好的理论可解释性和生物合理性。

 但在实际应用中，稀疏卷积模型虽然原理上行得通，但与经验设计的深层网络相比并没有展现出应有的性能优势。

 最近，马毅教授研究组在NeurIPS 2022上发表了一篇新论文，回顾了稀疏卷积模型在图像分类中的应用，并成功解决了稀疏卷积模型的经验性能和可解释性之间的不匹配问题。

论文链接：https://arxiv.org/pdf/2210.12945.pdf

代码链接：https://github.com/Delay-Xili/SDNet

 文中提出的可微优化层使用卷积稀疏编码（CSC）对标准卷积层进行替换。

 结果表明，与传统的神经网络相比，这些模型在 CIFAR-10、 CIFAR-100和 ImageNet 数据集上具有同样强的经验性能。

 通过利用稀疏建模的稳定恢复特性，研究人员进一步表明，只需要在稀疏正则化和数据重构项之间进行简单的适当权衡，这些模型就可以对输入损坏以及测试中的对抗性扰动具有更强的鲁棒性。