来自今天的爱可可AI前沿推介
[LG] Bispectral Neural Networks
(2023)
双谱神经网络
要点:
-
提出双谱神经网络(BNN)架构，用于学习对紧凑换元组动作不变的表示； -
在 BNN 架构中使用双谱 ，一种保留所有信号结构的群不变特征，同时去除群动作产生的变化； -
证明 BNN 可同时从数据的对称性中学习群、其不可还原表示和相应的完整不变图。
一句话总结:
双谱神经网络(BNN)是一种新方法，用于紧凑换元组的鲁棒和可解释的表示学习，通过纳入双谱(一种完备的群不变性)，展示了强大的对抗鲁棒性和对未见数据集的泛化性，具有高效和完全前馈的设计，并有可能扩展到非换元组，可用于识别 3D 物体。
摘要：
本文提出一种神经网络结构：双谱神经网络(BNN)，用于表示学习，其表示对信号定义空间上的紧凑换元群动作是不变的。该模型结合了双谱定理，一种完整分析定义的群不变性——其保留了所有的信号结构，同时只去除由于群动作而产生的变化。本文证明了BNN能单纯从数据中隐含的对称性同时学习群、其不可还原表示和相应的完全不变图。 此外，本文证明了完整性属性赋予了这些网络强大的对抗鲁棒性。本文工作确立了双谱系神经网络是一个强大的计算基元，用于鲁棒的不变表示学习。
We present a neural network architecture, Bispectral Neural Networks (BNNs) for learning representations that are invariant to the actions of compact commutative groups on the space over which a signal is defined. The model incorporates the ansatz of the bispectrum, an analytically defined group invariant that is complete -- that is, it preserves all signal structure while removing only the variation due to group actions. Here, we demonstrate that BNNs are able to simultaneously learn groups, their irreducible representations, and corresponding complete invariant maps purely from symmetries implicit in data. Further, we demonstrate that the completeness property endows these networks with strong adversarial robustness. This work establishes Bispectral Neural Networks as a powerful computational primitive for robust invariant representation learning.
