A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes

神经网络在日常生活中扮演着至关重要的角色，最现代的生成模型能够取得令人瞩目的成果。然而，它们的运作仍不是非常清晰，因此采用了几种策略来研究这些模型如何以及为什么达到它们的输出。一种常见的方法是将数据视为欧几里得空间：然而，近年来出现了一种从这种范式转向更一般框架，即黎曼几何的趋势。最近的两项研究引入了一种使用奇异黎曼度量来研究神经网络的几何框架。在本文中，我们将这些结果扩展到卷积、残差和递归神经网络，并研究了非可微激活函数（如ReLU）的情况。我们通过一些关于图像分类和热力学问题的数值实验来说明我们的发现。

研究基于奇异黎曼度量的几何框架在卷积、残差和递归神经网络中的应用，包括非可微激活函数如ReLU的情况。

使用奇异黎曼度量作为几何框架来研究神经网络，扩展到卷积、残差和递归神经网络，并探讨非可微激活函数的情况。

论文提供了一种新的几何框架来研究神经网络，扩展到了卷积、残差和递归神经网络，并探讨了非可微激活函数的情况。实验使用了分类图像和热力学问题数据集，并提供了开源代码。值得进一步深入研究。

最近的相关研究包括《A Riemannian Network for SPD Matrix Learning》和《Deep Learning with Geometric Invariance》等。