Self-attention-based non-linear basis transformations for compact latent space modelling of dynamic optical fibre transmission matrices

多模光纤是一种发传光效率很高的细如发丝的玻璃线，它们为下一代医学内窥镜提供了前所未有的深入人体的亚细胞图像分辨率。然而，将光传输到这样的光纤中意味着图像在传输过程中本质上会被扰乱。传统上，这种扰乱是通过预先校准特定光纤如何扰乱光并解决代表光纤物理模型的静态线性矩阵方程来补偿的。然而，随着技术向着实际部署的方向发展，解扰过程必须考虑到代表光纤对光的影响的矩阵的动态变化，这是由于运动和温度变化等因素以及由于内部无法访问光纤末端而导致的非线性。这种复杂、动态和非线性的行为非常适合用神经网络来近似，但是大多数领先的图像重建网络都依赖于卷积层，这些层假定相邻像素之间存在强相关性，这是不适合光纤矩阵的，因为它们可以用各种任意坐标表示，并具有长程相关性。我们引入了一个新的概念，它使用自我注意力层来动态地转换不同光纤矩阵的坐标表示，以基础形式表示，这种基础形式具有适合进一步处理的紧凑低维表示。我们在各种光纤矩阵数据集上展示了这种方法的有效性。我们展示了我们的模型显著提高了它们转换后的基础形式的稀疏度，其参与比率p作为稀疏度的度量，介于0.01和0.11之间。此外，我们展示了这些转换后的表示可以重构原始矩阵，重构误差小于10%，证明了它的可逆性。

本论文旨在解决使用多模光纤传输图像时，由于光纤特性的动态变化和非线性特性，传输的图像会被扰乱的问题。论文提出了一种使用自注意力层动态转换光纤矩阵坐标表示的方法，以便更好地重建原始图像。

论文的关键思路是使用自注意力层来动态转换光纤矩阵的坐标表示，以便更好地重建原始图像。相比于当前使用卷积层的图像重建方法，这种方法更适用于具有长程相关性的任意坐标表示的光纤矩阵。

论文使用多种光纤矩阵数据集进行实验验证，证明了该方法的有效性，可以显著提高光纤矩阵的稀疏性并实现低重建误差。此外，论文还提供了开源代码。

在这个领域中，最近的相关研究包括“Deep Learning for End-to-End Inverse Design of Multimode Fibers”和“Deep Learning for Image Reconstruction on Multimode Fibers”。