CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes

纠错码是通信系统中不可或缺的可靠传输手段。深度学习的最新进展推动了基于神经网络的纠错码解码器的探索。其中，基于Transformer的神经解码器已经实现了最先进的解码性能。本文提出了一种新颖的交叉注意力消息传递Transformer（CrossMPT）。CrossMPT使用两个掩码交叉注意块迭代更新两种输入向量（即幅度向量和综合向量）。这些交叉注意块中的掩码矩阵由码的奇偶校验矩阵确定，该矩阵描述了幅度向量和综合向量之间的关系。我们的实验结果表明，CrossMPT明显优于现有的基于神经网络的解码器，特别是在解码低密度奇偶校验码方面。值得注意的是，CrossMPT还实现了计算复杂度的显著降低，与原始的基于Transformer的解码器相比，其注意力层数减少了50\%以上，同时保持了其余层的计算复杂度。

论文旨在提出一种新的基于神经网络的解码器CrossMPT，用于纠错码的解码，特别是在低密度奇偶校验码的解码中。同时，论文也试图降低解码器的计算复杂度。

CrossMPT是一种基于transformer的神经解码器，通过两个掩码交叉注意力块迭代更新幅度向量和综合向量，掩码矩阵由纠错码的奇偶校验矩阵确定。

CrossMPT在解码低密度奇偶校验码方面表现出色，并且相比原始transformer解码器，计算复杂度降低了50%以上。实验使用了多个数据集，并且已经开源了代码。

近期的相关研究包括：1. Neural Belief Propagation Decoder for LDPC Codes Based on Message Passing and Recurrent Neural Networks；2. Learning to Decode Linear Codes Using Deep Learning；3. Deep Neural Networks for Decoding LDPC Codes。