MolNexTR: A Generalized Deep Learning Model for Molecular Image Recognition

在化学结构识别领域，将分子图像转换为图形结构和SMILES字符串的任务是一个重要的挑战，主要是由于化学文献中存在多种不同的绘图样式和约定俗成的规则。为了弥合这一差距，我们提出了MolNexTR，这是一种新颖的图像到图形深度学习模型，它协作融合了ConvNext和Vision-TRansformer的优势。这种集成有助于从分子图像中更细致地提取局部和全局特征。MolNexTR可以同时预测原子和键，并理解它们的布局规则。它还擅长灵活地整合符号化学原理，以识别手性和解析缩写结构。我们进一步融合了一系列先进的算法，包括改进的数据增强模块、图像污染模块和后处理模块，以获得最终的SMILES输出。这些模块协同增强了模型对现实文献中多样化的分子图像的鲁棒性。在我们的测试集中，MolNexTR表现出优异的性能，实现了81-97%的准确率，标志着分子结构识别领域的重大进展。科学贡献：MolNexTR是一种新颖的图像到图形模型，它结合了独特的双流编码器来提取复杂的分子图像特征，并结合化学规则来预测原子和键，同时理解原子和键的布局规则。此外，它采用了一系列新颖的增强算法，显著提高了模型的鲁棒性和性能。

本论文旨在解决化学结构识别中的图像到图形转换问题，即将分子图像转换成图结构和SMILES字符串。同时，该论文还试图解决分子图像中不同绘图风格和约定的问题。

该论文提出了一种新的深度学习模型MolNexTR，将ConvNext和Vision-TRansformer相结合，以更细致的方式从分子图像中提取局部和全局特征。MolNexTR可以同时预测原子和键，并理解它们的布局规则。它还可以灵活地整合符号化学原理，以辨别手性和解析缩写结构。此外，该论文还引入了一系列先进的算法，包括改进的数据增强模块、图像污染模块和后处理模块，以获得最终的SMILES输出。这些模块协同增强了模型对现实文献中多样化分子图像的鲁棒性。

该论文的亮点在于提出了一种新的深度学习模型MolNexTR，该模型结合了ConvNext和Vision-TRansformer，可以从分子图像中提取复杂的特征，并结合化学规则预测原子和键，同时理解原子和键的布局规则。此外，该论文还引入了一系列先进的算法，包括改进的数据增强模块、图像污染模块和后处理模块，以增强模型的鲁棒性和性能。

近期在该领域中的相关研究包括：1. 'ChemTS: An Efficient, Self-Regulated Training Set for Graph-Based Generative Models of Chemicals'；2. 'Graph Convolutional Policy Network for Goal-Directed Molecular Graph Generation'；3. 'Molecule Attention Transformer'等。