MolNexTR: A Generalized Deep Learning Model for Molecular Image Recognition

在化学结构识别领域中，将分子图像转换为图形结构和SMILES字符串的任务是一个重要的挑战，主要是由于化学文献中普遍存在各种绘图风格和约定。为了弥合这一差距，我们提出了MolNexTR，这是一种新颖的图像到图形深度学习模型，它协作融合了ConvNext和Vision-Transformer的优势。这种集成有助于从分子图像中更细致地提取局部和全局特征。MolNexTR可以同时预测原子和键，并理解它们的布局规则。它还擅长灵活地整合符号化学原理，以识别手性和解读缩写结构。我们进一步结合了一系列先进的算法，包括改进的数据增强模块、图像污染模块和后处理模块，以获得最终的SMILES输出。这些模块协同增强了模型对实际文献中多样化的分子图像风格的鲁棒性。在我们的测试集中，MolNexTR表现出优异的性能，达到81-97%的准确率，标志着分子结构识别领域的重大进展。科学贡献：MolNexTR是一种新颖的图像到图形模型，它采用独特的双流编码器提取复杂的分子图像特征，并结合化学规则预测原子和键，同时理解原子和键的布局规则。此外，它采用了一系列新颖的增强算法，显著提高了模型的鲁棒性和性能。

该论文旨在解决化学结构识别中的图像到图形结构和SMILES字符串转换的问题，尤其是由于文献中存在的绘图风格和惯例的多样性而导致的挑战。

论文提出了MolNexTR，一种新颖的图像到图形深度学习模型，它结合了ConvNext和Vision-Transformer的优势，从分子图像中提取局部和全局特征，能够同时预测原子和键，并理解它们的布局规则。

该模型还灵活地融合了符号化学原理来识别立体化学和缩写结构，并采用一系列先进算法，包括改进的数据增强模块、图像污染模块和后处理模块来获得最终的SMILES输出。在测试集上，MolNexTR表现出优异的性能，达到了81-97%的准确率。

在这个领域中，最近的相关研究包括：1. 'DeepSMILES: an Adaptation of SMILES for Use in Machine-Learning of Chemical Structures'；2. 'Deep Learning for the Life Sciences: Applying Deep Learning to Genomics, Microscopy, Drug Discovery, and More'。