ALMol: Aligned Language-Molecule Translation LLMs through Offline Preference Contrastive Optimisation

化学和人工智能（AI）交叉领域是一个旨在加速科学发现的活跃研究领域。将大型语言模型（LLMs）与科学模态相结合已经显示出巨大的潜力。然而，面临着有效解决训练效果和超出分布问题的挑战，特别是现有方法依赖于更大的模型和数据集。在这种情况下，我们专注于机器语言-分子翻译，并采用一种称为对比偏好优化的新型训练方法，避免生成仅仅是足够但不完美的翻译。为了确保普适性和减轻记忆效应，我们仅使用10％的数据进行实验。我们的结果表明，我们的模型与对应模型相比，可以实现高达32％的改进。我们还引入了一种可扩展的细粒度评估方法，以适应责任。

本文旨在解决化学和人工智能相结合的领域中的训练效率和分布问题，通过机器语言-分子翻译，引入对比偏好优化的新训练方法，以确保生成的翻译是完美的。

本文的关键思路是使用对比偏好优化的新训练方法，避免生成的翻译仅仅是适当而不是完美的，以提高模型的泛化能力和减少记忆效应。

本文的实验使用了只有10％的数据，但仍然比对应模型实现了高达32％的提高。此外，本文还引入了可扩展的细粒度评估方法，以适应责任需求。

在这个领域中，最近的相关研究包括：1.Using Language Models to Generate Molecular Descriptors for Machine Learning Applications；2. Augmented Reality for the Chemical and Life Sciences: The Past, Present, and Future；3. Molecular Transformer: A Model for Uncertainty-Calibrated Chemical Reaction Prediction