LlaSMol: Advancing Large Language Models for Chemistry with a Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset

化学在许多领域中起着至关重要的作用，例如药物发现和材料科学。虽然像GPT-4这样的大型语言模型在自然语言处理任务上表现出了令人瞩目的能力，但现有的研究表明它们在化学任务上的表现令人沮丧。然而，在本文中，我们证明了我们开发的语言模型可以在一套全面的化学任务中取得非常强的结果，大大超过了最先进的GPT-4，并接近于特定任务的最佳模型。我们成功的关键在于一个名为SMolInstruct的大规模、全面、高质量的指令调整数据集。它包含了14个精心选择的化学任务和超过三百万个高质量样本，为训练和评估化学语言模型奠定了坚实的基础。基于SMolInstruct，我们对一组开源语言模型进行微调，其中我们发现Mistral是最适合化学任务的基础模型。我们进一步对可训练参数的影响进行了分析，为未来的研究提供了见解。

本论文旨在解决大型语言模型在化学领域表现不佳的问题，提出了一种基于大规模、高质量数据集SMolInstruct的LLMs fine-tuning方法，并在14项化学任务上实现了优异的表现。

本论文的关键思路是使用SMolInstruct数据集进行fine-tuning，采用开源LLMs，其中Mistral表现最佳。实验结果表明，该方法在化学任务上取得了优异的表现，超过了GPT-4等先进模型，并接近于SoTA任务特定模型。

本论文的亮点包括：使用了14项化学任务和超过三百万个高质量样本的SMolInstruct数据集；fine-tuning方法表现出色，超过了GPT-4等先进模型，并接近于SoTA任务特定模型；实验结果提供了可行的方法和洞见，对未来研究具有指导意义。

在化学领域，最近的相关研究包括《Molecule Attention Transformer》、《Graph Attention Networks for Chemistry》等。