Generative Language Model for Catalyst Discovery

最近的研究表明，基于Transformer的语言模型可以被用作材料生成模型，以扩展化学空间并探索具有期望性质的材料，这是化学和材料科学领域面临的重要挑战，传统上采用的方法包括从试错到机器学习驱动的反向设计。在这项工作中，我们介绍了Catalyst生成预训练Transformer（CatGPT），它被训练以从广阔的化学空间中生成无机催化剂结构的字符串表示。CatGPT不仅在生成有效和准确的催化剂结构方面表现出高性能，而且还作为生成所需类型催化剂的基础模型，通过使用稀疏和指定的数据集进行微调。例如，我们使用设计用于筛选二电子氧还原反应（2e-ORR）催化剂的二元合金催化剂数据集来微调预训练的CatGPT，并生成专门用于2e-ORR的催化剂结构。我们的工作展示了语言模型作为催化剂发现的生成工具的潜力。

本篇论文旨在探索使用基于transformer的语言模型作为材料生成模型的潜力，以扩展化学空间并探索具有所需性质的材料。同时，本文还试图解决催化剂发现中的问题。

本文介绍了一个名为Catalyst Generative Pretrained Transformer（CatGPT）的预训练模型，用于从庞大的化学空间中生成无机催化剂结构的字符串表示。CatGPT不仅在生成有效和准确的催化剂结构方面表现出高性能，而且还作为生成所需类型催化剂的基础模型，通过使用稀疏和指定的数据集进行微调。

本文的亮点包括：使用基于transformer的语言模型作为材料生成模型的潜力；CatGPT的高性能和可扩展性；使用二元合金催化剂数据集微调预训练的CatGPT并生成专门用于2e-ORR的催化剂结构；开源了CatGPT代码和数据集。

最近的相关研究包括：使用基于transformer的语言模型进行材料发现的其他工作，如GPT-M和GPT-2；使用深度学习进行材料发现的其他方法，如变分自编码器和生成对抗网络。