To Transformers and Beyond: Large Language Models for the Genome

在基因组学快速发展的领域中，深度学习已经成为解决复杂计算挑战的有用工具。本文重点关注大型语言模型（LLMs）在基因组学中的转化作用，这些模型大多基于Transformer架构。在传统卷积神经网络和循环神经网络的基础上，我们探讨了Transformer和其他LLMs在基因组学中的优势和局限性。此外，我们还根据当前研究趋势，思考了基于Transformer架构以外的基因组建模的未来。本文旨在为对LLMs在基因组数据中感兴趣的计算生物学家和计算机科学家提供指南。我们希望本文也能为生物学家提供教育性的介绍和讨论，让他们了解基因组数据分析未来的根本性转变。

论文试图探讨Large Language Models (LLMs)在基因组学中的应用，以及探索LLMs在基因组学中的优缺点。

论文探讨了基于transformer架构的LLMs在基因组学中的应用，分析了其优缺点，并探讨了未来基因组学建模的发展趋势。

论文介绍了LLMs的基本概念和应用，探讨了LLMs在基因组学中的应用和优缺点，并提出了未来的研究方向。实验中使用了多个数据集，并介绍了一些开源代码。值得深入研究的工作包括LLMs在基因组学中的进一步应用和对其他模型的比较研究。

最近的相关研究包括：1. 'Using deep learning to model the hierarchical structure and function of a cell'；2. 'Deep learning for genomics: A concise overview'；3. 'A survey of deep learning techniques for genomic analysis'。