METAGENE-1: Metagenomic Foundation Model for Pandemic Monitoring

我们预训练了一个名为METAGENE-1的自回归变换器模型，该模型包含70亿个参数，我们将其称为宏基因组基础模型。该模型在一个新颖的、包含超过1.5万亿个碱基对的多样化宏基因组DNA和RNA序列语料库上进行预训练。这些数据来源于大量人类废水样本，并使用深度宏基因组（下一代）测序方法进行处理和测序。与专注于单个基因组或特定物种精选集的基因组模型不同，METAGENE-1的目标是捕捉废水中存在的全部基因组信息分布，以辅助与大流行监测和病原体检测相关的任务。我们对数据集进行了针对宏基因组序列定制的字节对编码（BPE）分词，然后对模型进行预训练。在本文中，我们首先详细介绍了预训练数据集、分词策略和模型架构，强调了使宏基因组数据有效建模的考虑因素和设计选择。接下来，我们展示了在这个宏基因组数据集上预训练模型的结果，提供了关于损失、系统指标以及预训练过程中的训练稳定性的详细信息。最后，我们展示了METAGENE-1的性能，它在一组基因组基准测试和新的人类病原体检测及基因组序列嵌入评估中取得了最先进的结果，展示了其在大流行监测、生物监视和新兴健康威胁早期检测等公共卫生应用中的潜力。

该论文旨在解决如何利用大规模、多样化的宏基因组DNA和RNA序列数据，通过预训练一个大型自回归变换器模型（METAGENE-1），以捕捉废水样本中完整的基因信息分布。这有助于改进与疫情监测和病原体检测相关的任务。这是一个相对较新的问题，特别是在利用废水中的宏基因组数据进行公共健康监控方面。

关键思路是开发并预训练一个70亿参数的自回归变换器模型（METAGENE-1），该模型基于超过1.5万亿个碱基对的宏基因组序列数据集，这些数据来自大量人类废水样本，并使用下一代测序技术处理。相比现有研究，METAGENE-1不仅关注单个基因组或特定物种的集合，而是力求捕捉废水样本中所有基因信息的完整分布，从而更好地支持病原体检测等任务。此外，采用了为宏基因组序列量身定制的字节对编码（BPE）分词策略。

亮点包括：1) 使用了独特的大规模废水样本宏基因组数据集；2) 开发了专门针对宏基因组序列的BPE分词方法；3) 模型在多个基因组基准测试中表现出色，并在新的人类-病原体检测评估中取得了最先进的结果；4) 研究展示了METAGENE-1在公共卫生应用如疫情监测、生物监视和新兴健康威胁早期检测方面的潜力。论文并未提及是否开源代码，但其提供的详细实验设计和数据集对于未来研究具有重要价值。

最近的相关研究包括但不限于：1) 利用深度学习技术分析宏基因组数据的研究；2) 针对特定病原体识别的机器学习模型开发；3) 应用于环境监测的宏基因组学研究。一些具体的相关文献标题可能有《Deep Learning for Metagenomic Sequence Analysis》、《Machine Learning Approaches to Pathogen Detection in Environmental Samples》和《Environmental Surveillance through Metagenomics: Challenges and Opportunities》。