Lyra: An Efficient and Expressive Subquadratic Architecture for Modeling Biological Sequences

深度学习架构，例如卷积神经网络和Transformer，已经彻底改变了生物序列建模领域，近期的进展主要得益于基础模型和特定任务模型的规模扩展。然而，所需的计算资源和大规模数据集限制了它们在生物学场景中的应用。我们引入了一种名为Lyra的次二次（subquadratic）序列建模架构，该架构基于表型交互（epistasis）的生物学框架，用于理解序列与功能之间的关系。从数学角度来看，我们证明了状态空间模型能够高效捕捉全局的表型交互作用，并通过投影门控卷积将这些交互与局部关系相结合。我们展示了Lyra在超过100个广泛的生物任务中表现出色，在许多关键领域达到了当前最佳（SOTA）性能，包括蛋白质适应性景观预测、生物物理性质预测（例如无序蛋白区域功能）、肽工程应用（例如抗体结合、细胞穿透肽预测）、RNA结构分析、RNA功能预测以及CRISPR引导序列设计等。与最近的生物基础模型相比，Lyra在推理速度上实现了数量级的提升，同时显著减少了参数量（在我们的测试中最多达到12万倍的减少）。通过Lyra，我们能够在两块或更少的GPU上，在不到两小时内完成本研究中所有任务的训练和运行，从而以SOTA性能将生物序列建模的门槛大幅降低，为众多领域提供了潜在的应用可能性。

该论文试图解决生物序列建模中对大规模计算资源和大数据集的依赖问题，同时探索一种新的高效架构以实现高性能的生物序列分析。这是一个重要的问题，因为当前深度学习模型（如Transformer）在生物学中的应用受限于其高昂的计算成本。

论文提出了一种名为Lyra的子二次架构，结合状态空间模型（SSM）和投影门控卷积来捕捉全局表观遗传相互作用与局部关系。这种方法不仅显著减少了参数量（最高达12万倍），还大幅提升了推理速度，同时保持了SOTA性能。这种设计灵感来源于生物学中的表观遗传框架，为生物序列到功能的关系提供了新的建模范式。

1. Lyra在超过100个生物任务上表现出色，涵盖蛋白质适应性预测、RNA结构分析等多个领域；2. 推理速度和参数效率大幅提升，训练可在两块GPU内完成，时间少于两小时；3. 论文展示了Lyra在多个实际应用场景中的潜力，例如抗体结合预测和CRISPR向导设计；4. 尽管未明确提及，但开源代码和数据集可能进一步促进后续研究；5. 这一方法为低资源环境下的生物建模提供了新工具，降低了进入门槛。

近期相关研究包括：1. RGN（Recurrent Geometric Networks）用于蛋白质结构预测；2. ESM（Evolutionary Scale Modeling）系列模型通过预训练提升蛋白质功能预测能力；3. ProtTrans将Transformer应用于蛋白质序列建模；4. AlphaFold和RosettaFold在蛋白质结构预测领域的突破；5. Enformer利用深度学习进行基因组调控区域预测。这些研究共同推动了生物信息学中深度学习的应用。