Part1摘要

利用蛋白质序列或结构进行蛋白质的预训练的方法最近引起了人们的兴趣，但对序列和结构的联合能量景观进行建模的研究却很少。在这项工作中，受扩散模型的成功启发，我们提出了DiffPreT方法，通过序列结构多模态扩散模型对蛋白质编码器进行预训练。DiffPreT引导编码器沿着扩散轨迹从受干扰的蛋白质序列和结构中恢复天然蛋白质序列和结构，从而获得序列和结构的联合分布。考虑到蛋白质构象变化，我们通过一种称为Siamese Diffusion Trajectory Prediction （SiamDiff）的物理方法来增强DiffPreT，以捕捉蛋白质不同构象之间的相关性。SiamDiff 通过在结构相关构象异构体的扩散轨迹之间最大化相互信息来实现这一目标。SiamDiff 在多个原子和残基水平的蛋白质理解任务上取得了新的SOTA。

Part2前言

基于机器学习的方法在预测蛋白质结构和功能方面取得了令人印象深刻的结果。在这些方法中，各种预训练实现从可用的蛋白质序列和结构数据中学习到了有效的蛋白质表示。基于序列的预训练方法可以很好地获取共进化信息，而基于结构的预训练方法能够捕获用于功能预测和折叠分类等任务的蛋白质结构特征。这两种类型的信息都有助于指示潜在的蛋白质功能，并且它们相互补充。因此，联合建模蛋白质序列和结构的多模态能量图景可能是一种比单模态预训练方法更有前景的方法，但目前还尚未被探索。

因此本研究提出一种称为DiffPreT的方法，通过序列结构多模态扩散模型对蛋白质编码器进行预训练。具体来说，我们首先通过逐渐添加噪声来改变蛋白质的结构和序列来设计蛋白质的多模态扩散轨迹。利用蛋白质编码器的输出进行参数化，定义了一个噪声预测网络，以逐步对受损的蛋白质结构和序列进行去噪。利用预训练的扩散模型，有助于编码器学习捕获（1）蛋白质结构内的原子间相互作用，（2）沿着蛋白质序列的残基类型依赖性，以及（3）序列和结构变化的联合效应。

尽管有这些优点，DiffPreT忽略了任何蛋白质结构都是作为一个相互转换的构象群体存在的事实，阐明这种构象异质性对于预测蛋白质功能和配体结合至关重要。因此，为了考虑构象变化的物理基础，我们提出了SiamDiff，通过最大化结构相关构象的扩散轨迹表示之间的互信息来增强 DiffPreT。

本研究的贡献总结如下：

1. 提出DiffPreT将多模态去噪扩散模型用于预训练蛋白质编码器，该模型对蛋白质序列和结构的联合能量景观进行建模。
2. 提出SiamDiff以最大化Siamse扩散轨迹表示之间的互信息，这捕获了不同构象之间或结构同源物之间的结构相关性。
3. 这两种预训练方法对各种残基和原子级任务都有效。SiamDiff 实现了最先进的性能。

Part3方法

Siamese Diffusion Trajectory Prediction

给定一种蛋白质，方法的第一步是产生不同的构象。然而，直接采样需要精确地表征蛋白质构象的能量分布，这是困难的和耗时的。为了解决这个问题，我们采用了一种常用的方案，通过向侧链添加扭转扰动来对随机模拟的构象进行采样。对于一个蛋白可以得到原始状态 和采样的相关构象 。

接下来，为了像 DiffPreT 一样在多模态扩散中保持丰富的信息，我们生成了一对构象的扩散轨迹。为了使学习的表示反映同一蛋白质的不同构象之间的相关性，可以最大化一对构象的扩散轨迹之间的互信息。

Part4实验

本研究使用 AlphaFold protein structure database v1 进行预训练，在EC预测任务和4个ATOM3D任务上做了评估。

消融研究：

在这项工作中，提出了DiffPreT方法，通过序列结构多模态扩散建模来预训练蛋白质编码器，该方法捕获了结构内的原子间相互作用和序列上的残基类型依赖性。进一步提出SiamDiff方法，通过额外建模一种蛋白质的不同构象之间的相关性来增强DiffPreT。对不同类型的任务以及原子级和残基级的大量实验验证了DiffPreT的竞争性能和SiamDiff的优越性能。SiamDiff中当前的扭转扰动方案虽然简单但有效，但较少探索隐藏在侧链构象中的物理规则。因此，我们的未来工作将通过物理启发的 rotamer libraries 和基于物理的力场进一步增强SiamDiff。