Training on test proteins improves fitness, structure, and function prediction

数据稀缺和分布变化往往限制了机器学习模型在应用于蛋白质和其他生物数据时的泛化能力。自监督预训练在大型数据集上的应用是提高泛化能力的常见方法。然而，努力在所有可能的蛋白质上表现良好可能会限制模型在任何特定蛋白质上的卓越表现，尽管从业者通常最关心的是他们研究的单个蛋白质的准确预测。为了解决这一局限性，我们提出了一种正交的方法来实现泛化。基于自监督预训练的普遍性，我们引入了一种在测试时进行自监督微调的方法，使模型能够即时适应感兴趣的测试蛋白质，而无需任何额外的数据。我们通过困惑度最小化的角度研究了我们的测试时训练（TTT）方法，并表明它能够一致地提高不同模型、不同规模和不同数据集上的泛化能力。值得注意的是，我们的方法在标准的蛋白质适应性预测基准上取得了新的最佳结果，提高了对困难目标的蛋白质结构预测精度，并增强了功能预测的准确性。

论文试图解决的问题是机器学习模型在处理蛋白质等生物数据时，由于数据稀缺和分布变化导致的泛化能力不足。尽管自监督预训练可以提高泛化能力，但这种泛化往往过于广泛，无法在特定蛋白质上达到最佳性能。

论文提出了一种新的方法——测试时自监督微调（Test-Time Training, TTT），该方法允许模型在测试阶段针对特定蛋白质进行即时适应，而无需额外的数据。通过最小化困惑度来优化模型在特定蛋白质上的表现，从而提高泛化能力。

1. 论文通过多种模型、不同规模和多个数据集验证了TTT方法的有效性。 2. 在标准的蛋白质适应性预测基准测试中，TTT方法达到了新的最先进水平。 3. 对于挑战性的蛋白质结构预测任务，TTT方法也显著提高了预测准确性。 4. 实验设计严谨，使用了多个公开数据集，并且提供了开源代码，便于后续研究者复现和扩展。

1. "Protein Language Models are Powerful Predictors of Fitness" - 这篇论文探讨了语言模型在蛋白质适应性预测中的应用。 2. "Evaluating Protein Transfer Learning with TAPE" - 该研究评估了蛋白质迁移学习的效果。 3. "Rosetta: A Platform for Macromolecular Modeling and Drug Design" - Rosetta平台在蛋白质结构预测中有着广泛的应用。 4. "AlphaFold: Using AI for Scientific Discovery" - DeepMind的AlphaFold在蛋白质结构预测方面取得了突破性进展。