OmniJet-$α$: The first cross-task foundation model for particle physics

基础模型是一种多数据集和多任务的机器学习方法，一旦预训练完成，可以进行微调以适用于各种下游应用。如果成功开发出这样的通用模型来处理物理数据，将是一项重大突破，因为它们可以提高可实现的物理性能，同时大幅减少所需的训练时间和数据量。我们在几个方面取得了重大进展。首先，我们引入了一套全面的评估方法，用于评估将物理数据编码为适合于基础模型的变压器结构（自回归生成粒子喷流的常见骨干）的表示的质量。这些措施促使我们选择比以前的作品更高保真度的分词。最后，我们展示了我们的新OmniJet-$\alpha$模型在无监督问题（喷流生成）和经典监督任务（喷流标记）之间的迁移学习。这是第一次在两个不同且正在积极研究的任务类别之间成功进行迁移，并构成了基础模型建设的重要一步。

本论文旨在开发基于物理数据的通用预训练模型，以提高物理性能并显著减少所需的训练时间和数据量。同时，论文还尝试将无监督问题（喷注生成）和经典监督任务（喷注标记）之间进行迁移学习。

论文提出了一种基于Transformer架构的编码方法，将物理数据编码为适用于粒子喷注自回归生成的表示形式，并通过一系列评估方法来选择更高保真度的标记化方式。最终，论文展示了OmniJet-$\alpha$模型在无监督问题和监督任务之间的成功迁移学习。

论文引入了一套全面的评估方法来评估将物理数据编码为表示形式的质量，并选择了更高保真度的标记化方式。论文还展示了OmniJet-$\alpha$模型在无监督问题和监督任务之间的成功迁移学习。实验使用了多个数据集，并且开源了代码。

最近的相关研究包括："JetNet: A Deep Neural Network for Particle Jet Identification"、"Adversarial Variational Bayes for High Energy Physics Event Generation"、"Deep learning in color: towards automated quark/gluon jet discrimination"等。