DiPrompT: Disentangled Prompt Tuning for Multiple Latent Domain Generalization in Federated Learning

联邦学习已经成为一种从分散数据中学习的强有力的范例，而联邦域泛化进一步考虑测试数据集（目标域）不存在于分散的训练数据（源域）中。然而，大多数现有的联邦学习方法假设在训练期间提供了域标签，并且它们的评估对域的数量施加显式限制，这些限制必须严格匹配客户端的数量。由于在现实世界中大量边缘设备和额外的跨客户端域注释的未充分利用，这些限制可能是不切实际的并涉及潜在的隐私泄漏。在本文中，我们提出了一种高效而新颖的方法，称为Disentangled Prompt Tuning（DiPrompT），一种通过分布式学习学习适应性提示来解决上述限制的方法。具体而言，我们首先设计了两种类型的提示，即全局提示和域提示，用于捕捉跨所有客户端的通用知识和域特定知识。它们消除了源域和本地客户端之间的一对一映射的限制。此外，引入了动态查询指标，自动搜索每个样本的合适域标签，其中包括基于提示调整的两个子步骤文本-图像对齐，无需进行繁琐的注释。多个数据集上的广泛实验表明，当没有提供域标签时，我们的DiPrompT在域泛化性能方面优于现有的联邦学习方法，甚至优于许多使用域标签的集中式学习方法。

本文旨在解决现有联邦学习方法在没有提供领域标签时的限制，并提出了一种分布式学习方法Disentangled Prompt Tuning（DiPrompT），用于领域泛化。

DiPrompT通过学习自适应提示来实现领域泛化，包括全局提示和领域提示，并引入动态查询度量来自动搜索适合每个样本的领域标签，从而消除了源域和本地客户端之间的一对一映射限制。

本文的实验结果表明，DiPrompT在没有提供领域标签时比现有联邦学习方法具有更好的领域泛化性能，并且甚至优于使用领域标签的许多集中式学习方法。

最近的相关研究包括《Federated Learning with Matched Averaging》和《Federated Domain Adaptation with Local and Global Consistency》等。