Task-agnostic Decision Transformer for Multi-type Agent Control with Federated Split Training

随着人工智能的快速发展，知识丰富和个性化代理的开发变得越来越普遍。然而，个性化代理中状态变量和行动空间的固有变异性对于传统的联邦学习算法来说构成了重大的聚合挑战。为了解决这些挑战，我们引入了联邦分裂决策变压器（FSDT），这是一个专门为人工智能代理决策任务设计的创新框架。FSDT框架通过利用分布式数据进行训练，同时保护数据隐私，优秀地解决了个性化代理的复杂性问题。它采用两阶段训练过程，客户端代理上有本地嵌入和预测模型，服务器上有全局变压器解码器模型。我们使用基准D4RL数据集进行了全面的评估，结果显示我们的算法在联邦分裂学习中表现优异，适用于个性化代理，同时与传统的集中式训练方法相比，通信和计算开销显著降低。FSDT框架在启用高效且保护隐私的协作学习方面表现出很强的潜力，例如在自动驾驶决策系统中。我们的研究结果强调了FSDT框架有效地利用分布式离线强化学习数据来实现强大的多类型代理决策系统。

FSDT框架旨在解决传统联邦学习算法在处理个性化AI代理的状态变量和动作空间方面的聚合挑战。

FSDT框架采用两阶段训练过程，结合客户端代理的本地嵌入和预测模型以及服务器上的全局变压器解码器模型，利用分布式数据进行训练，同时保护数据隐私。

FSDT框架在个性化代理的联邦拆分学习方面表现出优异的性能，与传统的集中式训练方法相比，通信和计算开销显著降低。作者使用D4RL数据集进行了全面的评估，并展示了FSDT框架在实现高效和保护隐私的协作学习方面的潜力。

最近的相关研究包括《Federated Learning with Matched Averaging》和《Federated Learning with Non-IID Data》等。