Geometrically Inspired Kernel Machines for Collaborative Learning Beyond Gradient Descent

本文提出了一种新颖的数学框架，利用基于几何启发的核机器进行协作学习，其中包括有关泛化误差、逼近误差和样本复杂度的界定。对于分类问题，这种方法允许我们学习围绕给定数据点的有界几何结构，从而通过利用相关优化问题在再生核希尔伯特空间（RKHS）中的凸性质，以高效的方式解决全局模型学习问题。这样，我们可以将分类问题简化为确定给定数据点最接近的有界几何结构。我们的解决方案进一步优势在于，我们的方法不需要客户端使用随机梯度下降进行多次本地优化，也不需要客户端/服务器之间进行多轮通信以优化全局模型。我们强调，大量实验表明，所提出的方法是与现有最先进技术相竞争的一种选择。

本文旨在通过基于几何启发的核机器学习开发一种新的数学框架，解决协作学习中的问题，包括泛化和逼近误差的界限以及样本复杂性。

本文提出的方法可以学习给定数据点周围的有界几何结构，从而通过利用相关优化问题的凸性质，以一种有效的方式解决全局模型学习问题。

本文的方法不需要客户端使用随机梯度下降执行多轮本地优化，也不需要客户端/服务器之间的通信轮次来优化全局模型。实验表明，该方法是目前最先进的竞争性替代品。

最近的相关研究包括使用深度学习的协作学习，如联邦学习和分布式学习。