Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification

虽然分布式训练常被视为优化线性模型在日益增大的数据集上的解决方案，但流行的分布式方法中机器间通信成本在数据维度增加时可能会占据主导地位。最近的非交互式算法研究表明，仅通过一轮机器之间的通信就可以高效地获得线性模型的近似解。然而，随着机器数量的增加，这种近似解往往会退化。本文在最近的最优加权平均方法基础上，引入了一种新技术ACOWA，它允许额外进行一轮通信，以实现更好的近似质量，并略微增加运行时间。结果表明，对于稀疏分布式逻辑回归，ACOWA获得的解比其他分布式算法更符合经验风险最小化，并且获得了显着更高的准确性。

解决问题：论文试图解决在高维数据集上分布式训练时，交互式算法的通信成本高的问题。

关键思路：论文提出了一种新的分布式算法ACOWA，通过增加一轮通信来提高近似解的质量，相比其他算法更能保持对经验风险最小化的忠诚度，并且在稀疏分布式逻辑回归中获得更高的准确性。

其他亮点：论文使用了实验来验证ACOWA算法的有效性，并开源了代码。值得进一步研究的工作包括如何在更大规模的数据集上使用ACOWA算法以及如何将ACOWA算法应用于其他机器学习模型中。

相关研究：最近的相关研究包括Optimal Weighted Average (OWA)算法和其他近似算法，例如随机平均和压缩感知。