TDML -- A Trustworthy Distributed Machine Learning Framework

近年来，深度学习研究呈现出爆炸性增长，引入了像OpenAI的SORA和GPT、Meta AI的LLAMA系列、Google的FLAN、BART和Gemini等广泛的生成模型。然而，大型模型的快速发展加剧了对计算资源的需求，尤其是GPU，这对于它们的并行处理能力至关重要。由于供应链延迟和主要科技公司的垄断性收购，GPU的供应短缺问题更加严重。分布式机器学习（DML）方法，如联合学习（FL），通过将数据和模型分区到多个服务器上来缓解这些挑战，但实施张量和管道并行优化仍然很复杂。区块链技术成为一种有前途的解决方案，确保在分布式计算环境中的数据完整性、可扩展性和信任，但仍缺乏构建实际DML系统的指导。本文提出了一个“可信分布式机器学习”（TDML）框架，利用区块链协调远程训练器和验证工作负载，实现隐私、透明度和高效的模型训练，跨公共远程计算资源。实验验证证明了TDML在克服性能限制和恶意节点检测方面的有效性，使其成为可扩展和安全的分布式机器学习的强大解决方案。

提出了一种基于区块链的分布式机器学习框架，旨在解决大型模型训练所需的计算资源短缺和供应链延迟的问题。

通过使用区块链来协调远程训练器和验证工作负载，实现隐私、透明度和高效的模型训练。

该框架具有出色的性能和恶意节点检测能力，为可扩展和安全的分布式机器学习提供了一个强大的解决方案。

最近的相关研究包括OpenAI的SORA和GPT、Meta AI的LLAMA系列以及Google的FLAN、BART和Gemini模型。此外，还有一些关于区块链在分布式机器学习中的应用的研究，如基于区块链的隐私保护机器学习和区块链支持的联邦学习等。