SPDL（Scalable Parallel Data Loader）是一种新的AI模型训练数据加载解决方案。该框架无关的数据加载方案利用多线程技术，在标准Python解释器中实现高吞吐量。与传统的基于进程的数据加载方案相比，SPDL在使用较少计算资源的情况下，能够达到2到3倍的吞吐量。实验表明，在Free-Threaded Python环境中禁用GIL后运行SPDL，比启用GIL时性能提高30%。SPDL支持Free-Threaded Python，并已在GitHub上开源。随着AI模型规模的扩大，训练过程中对数据和计算的需求不断增加，而SPDL通过高效的数据加载，有效应对了这一挑战。

本专栏通过快照技术转载，仅保留核心内容

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除