数据加载效率

Meta AI推出SPDL数据加载工具，采用线程式加载，提高AI模型训练数据传输速度，缩短训练时间，降低成本。与传统方法相比，数据吞吐量提升3-5倍，训练时间可缩短30%，适用于大规模集群训练，兼容PyTorch等框架，为AI研究提供支持。