Nous DisTrO

Nous Research利用全球机器分布式训练15亿参数大型语言模型，采用Nous DisTrO技术降低GPU通信需求，实现低成本训练，获多家硬件供应商支持，开启分布式AI训练新纪元。