在生成式 AI 领域的迅猛发展中，Nous Research 团队正开展一项创新实验：他们正利用全球范围内的机器，对一款拥有150亿参数的大型语言模型（LLM）进行预训练。这一过程跳过了传统在昂贵且耗电的数据中心或超级集群中进行集中式开发的步骤。
此外，Nous Research 在其官方网站 distro.nousresearch.com 上实时直播这一预训练过程，展示模型在各项评估基准上的表现，并提供参与训练的硬件位置地图，这些地点遍布美国和欧洲。截至目前，预训练剩余时间约为57小时（即2.3天），已完成训练进度超过75%。
预训练是LLM训练的首要且基础环节，涉及对大量文本数据的学习，以掌握语言的统计特性和结构。在此阶段，模型通过处理丰富的文本数据集，捕捉语言模式、语法和词汇间的上下文关系，从而具备广泛的语言理解能力，能够生成连贯文本并执行多种语言任务。预训练完成后，模型还需针对特定任务或领域进行微调。
若此计划成功，Nous Research 将证明在没有超级集群或低延迟传输的情况下，也能训练出顶尖水平的LLM，标志着分布式 AI 训练的新时代。这种开源的训练方法有望改变生成式 AI 的竞争格局，为小型团队和非企业参与者提供更多竞争力。
Nous 研发的Nous DisTrO（Distributed Training Over-the-Internet）技术，旨在降低预训练过程中GPU间的通信带宽需求。据Nous Research 最新发布，DisTrO 能将通信需求降低达10，000倍，使得在较慢且经济的互联网连接条件下，仍能保持竞争力的收敛率和损失曲线。
DisTrO 技术的核心创新在于有效压缩GPU间交换的数据量，同时不影响模型性能。该技术基于早期的去耦动量优化算法（DeMo），同样旨在大幅降低GPU间的通信需求，同时保持训练性能。
在硬件支持方面，Nous Research 的预训练过程得到了Oracle、Lambda Labs、Northern Data Group、Crusoe Cloud 和 Andromeda Cluster 等多家知名合作伙伴的助力，共同提供所需的异构硬件，以验证DisTrO在实际分布式环境下的实力。
博客入口:https://nousresearch.com/
划重点:
🌐 Nous Research 正在进行全球分布式 AI 训练，目标预训练一款15亿参数的大型语言模型。
💻 采用Nous DisTrO技术，大幅降低GPU间通信带宽需求，实现低成本训练。
🤝 该项目获得多家硬件供应商支持，推动分布式 AI 研究的发展。
暂无评论