谷歌SALT新法革新AI训练，缩短时间提升效率

近年来，大型语言模型（LLM）的训练成本不断上升，且过程复杂，只有少数大型科技公司才有足够的计算资源。然而，谷歌近期推出的SALT（小模型辅助大模型训练）新方法，有望彻底颠覆AI训练的现有格局。

如图所示，AI技术的进步离不开创新，而SALT正是这样一项技术。SALT通过两阶段训练过程，实现了高效且实用的LLM训练。第一阶段是知识蒸馏，小型语言模型（SLM）作为“教师”将知识传授给大型模型。第二阶段是自我监督学习，大型模型独立学习，逐步减少对小型模型的依赖。

实验证明，使用15亿参数的小型模型训练28亿参数的大型模型，SALT方法能将训练时间缩短28%。经过微调后，大型模型在数学问题上的准确率从31.84%提升至34.87%，阅读理解准确率也从63.7%提高至67%。这种新方法不仅提高了训练效率，还在性能上取得了显著突破。

SALT的诞生有望降低AI开发的门槛，让更多小型研究机构和公司参与到AI模型开发中。这将促进研究机会的普及，催生更多独特和专业化的AI解决方案，推动相关领域的创新与应用。

划重点：
🌟 SALT方法将大型模型的训练时间缩短28%，大幅降低计算成本。
📈 小型模型知识蒸馏显著提升大型模型在复杂任务上的表现。
🔍 SALT的创新降低AI开发门槛，让更多小型机构参与到AI研究中。