苹果NVIDIA合作，LLM生成速度提升三倍

最近，苹果公司在机器学习领域的最新研究成果表明，通过与 NVIDIA 的携手，成功将大型语言模型（LLM）的生成速度提升了近三倍。这一突破性的进展得益于苹果开源的技术“Recurrent Drafter”（ReDrafter），该技术采用推测解码方法，大幅提升了模型训练的效率。

过去，构建大型语言模型的过程往往既耗时又耗费资源，企业往往需要投入大量硬件设备，从而推高了运营成本。2024年初，苹果推出了 ReDrafter 技术，它结合了递归神经网络和动态树关注方法，能迅速生成和验证标记，将传统自动回归方法的标记生成速度提升了3.5倍。

本周，苹果宣布进一步整合 ReDrafter 技术至 NVIDIA 的 TensorRT-LLM 推理加速框架中。这一举措使得利用 NVIDIA GPU 的机器学习开发者能够在生产环境中利用 ReDrafter 的加速功能。值得一提的是，尽管高性能的多 GPU 服务器通常价格不菲，但此次合作在降低延迟的同时减少了所需硬件数量，提供了更为经济的解决方案。

在 NVIDIA 的基准测试中，使用 ReDrafter 的生成效率显著提升，在贪婪编码模式下，每秒生成令牌的速度提高了2.7倍。这表示开发者能在更短的时间内获得更多结果，为用户提供更快速的服务体验。

苹果公司在确认与 NVIDIA 的合作后，还透露正在考虑使用亚马逊的 Trainium2芯片来提升模型训练效率。预计使用 Trainium2进行预训练的效率将比现有硬件提升50%。

官方博客:https://developer.nvidia.com/blog/nvidia-tensorrt-llm-now-supports-recurrent-drafting-for-optimizing-llm-inference/

划重点:

🌟 苹果与 NVIDIA 合作，将大型语言模型的生成速度提升近三倍。

🚀 开源技术 ReDrafter 结合递归神经网络，显著提高模型训练效率。

💰 此次合作有助于降低成本，为机器学习开发者提供更高效的解决方案。