
2024年4月,Meta发布了其最新的AI大型语言模型——Llama 3。
Meta公司在2024年4月发布了其最新的AI大型语言模型——Llama 3。该模型基于一个比前代产品Llama 2大七倍的数据集,展示了前所未有的性能。在发布时,Llama 3提供了8B和70B两种参数规模的版本,并迅速超越了Google的开源Gemma模型和Anthropic的Claude Sonnet。后者经过升级后,成为最强大的AI模型之一。
性能与效率
据内部消息透露,Meta正准备推出一款拥有超过4000亿参数的Llama 3模型,这将成为市场上最强大的语言模型之一。Meta正在利用其数十万个Nvidia H100 GPU资源,积极研发更多创新模型。
在早期测试中,Llama 3 400B的表现已经达到与OpenAI的GPT-4相媲美的水平,在MMLU基准测试中得分为86.1,尽管使用的参数不到GPT-4的一半。这表明Meta在模型架构和训练方面取得了显著进步,足以对OpenAI构成严峻竞争。
通过用更少的参数达到相同的性能,Llama 3 400B可能在计算资源、能源消耗和成本方面比OpenAI的ChatGPT 4更为高效。
开源的优势
Llama 3之所以引起广泛关注的另一个重要原因是,它已经在一个开放许可下发布,供研究和商业使用。尽管目前尚不清楚400B是否也将在同样的开放许可下发布。如果它作为一个开放模型发布,那么这些最先进的语言能力将通过多个云平台和生态系统免费提供给研究人员和开发人员,加速创新并使技术的更多新颖应用成为可能。
未来展望
自4月18日Llama 3的发布以来,Meta AI一直在暗示400B模型的发布。“我们最大的模型超过400B参数,”Meta在当时写道,并补充说“在接下来的几个月,我们将发布多个具有新能力的模型,包括多模态、多语言对话能力、更长的上下文窗口和更强的整体能力。”
一些细心的WhatsApp Beta用户已经在Android版本2.24.14.7中发现了尝试Meta AI的Llama 3-405B模型的新选项,虽然这一功能目前仅限beta用户体验,并且使用量有所限制,但这已足以激起公众对这一顶级模型全面发布的期待,预计发布时间可能在2024年晚些时候。
结语
Llama 3的推出,无论是在性能还是开放性方面,都有望对当前的大语言模型市场格局产生深远影响。随着Meta继续推动AI技术的发展,我们可以期待在不久的将来看到更多令人兴奋的创新和突破。
暂无评论