智谱科技最近宣布开源其端侧大语言和多模态模型GLM-Edge系列，这一开放举措标志着公司在实际应用中迈出了重要步伐。GLM-Edge系列包含四种不同尺寸的模型，包括GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B和GLM-Edge-V-5B，针对手机、车载设备等移动平台以及PC等桌面端进行了优化设计。

智谱 AI

依托GLM-4系列的技术基础，智谱的研发团队对模型的结构和尺寸进行了改进，以在模型性能、实际推理表现和落地实施便利性之间实现最佳平衡。通过与合作伙伴的紧密合作及推理优化，GLM-Edge系列模型在多个端侧平台上展现出卓越的运行效率。尤其是在高通骁龙8Elite平台上，借助NPU算力和混合量化技术，1.5B对话模型和2B多模态模型的解码速度超过每秒60个tokens，采用投机采样技术后，解码速度更可达每秒100个tokens以上。

智谱开源的GLM-Edge系列模型不仅体现了公司在人工智能领域的技术能力，还为开发者和研究人员提供了强大的工具和资源，推动端侧AI应用的发展和创新。

GLM-Edge合集:

https://modelscope.cn/collections/GLM-Edge-ff0306563d2844