智谱AI开源的GLM-Edge系列:端侧大语言与多模态模型解决方案
智谱科技近日开源其GLM-Edge系列端侧大语言和多模态模型,标志着公司在实际应用中的重要进展。该系列包含四种不同尺寸的模型,针对移动和桌面平台进行了优化。基于GLM-4系列技术,智谱团队调整了模型以实现性能和便利度的最佳平衡。特别是在高通骁龙8Elite平台上,模型解码速度超越每秒60tokens,应用投机采样后可达100tokens。这一举措为开发者和研究者在端侧AI应用中提供了有力支持。
智谱科技近日开源其GLM-Edge系列端侧大语言和多模态模型,标志着公司在实际应用中的重要进展。该系列包含四种不同尺寸的模型,针对移动和桌面平台进行了优化。基于GLM-4系列技术,智谱团队调整了模型以实现性能和便利度的最佳平衡。特别是在高通骁龙8Elite平台上,模型解码速度超越每秒60tokens,应用投机采样后可达100tokens。这一举措为开发者和研究者在端侧AI应用中提供了有力支持。