联想近日正式推出首款搭载AMD AI大模型训练服务器的产品——联想问天WA7785a G3。该服务器在单机部署671B（满血版）DeepSeek大模型时，创造了6708token/s的极致吞吐量，再次提升了单台服务器运行超大规模模型性能的新高度。

据官方介绍，此次性能的突破得益于联想万全异构智算平台的强大支持。联想通过访存优化、显存优化、创新的PCIe5.0全互联架构以及精选SGLang框架中的最优算子等技术手段，对大模型从预训练、后训练到推理的全流程进行了深度优化。实践结果显示，在单机部署DeepSeek671B大模型的联想问天WA7785a G3服务器上，最高吞吐量可达6708token/s。

GPU 芯片 (5)

图源备注：图片由AI生成，图片授权服务商Midjourney

在模拟问题对话场景（上下文序列长度128/1K）中，该服务器最高支持158的并发数，TPOT（Time Per Output Token）为93毫秒，TTFT（Time To First Token）为2.01秒；而在模拟代码生成场景（上下文序列长度512/4K）中，并发数可达140，TPOT为100毫秒，TTFT为5.53秒。联想方面表示，这一性能表现意味着单台联想问天WA7785a G3服务器即可满足1500人规模企业的日常需求，继联想问天WA7780G3服务器单机部署满血版DeepSeek大模型总吞吐量突破2500token/s之后，在单机部署该大模型推理性能上再次实现重大突破。

联想强调，此次技术突破是联想中国基础设施业务群、联想研究院ICI实验室和AMD三方共同设计、协同调优、共同努力的结果。同时，这也非最终目标，联想与AMD将持续探索深度调优的新方法，以期实现更高的性能突破。