2000美元EPYC服务器跑DeepseekR1671b

打造本地 Deepseek AI 推理服务器

Digital Spaceport 使用之前评测的 AMD EPYC Rome 平台，实现了卓越的性能：😁 使用此配置的用户今天有好消息，因为他们可以使用 Q4 671b 完整模型，实现每秒 4.25 到 3.5 个 Token（TPS）。这对性能至关重要，因为“精简版”模型远不如其他模型。要获得真正的完整模型体验，就需要使用完整模型，并保持较大的上下文窗口（16K 以上）。即使只用 CPU 运行也足够好，因此可以在使用 GPU 运行小模型（如图像识别模型）的同时，让其运行。强调一下，除非有顶级设备，否则仅靠 GPU 显存是无法运行 Deepseek 671b 完整版的。Digital Spaceport 将提供各种技巧，帮助其运行。这并不简单，但如果你喜欢技术挑战，会发现这很有趣。

更正声明 (2024/02/01)

• 空闲功耗：60W（比 Digital Spaceport 预想的低，未插入 GPU）
• 满载功耗：260W
• Digital Spaceport 当前内存频率：2400MHz（可能 3200MHz 性能更优）

本地 AI 服务器 CPU 硬件

如果你之前看过 Digital Spaceport 的四路 3090 显卡服务器配置指南，那你就有福了。那颗 EPYC 7702 CPU 现在依然具有竞争力。Digital Spaceport 推荐更先进的 CPU，因为价格相近，性能提升显著。本文测试结果使用 Digital Spaceport 的 7702 CPU 获得。MZ32-AR0 主板曾是个优秀的选择，拥有 16 个内存插槽，支持 3200MHz 频率，可显著降低 512GB 至 1TB 内存的成本。Digital Spaceport 目前使用 2400MHz DDR4 内存条，但若使用 3200MHz DDR4 ECC 内存条，性能可能进一步提升。16 条 32GB 内存条可达到 512GB 内存，16 条 64GB 内存条可达 1TB。**注意：LRDIMM 和 RDIMM 内存条不能混用！**

本地 AI 服务器 Rig 组件清单

• 机架 55 美元
• MZ32-AR0 主板 500 美元
• CPU 水冷 420mm Corsair h170i elite capellix xt 170 美元
• EPYC CPU 水冷头支架
• 64 核 AMD EPYC 7702 650 美元 或 64 核 AMD EPYC 7V13 599 美元 或 64 核 AMD EPYC 7C13 735 美元
• 512GB 2400 ECC 内存 400 美元
• 1TB NVMe 固态硬盘 – Samsung 980 Pro 75 美元
• 850W 电源 80 美元（仅 CPU 推理，850W 够用。若使用 GPU，建议 1500W 或 1600W 电源起步）

**(价格为 2025 年