"月之暗面Kimi携手清华大学共建开源大模型推理架构Mooncake"
月之暗面科技有限公司与清华大学MADSys实验室推出了开源项目Mooncake,旨在构建以KVCache为核心的大模型推理架构。该项目基于PD分离和以存换算架构,不仅显著提升了推理吞吐量,还大幅降低了算力开销。Mooncake采用分阶段开源方式,目前已在GitHub上发布Transfer Engine部分。项目旨在优化推理资源,提升用户体验,特别是在处理长文本和高并发需求方面,鼓励更多企业和研究机构共同参与,推动行业的创新与发展。