中国人工智能领域的领军企业DeepSeek，在开源周落幕之时，重磅推出了针对现代算力环境定制的高性能并行文件系统3FS（Fire-Flyer File System）及其配套数据处理框架Smallpond。这套解决方案直击AI训练和推理中数据处理的核心难题，以集群吞吐量6.6TiB/s的卓越表现，刷新了行业纪录，标志着分布式存储技术迈向新的发展阶段。

QQ20250228-092812.png

性能革新：架构创新树立新标杆

3FS采用了去中心化架构和强一致性语义设计，在180节点集群中实现了6.6TiB/s的聚合读取吞吐量，单个节点的KVCache查找峰值可达40GiB/s。其GraySort基准测试显示，在25节点的配置下，性能达到了3.66TiB/min，相较于传统方案有指数级的提升。系统对SSD和RDMA网络特性进行了深度优化，极大提高了硬件带宽利用率，为千卡级AI训练集群提供了稳定的数据支持。

场景重塑：全链路助力AI工作流

作为DeepSeek V3/R1版本的核心组成部分，3FS已全面融入数据预处理、检查点存储、向量搜索及推理缓存等关键环节。其共享存储层设计简化了分布式开发的复杂度，强一致性保证了大规模并发操作的安全性。配套的Smallpond框架开源了轻量级的PB级数据处理能力，借助DuckDB实现了“无服务化”的数据工程，构建了从存储到计算的完整生态闭环。

开源策略：加速AI基础设施建设民主化

此次3FS与Smallpond的双向开源，继续了DeepSeek“五日连发”的技术开放策略。DeepSeek通过分享在自身AI业务中验证过的系统，正推动行业突破数据密集型应用的存储瓶颈。有分析认为，这一方案可能会对Ceph、Lustre等传统分布式系统产生重大影响，尤其是在大模型训练等场景中开辟新的范式。

开源地址：

3FS → https://github.com/deepseek-ai/3FS

Smallpond - 3FS上的数据处理框架: https://github.com/deepseek-ai/smallpond