跳动百科

DeepSeek宣布开源3FS

申莎叶   来源:网易

DeepSeek宣布开源3FS

2025年2月28日,DeepSeek正式宣布开源其高性能并行文件系统3FS(Fire-Flyer File System)。3FS是一个专为应对AI训练和推理任务挑战而设计的文件系统,充分利用了现代SSD和RDMA网络带宽。

3FS的特点包括分离式架构,能结合数千个SSD和数百个存储节点的网络带宽,使应用程序可以无视位置差异,高效访问存储资源;强一致性保证,通过链式复制与分配查询(CRAQ)技术确保数据一致性;提供基于事务性键值存储的无状态元数据服务,使用通用文件接口,无需学习新存储API。

3FS在180节点集群中实现了6.6 TiB/s的总读取吞吐量,并在GraySort基准测试中表现出色。此次开源,将为AI数据处理设立新的标准,推动AI技术的进一步发展。详情可访问[DeepSeek 3FS项目链接](https://github.com/deepseek-ai/3FS)进行了解。