开源第五弹!DeepSeek宣布开源Fire-Flyer文件系统(3FS),实现高速数据访问。
Fire-Flyer是专为高性能计算打造的高性能分布式文件系统,旨在应对AI训练和推理工作负载中的挑战,解决“高吞吐写入”与“低延迟读取”难兼顾的痛点。
据介绍,3FS采用了解耦架构(Disaggregated Architecture),将数千块SSD的吞吐量与数百个存储节点的网络带宽结合起来,使得应用程序可以以“位置无关”的方式访问存储资源。
举例来说,解耦架构类似于把成千上万个“高速传送带”(SSD硬盘)和“运输车队”(网络带宽)整合成一个大仓库,程序如果要存取数据,就像在手机下单快递,完全不用关心货物到底存在哪个货架。
其次,3FS的强一致性通过分配查询 (CRAQ) 实现链式复制,确保所有环节节点拿到的都是最新数据,不会出现"有人拿到旧版本"的混乱场景,使应用程序代码简单且易于推理。
性能优势方面,3FS能在180节点集群中实现6.6TiB/s总读取吞吐量;在25节点GraySort基准测试中达到3.66TiB/分钟吞吐量;单节点KVCache查询峰值吞吐量超40+GiB/s。
一句话,Fire-Flyer可以看作是一个强大的共享存储层,专门解决AI吃数据"又急又多"的难题,不仅存得快,而且找得准。
风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。