2月28日，今年2月份的最后一天，也是DeepSeek开源周的最后一天，发布了两个项目，分别是3FS文件系统，以及利用3FS和DuckDB构建的轻量级数据处理框架Smallpond！今天也是我连续第五天，用通俗语言给大家带来DeepSeek开源项目的最新解读。
01 DeepSeek第五弹有多强？
昨天DeepSeek一口气放了三个项目，今天再来最后的两个项目，几乎是毫无保留地将V3/R1的所有训练、推理细节全部开源，3FS可以将固态硬盘SSD榨干到极致，根据DeepSeek官方测试，180节点集群中的聚合读取吞吐量为6.6TB/s，25节点集群中GraySort基准测试的吞吐量为3.66TB/分钟，每个客户端节点的KVCache查找峰值吞吐量超过40GB/s。
DeepSeek-V3/R1模型中几乎所有关于训练数据预处理、数据集加载、嵌入向量搜索和KV Cache查找的工作，都涉及到了3FS！第二个工具Smallpond搭配3FS配套使用，让 DuckDB 这类单机分析工具可直接处理 PB 级数据，也是首个开源的高性能并行文件系统，前几天的代码库几乎都是为了MoE专家模型和英伟达Hopper GPU设计，今天的代码主要是数据处理框架和分布式文件系统，接下来我们还是一步步剖析每个代码库的具体内容。
02 什么是分布式文件系统
3FS全称为Fire-Flyer File System是DeepSeek团队专为人工智能高性能计算（AI-HPC）设计的分布式并行文件系统，主要用来解决AI训练和推理中的大规模数据访问与处理瓶颈，像MoE专家模型这类架构，模型的参数量达到千亿规模，DeepSeek用3FS来榨干固态硬盘的所有性能，提供接近理论极限的吞吐量，降低数据加载对GPU计算时间的占用。
3FS系统名字听起来高大上，但其实说白了，就是一个超级厉害的数据存储和访问系统，想象一下，你在网上买了一大堆东西，快递公司得把这些东西从仓库快速送到你家。传统的文件系统就像普通的快递公司，一次只能送一个包裹，路线固定速度慢。而3FS就像一个超级快递系统，有成千上万个快递员同时出动，而且路线最优，能同时处理无数个包裹，速度快到飞起。
具体放在大模型训练中，3FS是一个高性能的分布式并行文件系统，首先解释“分布式并行”。DeepSeek将大模型的数据分散存储在很多台机器上，这些机器同时工作，共同处理数据的存储和访问，这样一来数据的读写速度就大大提升，逻辑思路非常简单，DeepSeek声明在180个节点的集群（也就是180台机器连在一起）上，3FS的读取速度能达到6.6 TiB/s，1 TiB就是1024 GB。
GPU集群的峰值吞吐量
设计上面，3FS充分利用了高速SSD（固态硬盘）和RDMA网络（一种超高速网络技术）的性能，这些都是现代数据中心里的标配硬件，3FS能把它们的潜力发挥到极致，首先3FS可以直接绕过CPU内核，通过RDMA技术实现数据从存储节点网卡直达到计算节点内存，减少内存拷贝和延迟，通过KVCache功能缓存历史计算结果，提供40+ GiB/s的峰值吞吐量，降低推理成本。
其实，3FS这项技术还不止是用于AI，游戏开发等需要数据加载的领域，同样也可以适用，分布式架构可以保证数据强一致性的同时支持多节点并发读写，这一点可用于多人游戏全球服务器同步、实时玩家状态更新等场景，与AI分布式训练中参数同步的底层逻辑类似，AI领域的研发与游戏届研发一直都是互补的关系，像2012年谁也没想到英伟达显卡+CUDA成为打开ImageNet神经网络的关键钥匙。技术的历史总是螺旋上升，而跨界火花的迸发往往在不经意间改写行业规则，甚至改变整个世界。
KVCache客户端读取吞吐量
03 什么是“小水池”？
第二个项目SmallPond直译就是小水池，DeepSeek开发并开源的一个轻量级数据处理框架，专为高效处理大规模数据而设计，简单来说，SmallPond 是一个能帮你快速加载、处理和保存数据的“神器”，特别适合 AI 相关的任务，比如数据预处理、模型训练时的加载和保存，以及推理时的优化，DeepSeek取名小水池是希望让数据处理像用水一样简单。
SmallPond 基于 3FS 文件系统 和 DuckDB（一个高效的嵌入式数据库引擎）构建，主打轻量级，不需要复杂的后台服务，想用就启动，用完就关闭，使用起来非常灵活，在一个由 50 个计算节点和 25 个存储节点组成的集群上，SmallPond 能在 30 分钟内 完成 110.5 TiB 的排序任务，平均每分钟处理 3.66 TiB 的数据。
这种“闪电侠”般的速度，得益于 SmallPond 与 3FS 文件系统的高效集成，能够充分利用 3FS 的高速数据访问能力。尽管为AI而生，SmallPond的轻量化特性也有机会在其他领域大施拳脚，比如游戏开发需要实时加载4K材质库，开放世界地图需要动态流式加载，这些都很依赖数据加载速度。
04 收官日的创新点
今天是DeepSeek开源周的最后一天，3FS文件系统和Smallpond数据处理框架，延续了DeepSeek一贯的务实风格，专注于解决AI训练和推理中的实际问题，而不是追求花哨的噱头，今天另一个新闻是OpenAI发布了残血版的GPT-4.5，主打情商问答，无推理功能，首发还阉割，在社区直接成了大家玩梗的对象，技术是藏着掖着，连性能都没办法一口气释放出来，完全没有当年GPT-3.5发布时天下第一的气势。
当然，缺点就是DeepSeek连续五天的代码库越来越硬核，热度其实越来越低，这几天雷军全网刷屏，营销号热度都转向雷军了。但是DS在业界内已经把活菩萨的人设立住了，无论是3FS的高速数据存取，还是Smallpond的轻量级处理能力，DeepSeek都提供了详细的文章和代码，在社区内积极解答问题，没有一点神秘感，这种透明和务实的态度，不仅赢得了社区的尊重，也推动了AI技术的实际进步。
相比OpenAI的营销导向，DeepSeek五天的项目可以说没有任何炫目的噱头，而是通过技术积累和对问题的深刻理解，展现了DeepSeek在AI领域的领先地位。相比OpenAI的营销导向，DeepSeek的务实精神显得尤为可贵，也让人更加期待他们在未来的表现，当前DeepSeek-R1的余温尚未消散，多方信息透露DeepSeek-R2将在不久的未来发布，届时很有可能打出多模态+技术开源的组合拳，逼迫OpenAI、微软、谷歌、Meta这些巨头一起卷，如今AI竞争可能不仅仅是算力军备竞赛，更是创新性的效率革命，谁能手握创新的钥匙，谁就能笑到最后。
更多游戏资讯请关注：电玩帮游戏资讯专区
电玩帮图文攻略 www.vgover.com
