2月28日，今年2月份的最後一天，也是DeepSeek開源周的最後一天，發佈了兩個項目，分別是3FS文件系統，以及利用3FS和DuckDB構建的輕量級數據處理框架Smallpond！今天也是我連續第五天，用通俗語言給大家帶來DeepSeek開源項目的最新解讀。
01 DeepSeek第五彈有多強？
昨天DeepSeek一口氣放了三個項目，今天再來最後的兩個項目，幾乎是毫無保留地將V3/R1的所有訓練、推理細節全部開源，3FS可以將固態硬盤SSD榨乾到極致，根據DeepSeek官方測試，180節點集羣中的聚合讀取吞吐量爲6.6TB/s，25節點集羣中GraySort基準測試的吞吐量爲3.66TB/分鐘，每個客戶端節點的KVCache查找峯值吞吐量超過40GB/s。
DeepSeek-V3/R1模型中幾乎所有關於訓練數據預處理、數據集加載、嵌入向量搜索和KV Cache查找的工作，都涉及到了3FS！第二個工具Smallpond搭配3FS配套使用，讓 DuckDB 這類單機分析工具可直接處理 PB 級數據，也是首個開源的高性能並行文件系統，前幾天的代碼庫幾乎都是爲了MoE專家模型和英偉達Hopper GPU設計，今天的代碼主要是數據處理框架和分佈式文件系統，接下來我們還是一步步剖析每個代碼庫的具體內容。
02 什麼是分佈式文件系統
3FS全稱爲Fire-Flyer File System是DeepSeek團隊專爲人工智能高性能計算（AI-HPC）設計的分佈式並行文件系統，主要用來解決AI訓練和推理中的大規模數據訪問與處理瓶頸，像MoE專家模型這類架構，模型的參數量達到千億規模，DeepSeek用3FS來榨乾固態硬盤的所有性能，提供接近理論極限的吞吐量，降低數據加載對GPU計算時間的佔用。
3FS系統名字聽起來高大上，但其實說白了，就是一個超級厲害的數據存儲和訪問系統，想象一下，你在網上買了一大堆東西，快遞公司得把這些東西從倉庫快速送到你家。傳統的文件系統就像普通的快遞公司，一次只能送一個包裹，路線固定速度慢。而3FS就像一個超級快遞系統，有成千上萬個快遞員同時出動，而且路線最優，能同時處理無數個包裹，速度快到飛起。
具體放在大模型訓練中，3FS是一個高性能的分佈式並行文件系統，首先解釋“分佈式並行”。DeepSeek將大模型的數據分散存儲在很多臺機器上，這些機器同時工作，共同處理數據的存儲和訪問，這樣一來數據的讀寫速度就大大提升，邏輯思路非常簡單，DeepSeek聲明在180個節點的集羣（也就是180臺機器連在一起）上，3FS的讀取速度能達到6.6 TiB/s，1 TiB就是1024 GB。
GPU集羣的峯值吞吐量
設計上面，3FS充分利用了高速SSD（固態硬盤）和RDMA網絡（一種超高速網絡技術）的性能，這些都是現代數據中心裏的標配硬件，3FS能把它們的潛力發揮到極致，首先3FS可以直接繞過CPU內核，通過RDMA技術實現數據從存儲節點網卡直達到計算節點內存，減少內存拷貝和延遲，通過KVCache功能緩存歷史計算結果，提供40+ GiB/s的峯值吞吐量，降低推理成本。
其實，3FS這項技術還不止是用於AI，遊戲開發等需要數據加載的領域，同樣也可以適用，分佈式架構可以保證數據強一致性的同時支持多節點併發讀寫，這一點可用於多人遊戲全球服務器同步、實時玩家狀態更新等場景，與AI分佈式訓練中參數同步的底層邏輯類似，AI領域的研發與遊戲屆研發一直都是互補的關係，像2012年誰也沒想到英偉達顯卡+CUDA成爲打開ImageNet神經網絡的關鍵鑰匙。技術的歷史總是螺旋上升，而跨界火花的迸發往往在不經意間改寫行業規則，甚至改變整個世界。
KVCache客戶端讀取吞吐量
03 什麼是“小水池”？
第二個項目SmallPond直譯就是小水池，DeepSeek開發並開源的一個輕量級數據處理框架，專爲高效處理大規模數據而設計，簡單來說，SmallPond 是一個能幫你快速加載、處理和保存數據的“神器”，特別適合 AI 相關的任務，比如數據預處理、模型訓練時的加載和保存，以及推理時的優化，DeepSeek取名小水池是希望讓數據處理像用水一樣簡單。
SmallPond 基於 3FS 文件系統 和 DuckDB（一個高效的嵌入式數據庫引擎）構建，主打輕量級，不需要複雜的後臺服務，想用就啓動，用完就關閉，使用起來非常靈活，在一個由 50 個計算節點和 25 個存儲節點組成的集羣上，SmallPond 能在 30 分鐘內 完成 110.5 TiB 的排序任務，平均每分鐘處理 3.66 TiB 的數據。
這種“閃電俠”般的速度，得益於 SmallPond 與 3FS 文件系統的高效集成，能夠充分利用 3FS 的高速數據訪問能力。儘管爲AI而生，SmallPond的輕量化特性也有機會在其他領域大施拳腳，比如遊戲開發需要實時加載4K材質庫，開放世界地圖需要動態流式加載，這些都很依賴數據加載速度。
04 收官日的創新點
今天是DeepSeek開源周的最後一天，3FS文件系統和Smallpond數據處理框架，延續了DeepSeek一貫的務實風格，專注於解決AI訓練和推理中的實際問題，而不是追求花哨的噱頭，今天另一個新聞是OpenAI發佈了殘血版的GPT-4.5，主打情商問答，無推理功能，首發還閹割，在社區直接成了大家玩梗的對象，技術是藏着掖着，連性能都沒辦法一口氣釋放出來，完全沒有當年GPT-3.5發佈時天下第一的氣勢。
當然，缺點就是DeepSeek連續五天的代碼庫越來越硬核，熱度其實越來越低，這幾天雷軍全網刷屏，營銷號熱度都轉向雷軍了。但是DS在業界內已經把活菩薩的人設立住了，無論是3FS的高速數據存取，還是Smallpond的輕量級處理能力，DeepSeek都提供了詳細的文章和代碼，在社區內積極解答問題，沒有一點神祕感，這種透明和務實的態度，不僅贏得了社區的尊重，也推動了AI技術的實際進步。
相比OpenAI的營銷導向，DeepSeek五天的項目可以說沒有任何炫目的噱頭，而是通過技術積累和對問題的深刻理解，展現了DeepSeek在AI領域的領先地位。相比OpenAI的營銷導向，DeepSeek的務實精神顯得尤爲可貴，也讓人更加期待他們在未來的表現，當前DeepSeek-R1的餘溫尚未消散，多方信息透露DeepSeek-R2將在不久的未來發布，屆時很有可能打出多模態+技術開源的組合拳，逼迫OpenAI、微軟、谷歌、Meta這些巨頭一起卷，如今AI競爭可能不僅僅是算力軍備競賽，更是創新性的效率革命，誰能手握創新的鑰匙，誰就能笑到最後。
更多遊戲資訊請關註：電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com
