DeepSeek-70B本地化部署指南!斷網也能輕鬆裝,超實用!

2025大年初一的時候我曾發了一篇如何在本地部署DeepSeek大模型的流程教程,意外的獲得了超多的點擊和收藏,也瞭解到了許多用戶遇到的問題,經過一段時間的使用,我發現蒸餾過的32b DeepSeek用起來不太如意,遂折騰了一下,成功部署並能較爲流暢的運行70b的DeepSeek本地版,實際體驗與在線版的671b完整版區別越來越小了,已經是可用狀態了。

這裏需要和不明白的朋友們講下,32b、70b、671b的b代表什麼:

b=billion,十億,70b意思是700億個參數,參數越多,大模型的推理和生成能力越強,能處理更復雜的任務、提供更精準的結果。但參數越大、對電腦要求越高,所以要結合現實綜合考量後選擇適合自己電腦的版本。

接下來的內容,我會以70b的蒸餾版模型,繼續教大家如何部署70b DeepSeek本地版,其中包含解決很多用戶關心的問題答疑,如何離線安裝部署DeepSeek的操作。

這個流程我會假設你對編程和命令行操作有一點點點點了解,操作雖然很簡單,但我也會盡量詳細解釋每一步,爭取讓小白也能成功部署。

需要準備的工作

電腦內存越大越好、顯卡越強越好、固態硬盤越快越穩越好……總之,電腦配置要高,我的電腦核心配置供參考:

Windows 11 23H2系統

CPU:Intel i9-14900K

主板:技嘉Aorus Z790冰雕

顯卡:公版英偉達RTX 4080

固態硬盤:致態TiPro9000 1TB

內存:64GB雙通道DDR5 6000 C30(16GB x4)

安裝大語言運行框架

我們繼續選用Ollama作爲我們的DeepSeek大模型運行框架。

Ollama是一個開源的AI工具,支持本地運行各種模型,包括GPT-4、DeepSeek等。我們要用DeepSeek就必須要安裝運行框架。

打開Ollama的官網:ollama點com(輸入的時候將“點”換成“.”,沒有雙引號,下同),或者去github下載(開源的項目),如果你是Windows的話,就下載Windows的版本並安裝。

安裝完成後,電腦的任務欄會顯示Ollama已經在後臺運行了,看到後別關閉,關了就用不了DeepSeek了。

克隆代碼倉庫 部署大模型

接着,我們可以在Ollama的官網直接打開DeepSeek大模型的拉取鏈接,在models裏選擇deepseek-r1即可。

這時候,我們要根據電腦性能、尤其是顯卡性能來選擇大小不同的模型,如果你的顯卡顯存很大,可以選擇更大一些。我的顯卡是4080,顯存是16GB,官方推薦用32b大小的DeepSeek模型。但,我測試過了,70b大小的同樣可以運行,雖然速度稍慢,但深度思考、推理結果更接近671b的在線完整版

選好後,複製右側的框內的代碼。

按windows徽標鍵+R,打開“運行”,輸入cmd並確定。

在命令提示符或終端裏,Ctrl+V,將剛剛複製的代碼ollama run deepseek-r1:70b粘貼到裏面,隨後按鍵盤的Enter/回車健。

70b大模型的文件大小是42GB左右,克隆/下載速度因人而異,默認會安裝在C盤。如何想要更改大模型的存儲目錄,請拖到文章後面的部分,我會教各位如何操作。

CMD/終端運行DeepSeek

經過漫長的等待,70b大模型安裝完成後,運行環境和DeepSeek大模型就算搭建好了。我們在cmd/終端裏可以直接輸入ollama run deepseek-r1:70b命令來使用DeepSeek。

輸入命令後,此時電腦內存大小和硬盤性能決定了載入時長,我這邊用的PCIe5.0的致態TiPro9000,載入時間約10多秒,載入完成後就可以開始使用DeepSeek了。

在使用過程中,CPU、內存和顯存的佔用率都挺高的,而且我也發現固態硬盤也時不時的需要進行大量讀取,此時固態硬盤的性能還是挺關鍵的。

提升體驗!用chatbox搭建操作界面

對於大多數沒有編程基礎的玩家來說,以上的命令行用起來非常繁瑣不夠直觀,而且功能不夠人性化,接下來我們可以通過搭建一個口碑較好的用戶界面來運行。

我選的是開源的chatbox ai工具,去官網chatboxai.app斜槓zh(輸入的時候將“斜槓”換成“/”,沒有雙引號)或github上下載安裝所需的版本。

安裝完成後,選擇“使用自己的API Key或本地模型”

在彈出的設置頁面中,模型提供方選擇OLLAMA API,模型選擇deepseek-r1:70b。

上下文的消息數量上限可以拖到不限制,在嚴謹和想象(Temperature)拖到0.6比較好一些,兼顧嚴謹和發散,點擊保存後完成!

接下來就是愉快的使用過程了,對話過程中,我們也能和在線版一樣,可以看到DeepSeek的思考推理過程,我的電腦運行時的速度大約是每秒2個token(2個漢字或2個單詞),完全可以接受!

以上的部署操作過程其實非常簡單,小白跟着做,絕對可以完成。而70b的DeepSeek大模型已經可以很好進行思考推理生成了,如果不考慮時效性的內容(如上圖中,DeepSeek對電腦硬件的瞭解可能還停留在2年前,但思路是對的),本地部署70b完全可用!

斷網安裝 如何導入下載好的大模型?

網絡不好導致拖不動DeepSeek模型、或者單純想在一臺隔離網絡的單機上部署DeepSeek的同學,可以用迅雷下載所需的大模型,並用手動導入到ollama指定的文件夾內,具體的詳細步驟請看。

Ollama安裝完成後,先設置一個DeepSeek的模型存放目錄

windows搜索框內輸入查看高級系統設置,進入環境變量>新建,設定DeepSeek的模型存放位置,並在電腦硬盤目錄裏新建一個模型目錄文件夾(比如我命名爲deepseekmodel)。

變量名:OLLAMA_MODELS別寫錯,變量值就是deepseekmodel的文件夾地址

隨後在deepseekmodel文件夾內,右鍵新建一個文本文檔(.txt),然後點擊查看>開啓顯示文件擴展名,將這個txt文件的.txt後綴刪掉,並命名爲Modelfile

先去modelscope點cn搜索所需的DeepSeek模型,搜索的時候,加上關鍵詞GGUF(ollama支持的模型文件格式)。

選好合適的模型後,進入其模型介紹和下載頁面,選擇一個下載即可。完成後,將此模型文件丟到D:\deepseekmodel目錄中。

(爲了節省下載時間,在這個章節裏,圖片中我選用了7b的DeepSeek模型來做示範,其他大小的模型操作方法完全一致)

右鍵點擊Modelfile,用記事本打開,輸入以上圖片內容FROM D:\deepseekmodel\DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf,並保存

(FROM後面,是DeepSeek模型的文件存放路徑,一定要一字不差,可以右鍵點擊模型文件,複製文件地址獲取,記得刪掉雙引號,FROM後面加空格)

隨後打開cmd/終端,輸入ollama create DeepSeek-R1-7B -f D:\deepseekmodel\Modelfile

(意思是用D:\deepseekmodel\Modelfile的路徑找到模型文件,生成一個DeepSeek-R1-7B模型)

完成後,D:\deepseekmodel\blobs文件夾內就會有這兩個文件,大的那個就是模型文件。

去cmd/終端裏, 輸入ollama list命令確認一下,有了!

後續操作,和“用chatbox搭建友好的操作界面”章節完全一致,各位可往上滑參考。完成後就能用chatbox接入DeepSeek了。

硬盤如何選

上面有提到,在使用DeepSeek、尤其是參數較多的模型時,電腦的壓力還是蠻大的,除了顯卡要強、內存要大之外,其實硬盤也得快。

因爲DeepSeek的模型都是十幾GB甚至幾十、上百GB的單文件,需要解包載入到內存,整個過程對硬盤的性能要求不低,更好的SSD能提供更好的讀取性能,不拖整機後腿。

我這次用了致態TiPro9000這款旗艦級PCIe 5.0固態硬盤,它最高14000MB/s的滿血讀速、最高2000K IOPS(2TB)的隨機讀取速度,可以讓我的電腦實現極限性能釋放,載入模型的速度非常極速。

而它搭載了全新一代的長江存儲晶棧®Xtacking® 4.0架構原廠高品質存儲顆粒,除了更快、而且還更穩,在我使用的過程中,沒有出現卡頓的問題,整體體驗相當不錯!

具體它的性能有多厲害,各位可以看以上的性能對比圖,相比主流高端PCIe4.0的固態硬盤,它的性能幾乎是翻倍的提升。

而在PCMark10這種生產力系統盤基準測試中,它整體得分處於斷檔級的絕對領先地位。表現相當猛!

除了性能,在質保方面,致態TiPro9000的5年/每TB容量600TBW寫入保固讓我可以放心的狠狠用,什麼ollama deepseek、stable diffusion都往裏塞,用起來沒有後顧之憂。

而且在價格方面,橫向對比同性能級別的大牌PCIe5.0固態硬盤:同價位的性能不如它、同性能的比它貴,這讓致態TiPro9000很有性價比啊!

如果你的電腦支持PCIe5.0的固態硬盤,那就別猶豫,直接上!另外,我推薦各位可以直接購入2TB版本,算下來的綜合性價比還是挺高的,而且一步到位免折騰。靠譜!

如果不支持5.0的話,高端PCIe4.0固態也同樣可以暢快用,像上面的測試圖顯示,致態TiPlus7100性能也相當不錯,可以作爲首選。

顯卡如何選

我推薦各位選購16G顯存的中端卡,比如4070Ti Super 16G,價格在6000元以內,實際的AI推理、文生圖速度和4080 Super沒有區別。而且16G顯存運行32b速度很快、70b的話主要是CPU和GPU協同處理(存疑),速度慢但也可以接受,綜合下來還是可以的。

如果你能搶到5090,那自然是最好的,不僅推理速度更快,而且可以運行更大的模型。

最後

在DeepSeek席捲的AI浪潮下,人工智能現在真的落地了,它讓每個人都能輕鬆用上,降低了專業壁壘,惠及了每個互聯網用戶。接下來,我們要做的是讓AI爲我所用,這樣才能在這個時代裏立足啊!

希望此文對你有幫助,也希望各位部署DeepSeek一次成功。

更多遊戲資訊請關註:電玩幫遊戲資訊專區

電玩幫圖文攻略 www.vgover.com