一、前言
最近關於DeepSeek的文章可謂非常火熱,不管是教你如何使用,還是藉助DeepSeek幫你“逆天改命”的。其中,關於DeepSeek本地部署的也有不少。只不過,這類本地部署並不適合我們大多數人。
這裏借用超能網的DeepSeek評測文章結果可以看到,如果你真的想部署DeepSeek到本地,你至少需要一張RTX 4090 D級別以上的顯卡。這也只是部署32B級別的,如果你想部署70B或者以上級別的,對於多數用戶來說幾乎不可能實現。
參數不同對於回答的精度也是有不同的。不少小夥伴都反映說,1.5B、7B這類參數的模型對問題的回答基本都是“呆瓜”級別。So,與其花大價錢折騰“呆瓜”,倒不如借道API,將70B甚至滿血版DeepSeek“據爲己有”,豈不是妙哉?
二、準備工作
既然我們的思路是藉助API,那我們就不需要使用PC,可以直接使用NAS了。藉助API不會對NAS有太大負擔,即使我們身在詩和遠方,也可以通過遠程連接訪問自家的NAS。
這裏我選用的是鐵威馬F6-424 Max,這是一款高性能6盤位NAS,搭載Intel Core i5-1235U處理器(10核12線程,最大睿頻4.4GHz),支持64GB DDR5內存擴展,配備2個M.2 NVMe插槽。
存儲方面,支持6塊3.5/2.5英寸SATA硬盤,最大容量144TB,提供TRAID、RAID 0/1/5/6/10等多種模式。接口包含雙10GbE網口、3個10Gbps USB接口(含Type-C)、HDMI 2.1,支持萬兆網絡傳輸。
NAS部署大模型目前使用的是借用docker,這裏我選用的是Open WebUI。Open WebUI是一個可擴展、功能豐富且用戶友好的自託管 AI 平臺,旨在完全離線運行。它支持各種 LLM 運行器,如 Ollama 和 OpenAI 兼容的 API,並內置了 RAG 推理引擎,使其成爲強大的 AI 部署解決方案。
API選擇硅基流動提供的API。之所以用硅基流動,一方面硅基流動對新用戶贈送14元體驗(摺合2000W tokens),另一方面硅基流動提供多個DeepSeek模型,例如
DeepSeek-R1-Distill-Llama-70B、DeepSeek-R1-Distill-Qwen-32B,如果充值了,還可以調用滿血版DeepSeek-R1(購買等級包)。
劃重點01——這裏我們需要先申請一個API Key,因爲後面要用到。如圖所示即可新建密鑰了,密鑰一般都是sk開頭的。
劃重點02——點擊需要調用的模型。新註冊用戶贈送14元屬於贈費福利,只能調用可以使用贈費的模型(可使用贈費模型名字旁有一個禮物圖標)。如圖所示操作,點擊複製圖標,將需要調用的模型名複製下來,後面需要用到的。
三、開始實戰
3.1、配置docker
安裝TOS的過程這裏就不做細講了。當安裝完畢後,進入“控制面板”——“終端與SNMP”,如圖所示,將“允許使用用戶名與密碼訪問SSH端口”選中。日後可以使用時SSH(相當於命令行)訪問NAS,降低我們的時間成本。
接着需要安裝Docker。在“應用中心”找到“Docker Manager”,點擊“安裝”(圖中已經安裝好了)。靜候幾分鐘,Docker安裝成功後,就可以開始下一步了。
點擊“Docker Manager”,依次點擊“項目”——“+”,開始創建新的項目。
在“創建項目”的“配置文件來源”中,點擊右邊符號,彈出對話框選中“創建YAML文件”。
如圖所示進行操作。根路徑一般只有NAS盤符,例如“XXX1/XXX”。在“配置文件來源”一欄,複製粘貼以下代碼:
services:
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
volumes:
/vol1/1000/docker/open-webui:/app/backend/data
ports:
"8080:8080"
強烈先將代碼複製粘貼至文本文檔,再從文本文檔中複製粘貼至對話框裏,可以避免將網站內嵌的格式粘貼至對話框內。粘貼完畢後,點擊左下角“驗證YAML”,如果驗證通過,會有一個“√”,這是點擊“應用”就可以了。
這貨體積很大(大概4.3G),下載速度也不會很快(移動網300M,下載完畢幾乎用了1.5個小時),所以一定要有耐心,如果你實在沒有耐心,可以直接關電腦但不要關NAS,待第二天再看看就可以了。
3.2、配置Open WebUI
部署完畢後,在瀏覽器輸入“http://NAS+IP:8080”(例如我的NAS的IP地址是192.168.1.46,那就輸入http://192.168.1.46:8080)就能看到界面。
第一次登錄需要註冊,按要求填寫即可。
註冊完畢後,有一個歡迎界面。Open WebUI更新還是比較勤快的,最新已經升級到0.5.14(截止至25年2月17日),我用的還是0.5.12。
進入頁面後,如圖依次點擊,打開“管理員面板”後,找到“設置”裏面的“外部連接”,添加我們所需要的API。如果沒有如圖所示界面,點一下左上角“選擇一個模型旁”那個類似於省略號的圖標即可。
硅基流動API的URL一般“
https://api.siliconflow.cn/v1”,密鑰則是前面剛剛申請的,硅基流動API一般是sk開頭。模型名稱指的是使用這個模型的名稱,例如本次使用的是DeepSeek-R1 70B,如果換成其他模型,只需要將對應模型名稱複製過來就可以。如果不填模型名稱是無法調用的。一切設置完畢後,就可以調試了。
點擊“選擇一個模型”,就可以選擇我們的
DeepSeek-R1-Distill-Llama-70B。這裏需要注意的是,可能點了“選擇一個模型”後不會彈出任意模型,這是可能是Open WebUI官網在維護或者是NAS還沒有反應過來。如Open WebUI官網在維護,那隻能等維護結束。
正常調用模型進行回覆,好了,此時我們就可以在NAS上調用
DeepSeek-R1-Distill-Llama-70B模型了。如果想調用滿血版,操作步驟也是一樣,只是模型名稱要改一下。
四、結語
步驟雖然比較多,但藉助NAS和API接口部署DeepSeek,不僅能夠有效避免高昂的硬件成本和複雜的本地部署過程,還能實現高效、靈活的AI應用,同時進一步拓寬了使用場景。鐵威馬F6-424 Max NAS的強大性能,結合Open WebUI的用戶友好界面以及硅基流動提供的強大API服務,爲用戶打造了一個高效、低成本的AI使用方案。
更多遊戲資訊請關註:電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com