前言
這篇文章，咱們來玩點花的！
放在幾年前想玩NAS，一塊J1900 J4125就能滿足百分之八九十的需求了。
但放在今天各家國產廠商不斷在nas上卷配置，n5105這類平臺放在現在市場上說實話都已經算是有點落伍了，咱們玩家對於NAS的需求也是越來越高。從一開始的存儲、協作、下載、遠程訪問這類比較基礎的功能，到現在都在玩的影視服務、docker容器、虛擬機各式各樣的軟件服務都想塞進一臺小小的NAS裏。
可以說巴不得用着低功耗U，幹着志強的活是吧
那咱們這篇文章，來整點能完全榨乾NAS性能的活！在NAS中部署大語言模型，獲得一個隨時隨地的個人問答助手
爲什麼選擇NAS部署大語言模型
那其實很多小夥伴比較疑惑，爲什麼要選擇NAS來部署呢？用自己的PC部署不行麼？
使用NAS部署主要還是因爲這類設備是7x24不間斷地運行，想要用的時候直接進入webui界面就行。但是PC部署的話，如果你能接受你的電腦不關機運行其實也是沒有問題的。
另外部署在NAS中，運算啥的都是在本地進行，可以有效保護個人隱私安全。
同時也沒有在線AI那樣嚴格的審查機制。就拿問答大模型剛出來那會兒，著名的“奶奶漏洞”，現在使用在線AI基本上問不出來祕鑰了。
但是如果使用較早一點的問答模型，還是能問出來祕鑰的。
甚至在一些版本的模型中，不需要藉助奶奶的神力，直接問就能生成一串祕鑰。
當然你想問點好看的片子也不是不行昂。不過在線的大模型這類“不太合法”的東西基本上就別想了。想要體驗一下“完整”大語言模型的小夥伴，不妨可以跟着我們在本地部署一下。
想要在本地部署大語言模型，首先就是需要一臺性能強悍的NAS設備，這裏我們演示的設備是來自極空間的家用旗艦NAS Z423，搭載了移動端銳龍5825U處理器，出廠自帶32G內存，這個配置在目前成品NAS中算得上非常強悍了！
部署過程
這一次部署我們採用docker容器部署Ollama，下面來看到詳細的配置過程
打開Docker，鏡像，倉庫，自定義拉取，輸入這一行代碼ghcr.io/open-webui/open-webui:ollama。這個鏡像比較大，拉取的時間比較長，我個人建議在晚上睡覺的時候拉，這樣一覺睡起來就拉取好了。我這裏拉完花了五六個小時（暈
拉取完鏡像，雙擊鏡像開始部署容器，在基本設置處注意取消勾選性能限制，調用核顯可以勾選（實際測試勾選跟不勾選調用核顯，對CPU的佔用差別不大
接下來設置文件夾映射，文件夾路徑處按照圖中映射兩個文件夾即可
最後設置一下端口號，本地端口填一個沒有被佔用的，容器端口默認就好了。
直接點應用 完成容器的部署，在容器概況處等待顯示正常就說明鏡像正常運行了。
下面打開瀏覽器，輸入極空間的IP + :端口號，就能進入webui界面。初次使用需要設置下管理員賬號以及密碼。那由於咱們這個是完全本地運行的，所以這裏的註冊也不需要郵箱驗證，整一個自己比較好記的密碼就好。
那需要注意的是，在這個界面初始化時創建的是管理員賬號。
如果如果創建其他用戶賬號，需要進入到設置內創建或者打開這個允許創建用戶的開關。
進來後可以看到整個的界面就是中文的，如果你的界面不是中文的，在設置處將語言更改成中文即可。
當然現在這個界面進行提問，是不會有任何回答的，因爲我們只是部署好了docker鏡像，還沒有部署問答模型。接下來咱們來看模型的部署。
模型的選擇
在目前的中文大模型中，排名第一的開源大模型應該就是通義千問Qwen2.5了，該模型包含了0.5B~72B的不同規格。
這裏咱們演示就使用qwen2.5 7B，相對來說回答速度也快，同時對性能要求也不算高。
咱們這使用SSH部署模型的方法，在Docker容器概況界面，點擊SSH，我們這部署Qwen2.5 7B，就直接輸入Ollama run qwen2.5 7B，等待拉取部署完成。
如果你想部署其它的模型，也可以進入ollama，找一些自己想要部署的模型，比如我們搜索meta的llama3，選擇模型的參數，將側邊的命令行，輸入到容器的SSH中就會自動拉取部署了
等待SSH中顯示success就表示部署完成，現在可以直接在終端中直接提問，當然也能進入webui界面進行提問。
進入webui界面，在左上方選擇模型，想用哪個就直接選擇誰就行。我們這裏演示千問，模型的選擇處就選擇qwen就好。
提問的問題方面，咱們以自己的實際使用情況演示下，比如查一些CPU的參數，就能利用問答大模型快速獲取答案。
那像我們還做視頻，有時候需要策劃一個腳本，但是沒啥好的靈感，這時候也能利用問答大模型獲得一些不同的靈感。
此外在應用廣泛的代碼解釋方面，我們也測試了下，除了能給出代碼，還能實時展現編譯出來的界面，可以說功能上非常強大了。
其他方面就靠大家的想象力了
在運行的時候，我們打開進程監控看下，這個CPU佔用還是比較高的。
在webui界面，還提供有下載選項，在側邊也可以選擇將其下載下來，格式可以選擇JSON、TXT、PDF。
那有的小夥伴會有疑問，想要在外網下使用大模型是不是還要搞穿透反代之類的，這裏十分推薦極空間自帶的這個遠程訪問功能，只需要在遠程訪問內輸入內網設備的IP以及端口，在外網下就能直接訪問，不需要反代，非常的方便。那這裏咱們輸入webui的ip+端口號，這樣在外網環境下也能訪問家中NAS運行大模型了。
那麼好了，以上就是本篇文章的全部內容啦~各位小夥伴也可以自行部署起來看看哦。
讓我們下篇文章
再見~
更多遊戲資訊請關註：電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com
