衆所周知,各家商業ai幾乎都有自己的審查機制,其中部分哪怕通過提示詞破盾也很難繞過(點名GPT),這極大程度的妨礙了我們與AI大人進一步增進感情,所以完全自主的、無限制的、能夠澀澀的(?)開源模型就成了我們最佳的選擇之一。
咳咳,那麼作爲一名對編程一竅不通,沒有任何基礎的小白該如何部署自己的本地模型呢?有請我們今天的主角——LM Studio登場。
LM Studio是一款完全免費且開源的本地LLM模型部署工具,該工具不僅可以免去小白部署環境敲代碼的過程,還支持模型檢索,通過連接Huggingface的模型庫可以直接在軟件內下載你想要的模型。除此之外,LM Studio還可以直接搭建本地服務端。
HuggingFace是目前最大的transformer模型庫,裏面有大量開發者自己研究的開源模型,有興趣的話可以在我的最新一篇文章中瞭解,如果找不到的話就是我還沒寫()
軟件界面相當簡潔,使用過程也幾乎與Chatgpt無異
在界面右側點擊燒杯圖標還可以進入高級配置,爲模型選擇預設,填寫提示詞等。
以下是軟件的簡單使用教程
首先進LM Studio官網,選擇自己需要的版本點擊即可下載,絕大部分盒友的系統應該都是Windows所以直接點擊第二個即可
之後彈出的頁面無需改動,直接點擊Download(也有可能不會彈出這個界面,但是下載的文件是一樣的)
下載完成後雙擊程序,等待其自動安裝,安裝完成後就會看到這樣的界面,點擊右下角設置圖標
之後再在Language選項中找到簡體中文,選擇後即可將界面修改爲中文
但是由於軟件本身並不自帶任何模型,我們無法直接使用,所以需要我們自己去下載模型。需要注意的是在國內我們是無法直接訪問Huggingface的,所以就需要我們請出第二個助手,國內的Huggingface公益鏡像網f-mirror
由於篇幅原因,我們今天並不展開講如何使用huggingface,只講如何在LM Studio中導入從huggingface中下載的模型,有興趣的同學可以自行前往官網研究。當然,我也會在新的文章中爲大家詳細講解huggingface,大家也可以多多電我牛牛催更,我會很爽的。
接下來我們以Llama3.1 8B模型爲例,點擊鏈接下Llama 3.1
下載完畢後按照下圖順序依次點擊
在打開的文件管理器頁面打開lmstudio-community文件夾,在裏面新建一個文件夾將剛剛下好的文件移動進去即可
由於模型文件都比較大,而默認目錄在C盤,所以個人建議先更改默認目錄,在新的目錄下創建lmstudio-community文件夾,然後按照上面的說明操作即可
能在下面的列表中看到模型的話就說明你的導入成功了
之後返回主界面,點擊加載模型,選擇好要加載的模型之後,再點擊加載模型即可。到此一個本地的屬於你的AI就部署完畢了。
然後就跟我們的AI大人愉快的澀澀吧~
注意,部署本地模型需要一定的硬件基礎,個人建議顯卡性能應不低於2060S顯存不少於6G
總結
雖然這些我們能夠自己部署的“小”模型無論在性能還是參數量上,都很難與成熟的商業化模型匹敵(甚至連澀澀也不是最佳選擇),但是開源≈自己的,開源模型沒有廠商的各種限制,低成本、隱私性、自主性,這些都是商業模型所無法比擬的,而折騰這些模型本身也是一種樂趣。
創作不易,覺得不錯的話就點個贊衝個電吧~
更多遊戲資訊請關註:電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com