Deepseek本地化部署,只需10步!!!

为什么要本地部署?

本地部署的模型不需要联网(dddd),不会出现服务器繁忙,且能够很好的保护隐私...

注意:

本地部署只推荐有独立显卡的用户且内存16+

核显推荐12+代CUP

话不多说,直接开始

1.下载部署模型的软件LM Studio

官网:https://lmstudio.ai

根据自己的系统进行下载,正常安装过程,记住安装的路径

LM Studio下载

2.进入LM Studio

LM界面

3.设置中文

4.下载要本地部署的蒸馏模型(需要魔法,没有魔法的看文章末尾,使用镜像网站下载

需要魔法才可以下载

5.选择自己要部署的模型

推荐上32B Q4模型,效果最佳,笔记本3050 4g都可运行,只是速度较慢

没有GPU:1.5B Q8推理 或者 8B Q4推理

4G GPU:8B Q4推理

8G GPU:32B Q4推理 或者 8B Q4推理

16G GPU:32B Q4推理 或者 32B Q8推理

24G GPU: 32B Q8推理 或者 70B Q2推理

需要魔法才能看得到右边页面

6.查看自己下载好的模型

模型目录

7.选择聊天

聊天界面

8.选择要加载的模型

注意:如果选太高,内存占满电脑会直接卡死!!!选小一点,再根据电脑占用情况进行调整。进度条拉不动可以直接输入数字。

配置模型

9.模型完成加载

加载完成

10.模型加载完成之后就可以进行对话啦。(到这里,就可以直接拔网线进行对话了,模型自己推理得出结果)

直接对话

没有魔法的看这里

访问:https://hf-mirror.com这个镜像网站,顶部进行搜索

(一定要下载GGUF文件,这样才可以在LM里面运行)

推荐上32B Q4模型,效果最佳,笔记本3050 4g都可运行,只是速度较慢

没有GPU:1.5B Q8推理 或者 8B Q4推理

4G GPU:8B Q4推理

8G GPU:32B Q4推理 或者 8B Q4推理

16G GPU:32B Q4推理 或者 32B Q8推理

24G GPU: 32B Q8推理 或者 70B Q2推理

搜索模型

查找模型

下载模型

这里,我们可以在LM里面看到默认路径,点击更改,和我一样选择一个新路径,需要嵌套文件夹,不然无法识别到

模型文件夹

恭喜你,到这里,属于自己本地的AI模型就部署成功了,有什么问题评论区。

感兴趣下期带来如何真正的关闭联网,优化最佳性能,榨干电脑所用性能

部分素材来源:B站-NathMath

更多游戏资讯请关注:电玩帮游戏资讯专区

电玩帮图文攻略 www.vgover.com