前言
这篇文章，咱们来玩点花的！
放在几年前想玩NAS，一块J1900 J4125就能满足百分之八九十的需求了。
但放在今天各家国产厂商不断在nas上卷配置，n5105这类平台放在现在市场上说实话都已经算是有点落伍了，咱们玩家对于NAS的需求也是越来越高。从一开始的存储、协作、下载、远程访问这类比较基础的功能，到现在都在玩的影视服务、docker容器、虚拟机各式各样的软件服务都想塞进一台小小的NAS里。
可以说巴不得用着低功耗U，干着志强的活是吧
那咱们这篇文章，来整点能完全榨干NAS性能的活！在NAS中部署大语言模型，获得一个随时随地的个人问答助手
为什么选择NAS部署大语言模型
那其实很多小伙伴比较疑惑，为什么要选择NAS来部署呢？用自己的PC部署不行么？
使用NAS部署主要还是因为这类设备是7x24不间断地运行，想要用的时候直接进入webui界面就行。但是PC部署的话，如果你能接受你的电脑不关机运行其实也是没有问题的。
另外部署在NAS中，运算啥的都是在本地进行，可以有效保护个人隐私安全。
同时也没有在线AI那样严格的审查机制。就拿问答大模型刚出来那会儿，著名的“奶奶漏洞”，现在使用在线AI基本上问不出来秘钥了。
但是如果使用较早一点的问答模型，还是能问出来秘钥的。
甚至在一些版本的模型中，不需要借助奶奶的神力，直接问就能生成一串秘钥。
当然你想问点好看的片子也不是不行昂。不过在线的大模型这类“不太合法”的东西基本上就别想了。想要体验一下“完整”大语言模型的小伙伴，不妨可以跟着我们在本地部署一下。
想要在本地部署大语言模型，首先就是需要一台性能强悍的NAS设备，这里我们演示的设备是来自极空间的家用旗舰NAS Z423，搭载了移动端锐龙5825U处理器，出厂自带32G内存，这个配置在目前成品NAS中算得上非常强悍了！
部署过程
这一次部署我们采用docker容器部署Ollama，下面来看到详细的配置过程
打开Docker，镜像，仓库，自定义拉取，输入这一行代码ghcr.io/open-webui/open-webui:ollama。这个镜像比较大，拉取的时间比较长，我个人建议在晚上睡觉的时候拉，这样一觉睡起来就拉取好了。我这里拉完花了五六个小时（晕
拉取完镜像，双击镜像开始部署容器，在基本设置处注意取消勾选性能限制，调用核显可以勾选（实际测试勾选跟不勾选调用核显，对CPU的占用差别不大
接下来设置文件夹映射，文件夹路径处按照图中映射两个文件夹即可
最后设置一下端口号，本地端口填一个没有被占用的，容器端口默认就好了。
直接点应用 完成容器的部署，在容器概况处等待显示正常就说明镜像正常运行了。
下面打开浏览器，输入极空间的IP + :端口号，就能进入webui界面。初次使用需要设置下管理员账号以及密码。那由于咱们这个是完全本地运行的，所以这里的注册也不需要邮箱验证，整一个自己比较好记的密码就好。
那需要注意的是，在这个界面初始化时创建的是管理员账号。
如果如果创建其他用户账号，需要进入到设置内创建或者打开这个允许创建用户的开关。
进来后可以看到整个的界面就是中文的，如果你的界面不是中文的，在设置处将语言更改成中文即可。
当然现在这个界面进行提问，是不会有任何回答的，因为我们只是部署好了docker镜像，还没有部署问答模型。接下来咱们来看模型的部署。
模型的选择
在目前的中文大模型中，排名第一的开源大模型应该就是通义千问Qwen2.5了，该模型包含了0.5B~72B的不同规格。
这里咱们演示就使用qwen2.5 7B，相对来说回答速度也快，同时对性能要求也不算高。
咱们这使用SSH部署模型的方法，在Docker容器概况界面，点击SSH，我们这部署Qwen2.5 7B，就直接输入Ollama run qwen2.5 7B，等待拉取部署完成。
如果你想部署其它的模型，也可以进入ollama，找一些自己想要部署的模型，比如我们搜索meta的llama3，选择模型的参数，将侧边的命令行，输入到容器的SSH中就会自动拉取部署了
等待SSH中显示success就表示部署完成，现在可以直接在终端中直接提问，当然也能进入webui界面进行提问。
进入webui界面，在左上方选择模型，想用哪个就直接选择谁就行。我们这里演示千问，模型的选择处就选择qwen就好。
提问的问题方面，咱们以自己的实际使用情况演示下，比如查一些CPU的参数，就能利用问答大模型快速获取答案。
那像我们还做视频，有时候需要策划一个脚本，但是没啥好的灵感，这时候也能利用问答大模型获得一些不同的灵感。
此外在应用广泛的代码解释方面，我们也测试了下，除了能给出代码，还能实时展现编译出来的界面，可以说功能上非常强大了。
其他方面就靠大家的想象力了
在运行的时候，我们打开进程监控看下，这个CPU占用还是比较高的。
在webui界面，还提供有下载选项，在侧边也可以选择将其下载下来，格式可以选择JSON、TXT、PDF。
那有的小伙伴会有疑问，想要在外网下使用大模型是不是还要搞穿透反代之类的，这里十分推荐极空间自带的这个远程访问功能，只需要在远程访问内输入内网设备的IP以及端口，在外网下就能直接访问，不需要反代，非常的方便。那这里咱们输入webui的ip+端口号，这样在外网环境下也能访问家中NAS运行大模型了。
那么好了，以上就是本篇文章的全部内容啦~各位小伙伴也可以自行部署起来看看哦。
让我们下篇文章
再见~
更多游戏资讯请关注：电玩帮游戏资讯专区
电玩帮图文攻略 www.vgover.com
