哈喽小伙伴们好,我是Stark-C~
谁能想到,从去年小龙虾的出现,到它登顶Github星标榜第一,都已经这么久了,没想到它的热度依然未减!
但问题来了:很多小伙伴“龙虾”是请进来了,但真的是养不起啊!小龙虾每一次的输出,都伴随着tokens的疯狂燃烧。对于骑着雅迪电动车都不敢使劲拧电门的我来说,小龙虾的这个胃口确实有点奢侈~
所以我在想,能不能节省下开支,不能老给它喂细粮(云端模型),适当的来点粗粮(本地模型)也不过分吧?毕竟广告说得好:养虾嘛,粗细搭配,营养更均衡。
于是,这个想法我就在极空间Z423旗舰版上动手实践了起来。看看作为极空间上代旗舰NAS的它,到底能不能扛起一个让给小龙虾提供最基本“养料”的本地大模型。
本地大模型目前对于NAS玩家来说,最友好的平台应该是Ollama了。极空间现在在应用商店内已经集成了开箱即用的Ollama框架,并且还一直在维护。前两天的外测固件升级还顺便将Ollama版本更新到最新的0.18.3版本。
我们在应用商店安装Ollama唯一需要记住的就是它的端口号就可以了。
同时极空间应用商店里同样有开箱即用的OpenClaw,但是版本还停留在v2026.3.8版本。截止目前小龙虾已经升级了多个版本,并且还进入了很多新的功能,比如对于Ollama插件的原生支持就是新功能之一。
PS:极空间当前版本貌似对于Ollama本地模型的支持不太友好,我尝试在openclaw.json文件内加入模型地址,最后没有启动起来,也不知道是我加入的格式不对,还是它本身就不支持~
所以为了体验最新鲜、原汁原味的小龙虾,我使用Docker的方式部署了官方最新版本OpenClaw。截止我发文的今天,我已经跟着官方发布的镜像更新到v2026.4.1版本。所以本文接下来的操作,也是基于这个版本的OpenClaw为演示。
极空间Docker部署OpenClaw教程:https://post.smzdm.com/p/aomlvm6n/
极空间的Ollama框架也是基于Docker部署起来的,我们在应用商店安装好Ollama之后,就能在Docker管理器中看到“运行中”的Ollama容器。
和在本地终端部署的Ollama一样,我们也可以直接通过Docker容器终端来和Ollama对话,或者执行一些模型推理、API 调试、模型管理等指令或操作。
在终端我们可以通过指令“ollama --version”来查看Ollama 版本,可以看到它和应用商店里显示一直,均为最新v0.18.3版本。
然后通过指令“ollama list”查看本地模型,没想到极空间应用商店的Ollama已经为我们预装了llama3:latest和qwen2.5:7b大模型,这两个大模型都是当前主流主机部署大模型的热门只选。前者主攻英文,后者主攻中文。
那它们在极空间上的表现如何呢?先来看看llama3:latest,通过指令“ollama run llama3:latest --verbose”进入交互模式并进行简单的推理测速,结束后可以看到它在极空间Z423上跑到了4.66 tokens/s,虽说这只是本地大模型的“打字机”水平,不过个人也算能接受吧~
然后让它输出中文,表现为4.61 tokens/s,和英文差不多。
同样的方式,再来通过指令“ollama run qwen2.5:3b --verbose”查看一下qwen2.5:7b的表现,得出了4.74 tokens/s的成绩,算是比llama3:latest略高,不过是可以忽略不计的那种。
不管怎么说,ollama这边的大模型确实是没什么问题的,接下来我们把它接入到OpenClaw那边看看效果。
先来说说我这边踩的坑。理论上,只要把 Ollama 的访问地址(IP:端口)和模型名称(如 qwen2.5:7b)交给正常运行的小龙虾,它就能自动完成配置,并切换到这个本地模型。事实上我也是这么操作的,然而结果是,小龙虾的回答虽说已经使用的是 Ollama 中的qwen2.5:7b,事实上运行的还是我之前的云端模型。
这是小龙虾的问题吗?不,事实上是我自己的问题。因为我在部署之初就给它的记忆系统下达了一个死命令:任何时候都不允许修改当前的主配置文件(openclaw.json),如果必须修改,或者有任何需要变动的地方,在这之前必须给我详细的说明,并且必须经过我的允许才能继续!
给它下达这个命令的初衷,是因为如果不这样,它在配置的时候很有可能自己把自己玩“嗝屁”了(我相信碰到这个问题的小伙伴绝对不在少数~)。
那怎么办呢?很简单,我们直接在小龙虾的交互式向导中操作就可以了。打开OpenClaw Docker容器的终端,依次输入以下指令:
su nodestty rows 40 cols 120openclaw configure
它首先问我们网关在哪里运行,我们选择“Local(本地)”即可。
然后选择需要配置的项,选择“Model(模型)”。
目前最新版的OpenClaw已经原生集成Ollama模型的选项,我们这里直接选择“Ollama”。
在Ollama模型配置页面:
- Ollama Base URL:填写“http://NAS IP:端口号/v1”,端口号是Ollama应用商店里部署自定义的端口号。
- Ollama mode:选择“Local(本地)”。
- Models in/model picker:选择我们需要使用的本地模型,我这里以“ollama-local/qwen2.5:7b”为例。
配置好之后退回到项目选择界面,选择最后一个“Contiue”完成设置。
最后输入指令“openclaw gateway restart”就可以了!
这个时候我们在小龙虾的Web UI界面和它对话,可以看到它已经启用了“ollama-local/qwen2.5:7b”模型,只不过对话等待的时间确实有些长,一个简单的问题要等差不多一分钟。
当然,飞书这边也是没有问题的,等待的时间同样很长,但不管怎么说,确实是跑通了!
另外我也观察到,在OpenClaw回答问题期间,Ollama容器的CPU占用确实会提升很多,也进一步证实了小龙虾确实启用了Ollama本地大模型。
我后来还在Ollama上额外的拉取了qwen2.5:3b模型,单跑已经非常流畅,达到10.38tokens/s的速度,接入到小龙虾那边也是可以连通,但依然很慢,主要是OpenClaw 的多层代理开销太大,远不及Ollama本身的直连输出效率高。
当然,如果需要执行一些复杂命令用到云端模型的时候,可以直接在输入框中执行“model 模型名称”,就能快速进行模型切换,还是很方便的。
虽说小龙虾对接Ollama本地大模型后的体验确实有点差强人意,但是不管怎么说,它确实是跑通了!而这最大的功臣,无疑就是极空间Z423旗舰版强大的硬件配置,给了本地大模型最基本的底气。
当然,并不是所有小伙伴都使用的是极空间Z423这种强大配置的NAS,也不是每一台 NAS 都能扛起本地大模型的推理压力。本文的教程只是起到一个“思路与参考”的作用,真正能不能顺利跑起来,使用效果怎么样,还得结合你手里的设备与折腾方向了。
目前极空间的各大NAS产品优惠继续,同时极空间部分产品还可享受白条3期或6期免息政策,180天内出现质量问题只换不修,2年官方质保。喜欢的小伙伴不要犹豫赶快入手吧,早买早享受
好了,以上就是今天给大家分享的内容,我是爱分享的Stark-C,如果今天的内容对你有帮助请记得收藏,顺便点点关注,咱们下期再见!谢谢大家
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/252575.html