上一章节中我们完整介绍了如何在服务器中配置vLLM服务,如何运行vLLM,以及如何搭建本地机器作为中间跳转连接虚拟机与服务器的通信。
本章第五节完成最后一个步骤对openclaw的相关配置,让本地能成功对话虚拟机,虚拟机成功调用服务器模型。
下面直接开始吧!
前面我们搞定了vLLM的配置,并且实现了三台机器的消息转发,但是如上一节内容最后提到的网页界面显示了未知模型,所以这一小节我们来配置【.openclaw/openclaw.json】,适配我们前面vLLM所使用的Qwen3.5-27B-FP8模型,以及在网页中完成对vLLM的调用。
!!!重点注意,由于openclaw的版本迭代可能造成莫名的问题,所以下面的配置思路是主动参与了解的步骤方法一,强烈建议先按方法一熟悉一遍;本小节最后会给出方法二,一个完整简化的openclaw.json文件,如果方法一最后有出入,你可以直接简单修改覆盖原来json即可使用,后续的组件功能增加再做下一步的研究,先让整个系统正常运行起来。
《方法一,按步骤实践配置并了解问题》
还记的在vLLM代码中的【model_name】参数吗?这是openclaw查找模型的唯一id,所以openclaw.json中几个重要参数要注意:
- baseUrl:访问本地ip和端口的地址(跳转地址);
- apiKey:自己部署的大模型不需要秘钥,可以设置为EMPTY;
- id:vLLM中的模型名,也就是model_name;
- contextWindow:最大容量token数,根据你的模型大小来定,可以与vLLM中的max-model-len参数一致,不能低于16000;
- maxTokens:模型回答容量token;
- input:模型支持的类型,通常text表示支持文本,image表示支持图像(也就是多模态,这里qwen3.5就是多模态),根据使用模型决定填写;
所以我们需要在openclaw.json的一级结构中添加models模块,自定义创建一个我们配置的模型,该模块可以放在agents上方(位置不影响,最后会有完整配置信息展示),例如结合我这里的模型使用情况,模块内容如下所示:
“models”: }’ data-report-click=‘{“mod”:“popu_786”,“spm”:“3001.4249”,“strategy”:“pc_vip_readmore”,“ab”:“new”,“extra”:{“abTest”:“t_1”}}’>
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/253541.html