gpt_academic支持API方式调用各种在线大语言模型如ChatGPT等,但是有些人可能没有在线大模型的API,或是想使用本地电脑部署的大语言模型,gpt_academic是支持调用本地电脑上安装的大语言模型的,本次以阿里通义千问大语言模型Qwen/Qwen-1_8B-Chat-Int8为例进行演示安装完整操作步骤。
首先将项目源码git到本地电脑上,终端窗口中运行如下命令:
git clone https://github.com/binary-husky/gpt_academic.git
然后cd进项目文件夹内安装依赖:
pip install -r requirements.txt
然后再运行下面命令安装Qwen_Local的依赖:
pip install -r request_llms/requirements_qwen_local.txt
使用本地模型还需要安装einops库,因为默认没有安装,运行时会报错缺少,运行如下命令安装:
pip install einops
默认安装的transformers版本等级过高,运行时会报错TypeError: isin() received an invalid combination of arguments – got (elements=Tensor, test_elements=int, ), but expected one of,所以你需要重新安装transformers,将版本降低到4.41.0以下
打开config.py文件,将35行左右的代码,AVAIL_LLM_MODELS内增加”qwen-local”,添加这一项的话在webUI中就可以选择本地大语言模型,
这样就初步完成了,运行下面命令启动webUI界面:
python main.py
在页面左上角【更换模型】中,可以选择qwen-local,在右侧输入区输入文本和大模型对话,第一次会自动下载模型文件
模型下载完成后即可使用gpt_academic完整功能
如果你不懂代码,不会自己部署的话,你可以使用我制作的一键启动整合包,看我另一篇文章介绍:《PDF/LaTex论文翻译、润色、总结gpt_academic整合包,PDF/Markdown翻译》
免费申请Google Gemini API密钥教程
10款国内外主流免费在线大语言模型AI智能聊天助手汇总
Gemini-Google谷歌人工智能大语言模型AI聊天助手官网地址连接
通义千问-阿里在线大语言模型AI智能助手,官网链接入口
讯飞星火-免费在线国产大语言模型AI助手,官网地址链接
PDF/LaTex论文翻译、润色、总结软件gpt_academic整合包,PDF/Markdown翻译
本地电脑部署免费ChatGPT聊天工具ChatGPT-Next-Web整合包,无限免费使用ChatGPT方法
- 照片人物表情控制软件AdvancedLivePortrait整合包,图片转视频工具
免费申请Google Gemini API密钥教程
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/277547.html