本文章将介绍如何部署OneApi和FastGPT,以及两种在线大语言模型(AzureOpenAI和讯飞星火3.5)的配置方法。
我将在Windows系统的WSL子系统上进行部署,WSL子系统安装的是Ubuntu22 Linux系统,WSL的部署方式完全适用于真实的Linux系统。
OneApi项目开源地址:https://github.com/songquanpeng/one-api
1.在/opt目录下创建oneapi目录
cd opt mkdir oneapi cd oneapi
2.编辑docker-compose.yml文件
在/opt/oneapi目录下创建docker-compose.yml文件,将下面的内容复制进去并保存
version: '3.8' services: oneapi: container_name: oneapi image: justsong/one-api:latest restart: unless-stopped ports: - 3001:3000 networks: - llm_net volumes: - ./data:/data environment: - TZ=Asia/Shanghai networks: llm_net: name: llm_net external: true
3.创建llm_net docker网络
docker network create llm_net
4.运行oneapi
docker compose up -d
5.配置AzureOpenAI渠道
登录http://localhost:3001,用户名:root,密码:。
如果你没有申请AzureOpenAI,可以直接查看讯飞星火的配置方式。其实申请AzureOpenAI并不难,网上教程很多,只要真实填写相关信息,一般24小时内就可以通过。
6.测试
7.创建令牌
令牌的名称随便填,由于是测试,可以把额度设置为无限额度。
1.在/opt目录下创建fastgpt目录
cd opt mkdir fastgpt cd fastgpt
2.编辑docker-compose.yml文件
请先阅读FastGPT官方部署文档:https://doc.fastgpt.in/docs/development/docker/
下载docker-compose.yml文件和config.json文件
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
编辑docker-compose.yml文件,主要是更改了容器网络,数据库用户名密码之类的
version: ‘3.8’ services: pg:
image: ankane/pgvector:v0.5.0 # git # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云 container_name: pg restart: always ports: - 5432:5432 networks: - llm_net environment: - POSTGRES_USER=fastgpt - POSTGRES_PASSWORD= - POSTGRES_DB=fastgpt volumes: - ./pg/data:/var/lib/postgresql/data
mongo:
image: mongo:5.0.18 # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云 container_name: mongo ports: - 27017:27017 networks: - llm_net command: mongod --keyFile /data/mongodb.key --replSet rs0 environment: - MONGO_INITDB_ROOT_USERNAME=fastgpt - MONGO_INITDB_ROOT_PASSWORD= volumes: - ./mongo/data:/data/db - ./mongodb.key:/data/mongodb.key
fastgpt:
container_name: fastgpt image: ghcr.io/labring/fastgpt:latest # git # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里云 ports: - 3002:3000 networks: - llm_net depends_on: - mongo - pg restart: always environment: - DEFAULT_ROOT_PSW= - OPENAI_BASE_URL=http://192.168.2.117:3001/v1 - CHAT_API_KEY=sk-XXXXX # 在OneApi中创建的令牌 - DB_MAX_LINK=5 # database max link - TOKEN_KEY=any - ROOT_KEY=root_key - FILE_TOKEN_KEY=filetoken # mongo 配置,不需要改. 用户名myname,密码mypassword。 - MONGODB_URI=mongodb://fastgpt:@mongo:27017/fastgpt?authSource=admin # pg配置. 不需要改 - PG_URL=postgresql://fastgpt:@pg:5432/fastgpt volumes: - ./config.json:/app/data/config.json
networks: llm_net:
name: llm_net external: true
这里要注意的 OPENAI_BASE_URL=http://192.168.2.117:3001/v1,我本来想设置成http://oneapi:3000/v1,因为fastgpt与oneapi在同一个docker网络,但fastgpt访问不了这个地址,可能是哪里没有设置对,只好先用本机ip来访问。
3.编辑config.json文件
4.运行fastgpt
docker compose up -d
运行成功之后,不要忘了对MongoDb进行配置,直接按官网的步骤进行操作:
# 查看 mongo 容器是否正常运行 docker ps
进入容器
docker exec -it mongo bash
连接数据库
mongo -u myname -p mypassword –authenticationDatabase admin
初始化副本集。如果需要外网访问,mongo:27017 可以改成 ip:27017。但是需要同时修改 FastGPT 连接的参数(MONGODB_URI=mongodb://myname:mypassword@mongo:27017/fastgpt?authSource=admin => MONGODB_URI=mongodb://myname:mypassword@ip:27017/fastgpt?authSource=admin)
rs.initiate({ _id: “rs0”, members: [
{ _id: 0, host: "mongo:27017" }
] })
检查状态。如果提示 rs0 状态,则代表运行成功
rs.status()
5.测试
于是去oneapi容器查看日志,可以看到fastgpt请求已经转到了oneapi,oneapi又去请求AzureOpenAI, AzureOpenAI返回404。于是去Azure上测试部署后的聊天功能,按F12查看网络请求,发现路由里面没有v1
1.创建讯飞模型应用
2.在oneapi页面添加星火模型渠道

3.编辑fastgpt的config.json文件
4.重启fastgpt容器
注意:如果你之前的操作把OPENAI_BASE_URL的v1去掉了,请把它补上,然后执行命令:docker-compose up -d
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/276177.html