本地部署FastGPT使用在线大语言模型

本地部署FastGPT使用在线大语言模型FastGPT 是一个基于 LLM 大语言模型的知识库问答系统 提供开箱即用的数据处理 模型调用等能力 它背后依赖 OneApi 开源项目来访问各种大语言模型提供的能力 各大语言模型提供的访问接口规范不尽相同 为此 OneApi 项目提供了统一的 API 接口去对接各种大语言模型 FastGPT 的部署架构如图所示 本文章将介绍如何部署 OneApi 和 FastGPT

大家好,我是讯享网,很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。



本文章将介绍如何部署OneApi和FastGPT,以及两种在线大语言模型(AzureOpenAI讯飞星火3.5)的配置方法。

我将在Windows系统的WSL子系统上进行部署,WSL子系统安装的是Ubuntu22 Linux系统,WSL的部署方式完全适用于真实的Linux系统。

OneApi项目开源地址:https://github.com/songquanpeng/one-api

1.在/opt目录下创建oneapi目录
cd opt mkdir oneapi cd oneapi 
2.编辑docker-compose.yml文件

在/opt/oneapi目录下创建docker-compose.yml文件,将下面的内容复制进去并保存

version: '3.8' services: oneapi: container_name: oneapi image: justsong/one-api:latest restart: unless-stopped ports: - 3001:3000 networks: - llm_net volumes: - ./data:/data environment: - TZ=Asia/Shanghai networks: llm_net: name: llm_net external: true 
3.创建llm_net docker网络
docker network create llm_net 
4.运行oneapi
docker compose up -d 
5.配置AzureOpenAI渠道

登录http://localhost:3001,用户名:root,密码:。

如果你没有申请AzureOpenAI,可以直接查看讯飞星火的配置方式。其实申请AzureOpenAI并不难,网上教程很多,只要真实填写相关信息,一般24小时内就可以通过。

6.测试
7.创建令牌

令牌的名称随便填,由于是测试,可以把额度设置为无限额度。

1.在/opt目录下创建fastgpt目录
cd opt mkdir fastgpt cd fastgpt 
2.编辑docker-compose.yml文件

请先阅读FastGPT官方部署文档:https://doc.fastgpt.in/docs/development/docker/

下载docker-compose.yml文件和config.json文件

curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json 

编辑docker-compose.yml文件,主要是更改了容器网络,数据库用户名密码之类的

version: ‘3.8’ services: pg:

image: ankane/pgvector:v0.5.0 # git # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云 container_name: pg restart: always ports: - 5432:5432 networks: - llm_net environment: - POSTGRES_USER=fastgpt - POSTGRES_PASSWORD= - POSTGRES_DB=fastgpt volumes: - ./pg/data:/var/lib/postgresql/data 

mongo:

image: mongo:5.0.18 # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云 container_name: mongo ports: - 27017:27017 networks: - llm_net command: mongod --keyFile /data/mongodb.key --replSet rs0 environment: - MONGO_INITDB_ROOT_USERNAME=fastgpt - MONGO_INITDB_ROOT_PASSWORD= volumes: - ./mongo/data:/data/db - ./mongodb.key:/data/mongodb.key 

fastgpt:

container_name: fastgpt image: ghcr.io/labring/fastgpt:latest # git # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里云 ports: - 3002:3000 networks: - llm_net depends_on: - mongo - pg restart: always environment: - DEFAULT_ROOT_PSW= - OPENAI_BASE_URL=http://192.168.2.117:3001/v1 - CHAT_API_KEY=sk-XXXXX # 在OneApi中创建的令牌 - DB_MAX_LINK=5 # database max link - TOKEN_KEY=any - ROOT_KEY=root_key - FILE_TOKEN_KEY=filetoken # mongo 配置,不需要改. 用户名myname,密码mypassword。 - MONGODB_URI=mongodb://fastgpt:@mongo:27017/fastgpt?authSource=admin # pg配置. 不需要改 - PG_URL=postgresql://fastgpt:@pg:5432/fastgpt volumes: - ./config.json:/app/data/config.json 

networks: llm_net:

name: llm_net external: true 

这里要注意的 OPENAI_BASE_URL=http://192.168.2.117:3001/v1,我本来想设置成http://oneapi:3000/v1,因为fastgpt与oneapi在同一个docker网络,但fastgpt访问不了这个地址,可能是哪里没有设置对,只好先用本机ip来访问。

3.编辑config.json文件
4.运行fastgpt
docker compose up -d 

运行成功之后,不要忘了对MongoDb进行配置,直接按官网的步骤进行操作:

# 查看 mongo 容器是否正常运行 docker ps

进入容器

docker exec -it mongo bash

连接数据库

mongo -u myname -p mypassword –authenticationDatabase admin

初始化副本集。如果需要外网访问,mongo:27017 可以改成 ip:27017。但是需要同时修改 FastGPT 连接的参数(MONGODB_URI=mongodb://myname:mypassword@mongo:27017/fastgpt?authSource=admin => MONGODB_URI=mongodb://myname:mypassword@ip:27017/fastgpt?authSource=admin)

rs.initiate({ _id: “rs0”, members: [

{ _id: 0, host: "mongo:27017" } 

] })

检查状态。如果提示 rs0 状态,则代表运行成功

rs.status()

5.测试

于是去oneapi容器查看日志,可以看到fastgpt请求已经转到了oneapi,oneapi又去请求AzureOpenAI, AzureOpenAI返回404。于是去Azure上测试部署后的聊天功能,按F12查看网络请求,发现路由里面没有v1

1.创建讯飞模型应用
2.在oneapi页面添加星火模型渠道

3.编辑fastgpt的config.json文件
4.重启fastgpt容器

注意:如果你之前的操作把OPENAI_BASE_URL的v1去掉了,请把它补上,然后执行命令:docker-compose up -d

5.测试

小讯
上一篇 2026-04-23 21:59
下一篇 2026-04-23 21:57

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/276177.html