2026年配置元数据库(可选)

大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。

启动模式 CPU * MEM GPU 备注代理模型 4C*8G 代理模型不依赖GPU 本地模型 8C*32G 24G 本地启动最好有24G以上GPU

:::success 下载DB-GPT源码

:::

默认数据库使用SQLite，因此默认启动模式下，无需安装数据库。如果需要使用其他数据库，可以看后面的高级教程。我们推荐通过conda的虚拟环境来进行Python虚拟环境的安装。关于Miniconda环境的安装，可以参见Miniconda安装教程。

:::color1 创建Python虚拟环境

:::

DB-GPT可以通过代理模式部署在硬件较低的服务器上，也可以在GPU下进行私有化本地模型的部署。如果您的硬件配置较低，可以使用第三方大模型API服务，如OpenAI、Azure、通义、文心等进行安装。

:::color3 ⚠️ 注意: 需要确保安装了git-lfs

CentOS安装: yum install git-lfs
Ubuntu安装: apt-get install git-lfs
MacOS安装: brew install git-lfs

:::

⚠️ 注意.env 配置文件内容不要被覆盖

:::

本地模型

说明: 部署时优先选择评测效果更好的模型，推荐Qwen2.5系列

:::

:::success ⚠️ 注: llama.cpp 可以在Mac M1或者Mac M2运行

:::

DB-GPT同时也支持更低成本的推理框架llama.cpp, 可以通过llama-cpp-python 来进行使用

在使用llama.cpp之前，首先需要准备gguf格式的模型文件，有两种方法可以获取，你可以选择一种方法获取对应的文件。

:::color1 方法1: 下载已转换的模型

:::

如果你想使用Vicuna-13b-v1.5，你可以下载已经转换好的文件TheBloke/vicuna-13B-v1.5-GGUF，只需要这一个文件。下载文件并将其放到模型路径, 需要将模型重命名为: ggml-model-q4_0.gguf.

:::color1 方法2: 自己转换文件

:::

你在使用中也可以根据llama.cpp#prepare-data–run中的说明自行转换模型文件，并把转换后的文件放在models目录中，并命名为。

llama.cpp在DB-GPT中是可选安装项, 你可以通过以下命令进行安装

修改.env文件使用llama.cpp, 然后可以通过运行命令进行服务启动

环境变量 默认值 描述 llama_cpp_prompt_template None Prompt template 现在可以支持, 如果是None, 可以根据模型路径来自动获取模型 Prompt template llama_cpp_model_path None 模型路径 llama_cpp_n_gpu_layers 要将多少网络层转移到GPU上，将其设置为以将所有层转移到GPU上。如果您的 GPU 内存不足，可以设置较低的数字，例如：10。 llama_cpp_n_threads None 要使用的线程数量。如果为None，则线程数量将自动确定。 llama_cpp_n_batch 512 在调用llama_eval时，批处理在一起的prompt tokens的最大数量 llama_cpp_n_gqa None 对于 llama-2 70B 模型，Grouped-query attention 必须为8。 llama_cpp_rms_norm_eps 5e-06 对于llama-2模型来说，5e-6是一个不错的值。 llama_cpp_cache_capacity None 模型缓存最大值. 例如: 2000MiB, 2GiB llama_cpp_prefer_cpu False 如果有可用的GPU，默认情况下会优先使用GPU，除非配置了 prefer_cpu=False。

当前DB-GPT在元数据与系统数据管理上，支持两种数据库。与如果是本地测试使用，可以用，如果是生产环境，我们推荐使用, 使用可以跳过此部分内容。

DB-GPT项目默认内置了一部分测试数据，可以通过以下命令加载到本地数据库中进行测试。

:::color1 Linux&Unix平台

:::

:::color1 Windows平台

:::

DB-GPT服务被打包到一个server当中，可以通过如下命令启动整个DB-GPT服务。

:::danger 特殊说明: ⚠️ v0.4.3及以前版本运行服务命令为:

:::

:::info 打开浏览器访问 http://localhost:5670

注⚠️： v0.5.4之前版本端口为5000， http://localhost:5000

具体端口配置查看文件中配置

:::

2026年配置元数据库(可选)

本地模型

相关推荐