大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。

# Qwen3-Embedding-4B环境部署教程：vLLM+Ollama集成全流程详解

> 本文介绍如何在单张RTX 3060显卡上，快速部署Qwen3-Embedding-4B向量化模型，并集成vLLM和Open-WebUI构建智能知识库系统。

1. 环境准备与模型介绍

1.1 Qwen3-Embedding-4B模型特点

Qwen3-Embedding-4B是阿里通义千问团队推出的文本向量化模型，具有以下核心优势：

- 轻量高效：4B参数规模，GGUF量化后仅需3GB显存 - 长文本支持：32k token上下文长度，可处理完整论文或合同文档 - 多语言能力：支持119种自然语言和编程语言 - 智能适配：通过指令前缀即可适配检索、分类、聚类等不同任务

1.2 部署环境要求

确保你的系统满足以下要求：

- 显卡：NVIDIA显卡，RTX 3060或更高（8GB显存以上） - 内存：16GB系统内存 - 存储：至少10GB可用空间 - 系统：Ubuntu 20.04+或兼容的Linux发行版

2. 快速部署步骤

2.1 一键部署命令

使用以下命令快速部署完整环境：

# 拉取预配置的Docker镜像 docker pull qwen-embedding-vllm:latest # 运行容器（自动启动所有服务） docker run -d --gpus all -p 7860:7860 -p 8000:8000 --name qwen-embedding qwen-embedding-vllm:latest 

2.2 手动部署方式

如果需要手动部署，按以下步骤操作：

GPT plus 代充 只需 145# 1. 安装依赖 pip install vllm open-webui transformers # 2. 下载模型权重 from huggingface_hub import snapshot_download snapshot_download(repo_id="Qwen/Qwen3-Embedding-4B") # 3. 启动vLLM服务 python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen3-Embedding-4B --port 8000 --gpu-memory-utilization 0.8 # 4. 启动Open-WebUI docker run -d --name open-webui -p 7860:7860 -e OPENAI_API_BASE=http://localhost:8000/v1 -e OPENAI_API_KEY=EMPTY --gpus all ghcr.io/open-webui/open-webui:main 

3. 配置与验证

3.1 服务启动检查

部署完成后，等待几分钟让服务完全启动，然后检查服务状态：

# 检查vLLM服务 curl http://localhost:8000/v1/models # 检查Open-WebUI服务 curl http://localhost:7860/api/health 

3.2 登录Web界面

通过浏览器访问以下地址： - Open-WebUI界面：http://你的服务器IP:7860 - 使用演示账号登录： - 账号： - 密码：kakajiang

4. 嵌入模型配置

4.1 设置嵌入模型

在Open-WebUI中配置Qwen3-Embedding-4B作为默认嵌入模型：

1. 进入设置 → 模型设置
2. 选择"嵌入模型"选项卡 3. 输入模型路径：Qwen/Qwen3-Embedding-4B 4. 保存设置并重启服务

4.2 验证嵌入功能

使用以下代码测试嵌入功能是否正常工作：

GPT plus 代充 只需 145import requests import json # 测试嵌入API url = "http://localhost:8000/v1/embeddings" headers = { "Content-Type": "application/json" } data = { "model": "Qwen/Qwen3-Embedding-4B", "input": "测试文本嵌入功能" } response = requests.post(url, headers=headers, json=data) print(response.json()) 

5. 知识库集成实战

5.1 创建知识库

在Open-WebUI中创建和管理知识库：

1. 点击"知识库" → "新建知识库"
2. 输入知识库名称和描述 3. 上传文档（支持PDF、TXT、Word等格式） 4. 系统自动使用Qwen3-Embedding进行向量化处理

5.2 智能检索测试

测试知识库的检索能力：

# 知识库检索示例 def query_knowledge_base(question): url = "http://localhost:7860/api/chat" payload = { "message": question, "knowledge_base": "你的知识库名称" } response = requests.post(url, json=payload) return response.json() # 测试检索 result = query_knowledge_base("Qwen3-Embedding的主要特点是什么？") print(result) 

6. 性能优化建议

6.1 模型量化配置

为了在RTX 3060上获得**性能，建议使用量化版本：

GPT plus 代充 只需 145# 使用GGUF量化版本 python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen3-Embedding-4B-GGUF --port 8000 --quantization awq --gpu-memory-utilization 0.9 

6.2 批处理优化

启用批处理提高吞吐量：

# 启用动态批处理 python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen3-Embedding-4B --port 8000 --max-parallel-loading-workers 4 --batch-size 32 

7. 常见问题解决

7.1 服务启动失败

如果服务启动失败，检查以下方面：

GPT plus 代充 只需 145# 检查GPU驱动 nvidia-smi # 检查Docker运行状态 docker ps -a # 查看服务日志 docker logs qwen-embedding 

7.2 显存不足处理

如果遇到显存不足问题：

# 使用更低精度的量化 python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen3-Embedding-4B-GGUF-Q3 --port 8000 --gpu-memory-utilization 0.95 

8. 总结

通过本教程，你已成功部署了Qwen3-Embedding-4B向量化模型，并构建了完整的智能知识库系统。这个方案的优势在于：

- 部署简单：一键部署，无需复杂配置 - 资源友好：单卡RTX 3060即可流畅运行 - 功能强大：支持多语言长文本处理 - 开箱即用：集成Open-WebUI提供友好界面

现在你可以开始上传自己的文档，构建专属的智能知识库，享受高效的语义检索体验。

---

> 获取更多AI镜像 > > 想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。