大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。

# ERNIE-4.5-0.3B-PT实战教程：Docker Compose编排vLLM+Chainlit服务

1. 快速上手：从零部署ERNIE-4.5-0.3B-PT

你是不是也想快速体验ERNIE-4.5-0.3B-PT这个强大的文本生成模型？今天我就带你用最简单的方式，通过Docker Compose一键部署vLLM推理服务和Chainlit聊天界面，10分钟就能开始和AI对话！

ERNIE-4.5-0.3B-PT是百度最新推出的轻量级语言模型，虽然参数量不大，但生成效果相当不错。我们使用vLLM来部署推理服务，它能提供高效的推理性能，再配上Chainlit这个漂亮的Web界面，让你像使用ChatGPT一样方便地调用模型。

学习目标： - 学会用Docker Compose编排vLLM和Chainlit服务 - 掌握模型服务的部署和验证方法 - 能够通过Web界面与ERNIE模型进行对话

前置要求： - 基本的Linux命令行操作经验 - 已安装Docker和Docker Compose - 对AI模型部署有初步了解

2. 环境准备与快速部署

2.1 创建项目目录和配置文件

首先创建一个项目目录，然后编写Docker Compose配置文件：

mkdir ernie-vllm-chainlit cd ernie-vllm-chainlit 

创建docker-compose.yml文件：

version: '3.8' services: vllm-server: image: vllm/vllm-openai:latest container_name: ernie-vllm-server runtime: nvidia # 如果需要GPU加速 deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] ports: - "8000:8000" volumes: - ./models:/models command: > --model /models/ERNIE-4.5-0.3B-PT --host 0.0.0.0 --port 8000 --dtype auto --gpu-memory-utilization 0.9 restart: unless-stopped chainlit-ui: image: chainlit/chainlit:latest container_name: ernie-chainlit-ui ports: - "7860:7860" volumes: - ./chainlit_app:/app working_dir: /app command: chainlit run app.py -h 0.0.0.0 -p 7860 depends_on: - vllm-server restart: unless-stopped 

2.2 创建Chainlit应用文件

创建chainlit_app目录和应用文件：

mkdir chainlit_app 

创建chainlit_app/app.py：

import chainlit as cl import openai import os # 配置OpenAI客户端连接到vLLM服务器 openai.api_base = "http://vllm-server:8000/v1" openai.api_key = "empty" # vLLM不需要真实的API key @cl.on_message async def main(message: cl.Message): # 显示加载指示器 msg = cl.Message(content="") await msg.send() try: # 调用vLLM服务 response = openai.ChatCompletion.create( model="ERNIE-4.5-0.3B-PT", messages=[ {"role": "system", "content": "你是一个有帮助的AI助手。"}, {"role": "user", "content": message.content} ], temperature=0.7, max_tokens=1024 ) # 获取回复内容 reply = response.choices[0].message.content # 发送回复 await cl.Message(content=reply).send() except Exception as e: error_msg = f"请求失败: {str(e)}" await cl.Message(content=error_msg).send() 

创建chainlit_app/chainlit.md配置文件：

# Welcome to ERNIE Chat! 🚀 这是一个基于ERNIE-4.5-0.3B-PT模型的聊天界面。 功能特点 - 支持多轮对话 - 实时响应 - 简洁易用的界面 开始输入你的问题吧！ 

3. 启动服务和验证部署

3.1 一键启动所有服务

现在只需要一条命令就能启动所有服务：

docker-compose up -d 

服务启动后，vLLM会开始加载模型，这个过程可能需要几分钟时间，具体取决于你的网络速度和硬件性能。

3.2 检查服务状态

查看模型是否加载成功：

# 查看vLLM服务日志 docker logs ernie-vllm-server # 或者查看详细的加载日志 docker exec ernie-vllm-server tail -f /root/workspace/llm.log 

当看到类似下面的输出时，说明模型已经加载成功：

INFO 05-15 10:30:45 llm_engine.py:197] Initializing an LLM engine with config: model=/models/ERNIE-4.5-0.3B-PT, tokenizer=/models/ERNIE-4.5-0.3B-PT, tokenizer_mode=auto, trust_remote_code=False, dtype=auto, revision=main... INFO 05-15 10:32:15 llm_engine.py:289] # GPU blocks: 1024, # CPU blocks: 256 INFO 05-15 10:32:16 llm_engine.py:301] LLM engine initialized successfully. 

3.3 访问聊天界面

打开浏览器，访问 http://localhost:7860 就能看到Chainlit的聊天界面了。

4. 开始与ERNIE模型对话

4.1 基本对话示例

在Chainlit界面中，你可以直接输入问题与ERNIE模型对话：

- 尝试提问："你好，请介绍一下你自己" - 创作请求："帮我写一首关于春天的诗" - 知识问答："解释一下机器学习的基本概念"

模型会生成相应的回复，你可以在界面上看到实时的对话效果。

4.2 调整生成参数（可选）

如果你想要调整生成效果，可以修改Chainlit应用中的参数：

# 在app.py中调整这些参数 response = openai.ChatCompletion.create( model="ERNIE-4.5-0.3B-PT", messages=messages, temperature=0.7, # 控制创造性，0-1之间，越高越有创意 max_tokens=1024, # 最大生成长度 top_p=0.9, # 采样阈值 frequency_penalty=0.1 # 减少重复用词 ) 

5. 常见问题解决

5.1 模型加载失败

如果模型加载失败，检查以下几点：

# 检查模型文件是否存在 docker exec ernie-vllm-server ls -la /models/ # 查看详细错误信息 docker logs ernie-vllm-server --tail 100 

5.2 服务无法访问

如果无法访问服务：

# 检查服务状态 docker ps # 检查端口是否监听 docker exec ernie-vllm-server netstat -tlnp docker exec ernie-chainlit-ui netstat -tlnp # 检查容器日志 docker logs ernie-vllm-server docker logs ernie-chainlit-ui 

5.3 性能优化建议

如果你的硬件资源有限，可以调整vLLM配置：

# 在docker-compose.yml中调整这些参数 command: > --model /models/ERNIE-4.5-0.3B-PT --host 0.0.0.0 --port 8000 --dtype auto --gpu-memory-utilization 0.8 # 降低GPU内存使用率 --max-num-seqs 16 # 减少并发数 --max-model-len 2048 # 限制最大序列长度 

6. 总结回顾

通过这个教程，你已经成功部署了一个完整的ERNIE-4.5-0.3B-PT模型服务，包括：

1. vLLM推理服务：提供高效的模型推理能力 2. Chainlit Web界面：漂亮的聊天界面，方便与模型交互 3. Docker Compose编排：一键部署和管理所有服务

实用建议： - 首次启动时耐心等待模型加载完成 - 根据硬件配置调整vLLM参数以获得**性能 - 通过调整temperature等参数来控制生成效果

现在你可以开始探索ERNIE-4.5-0.3B-PT的各种应用场景了，无论是创意写作、知识问答还是代码生成，这个轻量级模型都能给你带来不错的体验！

---

> 获取更多AI镜像 > > 想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。