大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。



更新时间：2025-04-28 17:32:25

DeepSeek-R1是一款拥有671B参数规模的推理大模型，其在数学、编程和推理等复杂任务上的表现，已经与当前主流商业大模型不相上下。

本文将演示如何采用vLLM 和KubeRayKubeRay作为分布式推理解决方案，并利用Alaya NeW算力云提供的弹性容器集群服务作为部署平台，实现DeepSeek-R1模型的高效私有化部署。通过这一整合方案，我们旨在提供一个既灵活又强大的框架，确保深度学习模型在私有环境中的高性能运行与便捷管理。

• 用户已经获取Alaya New企业账户和密码，如果需要帮助或尚未注册，可参考注册账户完成注册。
• 当前企业账号的余额充裕，可满足用户使用推理计算服务的需要。点击可了解费用信息，如需了解更多请联系我们。

本次部署会用到 和 ，请先确保本地有可用的Kubernestes客户端工具kubectl，此次的**实践以系统添加环境为例，配置环境变量的操作步骤如下所示。

1. 通过以下网址下载最新版本的kubectl，本实践下载“windows-amd64-v1.27.3-kubectl.exe”文件，在本地新建“kubectl”文件夹，将下载的文件名称修改为“kubectl”并移动到新建的文件夹下，如果用户需要获取其他版本安装包可通过以下网址获取安装kubectl命令行工具。
2. 通过以下网址下载最新版本的helm。本实践下载“helm-v3.17.1-windows-amd64.zip”文件，在本地解压上述文件，将文件名修改为“helm”，如果用户需要获取其他版本安装包可通过以下网址获取helm。
3. 右键点击[此电脑/属性]菜单项，进入[系统/系统信息]配置页面，点击“高级系统设置”链接。
4. 在[系统属性]页面中，点击[环境变量]按钮，进入环境变量配置页面。
5. 在“系统变量”处双击 变量新建环境变量，新建如下图所示的环境。新建完成后，单击[确定]按钮，配置环境变量操作完成。

DeepSeek-R1模型的参数规模为6710亿，模型的文件大小约为642G。因此，在部署前需要准备足够的资源，用户需要保证资源至少满足下表中的配置要求。

开通弹性容器集群可参看开通弹性容器集群操作步骤章节所述。集群开通完成后可在使用弹性容器集群处查看弹性容器集群的使用方式。

此次的**实践配置弹性容器集群的操作步骤如下所示。

1. 使用已注册的企业账号登录Alaya NeW系统，选择[产品/弹性容器集群]菜单项，单击“新建集群”按钮，进入[弹性容器集群]配置页面。
2. 在集群新建页面配置基本信息，例如：集群名称，集群描述，智算中心，此次使用的集群配置如下所示。
   配置项配置详情集群名称deeepseek-test智算中心北京一区算力配置1、型号：H800
   2、配额：16卡GPU存储配置1、选择大容量存储
   2、开启StorageClass开关对外服务开启对外服务开关
   
   
   
   
   
   

3. 弹性容器集群参数配置完成后，单击“立即开通”按钮，资源开通操作完成，用户可在[资源中心/弹性容器集群]页面查看已创建的容器集群，弹性容器集群状态为“运行中”表示集群可正常使用，如下图蓝色高亮处所示。

   

4. 集群可正常使用后，点击“kubuconfig下载”链接，如上图绿色高亮处所示，将集群的kubeconfig配置文件下载到本机上。
5. 在本机上找到上步已经下载的文件，本实践中为“deepseek-test-config.json”，使用命令解压该文件，如下图所示。

   

6. 在终端页面，使用命令配置访问弹性容器集群的环境变量，配置时需要将高亮处引号内的路径替换为上步解压后文件的实际路径，本实践的路径如下图所示。

   

7. 在终端页面执行如下命令，查看集群信息是否连接成功。若显示如下图所示，表示弹性容器集群连接成功。

   

1. 为了方便操作，下载配套的配置文件及示例代码，请点击此处下载，下载并解压后的文件内容如下表所示。

2. 双击上步已解压“Deepseek-R1”的文件夹，打开终端页面，使用如下的命令，创建一个名为“deepseek”的NameSpace。

3. 在终端使用如下命令，将YAML文件中定义的资源配置应用到集群中。

4. 资源应用完成后，请执行以下命令查看“deepseek”命名空间下Pod的运行状态。当Pod的状态显示为“Running”时，表明其已成功启动并正常运行，即可用于后续配置。

5. Pod启动成功后，在终端页面执行如下命令进入上一步骤创建的Pod。

   

6. 为了简化后续操作，建议在终端中执行命令以创建一个新的会话。有关此工具的详细使用方法，请参阅Tmux的使用的使用。然后，在新开启的Tmux会话页面执行如下所示的命令安装huggingface工具。

7. 工具安装完成后，在终端执行以下命令下载DeepSeek-R1模型，如下图所示。

   

8. 本实践使用KubeRay做为分布式计算框架来实现多机多卡的分布式推理环境，进入kuberay-operator目录，使用如下的命令部署kuberay-operator。

9. kuberay-operator部署成功后，执行下面的命令查看已部署的资源的状态，部署成功后kuberay-operator状态为“deployed”，表示该资源可正常使用。

10. 在终端页面进入ray-cluster目录，执行如下所示的命令，启动KubeRay集群。

11. 集群启动成功后，在终端页面执行如下命令查看服务运行情况，所有Pod运行状态均为“Running”，如下图所示，表示资源可正常使用。

    

在弹性容器集群中，无法直接使用 方式暴露服务。对于需要外部访问的服务，我们可以使用 。是弹性容器集群中用于将服务暴露到外部的组件，将其与需要对外提供服务的 绑定，为用户提供外部访问的地址。获取访问地址的步骤如下所示。

1. 在终端页面执行如下所示的命令，创建ServiceExporter资源。

2. 资源创建成功后，在终端页面执行如下所示命令可以查看 的信息获取服务访问的地址。通过 方式暴露的服务端口均为“22443”。

   

用户在实际的应用中，需要将本实践中的参数替换为实际的参数，以上图中高亮的URL地址为例，其组成有如下几个部分。

不同操作系统获取VKSID的命令行如下所示。

1. KubeRay集群启动成功后，在上一章节所用终端页面执行如下命令进入容器。

2. 执行命令打开新会话，在新会话页面执行以下命令部署DeepSeek-R1模型，部署页面如下图所示。

   

🎉️ 模型部署成功后，用户在终端管理页面可使用命令行工具向已部署的服务发送HTTP请求，观察数据响应情况，如下所示，以此来验证服务已经部署成功。

🎉️ 除了上述访问方式外，用户还可以通过Python代码使用已部署的服务。

🎉️ 此外用户也可使用跨平台 AI 客户端工具，例如AnythingLLM、Chatbox AI、Cherry Studio等客户端工具，调用已部署的服务。本实践以Chatbox AI工具为例，服务调用页面如下所示。

至此，我们已经完成了使用KubeRay和vLLM部署DeepSeek-R1模型的全部流程。本文档为DeepSeek-R1的私有化部署提供了一个全面的指南，内容涵盖了从环境配置到模型推理访问的各个技术环节。借助分布式推理模式，不仅能够充分发挥大型模型的性能潜力，还加速了AI应用的规模化实施。