<p id="446K48KL">大家好，我是 Ai 学习的老章</p><p id="446K48KM">DeepSeek-OCR 开源有段时间了，我曾详细测试过，也推荐过基于它的 web 端应用：，还有一个桌面客户端：</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2F370d3443j00t69o3w0057d200u000ikg00u000ik.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48KN">DeepSeek-OCR 官方项目 README:中有关于 vllm 0.8.5+cu118+transformers&gt;=4.51.1 下进行<strong>离线推理</strong>的详细步骤，但是教程中在线推理部分 vLLM 还是 nightly 版本。我看网上大家根据官方文档进行部署，问题多多。正好， 。</p><p id="446K48KO">但是，vLLM 自 0.11.1 之后默认 CUDA 更新到了 12.9，我的 Linux 算力测试机还是 12.4，本文就介绍一下不重启情况下，如何升级 CUDA 和 vLLM@0.11.2，后面一篇文章再详细介绍 DeepSeek-OCR 的部署和 API 使用。</p><p>CUDA 升级 第一步：下载 CUDA Toolkit runfile</p><p id="446K48KP">目前 CUDA Toolkit 的最新版是 13.0，作为等等派，我还是先装 12.9.1 吧</p><p id="446K48KQ">下载地址：</p><p id="446K48KR">注意选择符合自己操作系统、架构、版本的安装包，最后一项建议选 runfile（local）</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2Fej00t69o3x0057d200u000o1g00u000o1.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48KS">CUDA Toolkit 的历史版本，可以在这里找到：</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2F507cc5cbj00t69o3x005td200rd00jug00rd00ju.jpg&thumbnail=660x&quality=80&type=jpg" width="985" height="714" onload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" /><br/></p><p id="446K48KT">如果你的服务器是离线的，把下载好的 runfile 传进去即可</p><p>第二步：卸载旧版 CUDA</p><p id="446K48KU">可以通过查看自己 CUDA 的安装位置，一般都是在/usr/local/目录下</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2F1238a81ej00t69o3y005kd200u000hqg00u000hq.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48KV">然后进入到下，找到 cuda-uninstaller</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2F5d844aa3j00t69o3y0025d200r400gzg00r400gz.jpg&thumbnail=660x&quality=80&type=jpg" width="976" height="611" onload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" /><br/></p><p id="446K48L0">直接运行，把下面三项选中后，光标移至 Done 后按 Enter 进行卸载</p><p id="446K48L1">一般很快就 OK 了</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2F08cfd15fj00t69o3z000bd200tf00lkg00tf00lk.jpg&thumbnail=660x&quality=80&type=jpg"/><br/>第三步：安装 CUDA Toolkit 12.9<br/></p><p id="446K48L2">进入到第一步下载好的 runfile 目录下</p><p id="446K48L3">运行</p><p id="446K48L4">然后选中以下几项，选中 Install 后 Enter</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2Fbej00t69o3z0027d200u000kdg00u000kd.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48L5">然后输入 accept 后 Enter</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2Fac311f9bj00t69od200u000klg00u000kl.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48L6">无比顺利情况下你会看到这个界面，这就约等于大功告成了</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2F2019fdffj00t69od200u000bog00u000bo.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48L7">但是！不出意外的话，肯定会出意外了</p><p>问题 1:nvidia-uvm</p><p id="446K48L8">你的服务器如果还有大模型在跑或别的任何服务在使用算力，极有可能会收到安装失败的 erro</p><p id="446K48L9">查看日志发现有一个叫 nvidia-uvm 的内核正在使用</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2Fda32bec6j00t69o40005md200u00083g00u00083.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48LA">运行确实是我之前 Docker 启动的 xinfer、vllm 等在运行模型</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2Fd037fe4fj00t69od200u0008wg00u0008w.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48LB">这里情况也能不一样，就我这个，测试发现要完全停掉 docker 仅此命令还不够</p><p id="446K48LC">要彻底停止 Docker，需要同时停止服务和套接字</p><p id="446K48LD"></p><p id="446K48LE">然后停掉自启</p><p id="446K48LF"></p><p id="446K48LG">完成升级后记得要 enable 一下</p><p id="446K48LH"></p><p>问题 2:nvidia-drm</p><p id="446K48LI">再次升级 CUDA，又失败了，日志提示</p><p id="446K48LJ">这里需要切换到纯文本模式（关闭图形界面）</p><p id="446K48LK">执行：</p><p id="446K48LL">执行后，等待几秒钟，让图形服务完全关闭。</p><p id="446K48LM">然后再再次升级 CUDA，就 OK 了</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2F2019fdffj00t69od200u000bog00u000bo.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48LN">执行发现 Driver 和 CUDA Version 都是新的了</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2Faj00t69od200u000b6g00u000b6.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48LO">执行 nvcc -V 发现报错，这是因为环境变量还没修改</p><p id="446K48LP">执行把之前的 12.4 全部修改为 12.9</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2F421e836ej00t69o42003md200u0008ag00u0008a.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48LQ">然后使其生效</p><p id="446K48LR">再次执行发现已经 OK</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2F70aa8f2bj00t69o42004ed200u00074g00u00074.jpg&thumbnail=660x&quality=80&type=jpg"/><br/>vLLM 升级<br/></p><p id="446K48LS">有网环境可以 pip upgrade，不过我这是内网服务器</p><p id="446K48LT">所以用了 vLLM 的官方 Docker 镜像</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2Fcbafd70cj00t69o43006ad200u000mig00u000mi.jpg&thumbnail=660x&quality=80&type=jpg"/><br/>https://hub.docker.com/r/vllm/vllm-openai/tags<br/></p><p id="446K48LU">很简单，直接拉取镜像</p><p id="446K48LV">然后</p><p id="446K48M0">把镜像保存到本地后传入内网服务器即可</p><p id="446K48M1">至此 vLLM 升级完成</p><p>部署 DeepSeek-OCR</p><p id="446K48M2">后面就是用 VLLM 的 Docker 拉起 DeepSeek-OCR 了</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2F1e2d03ffj00t69o43004bd200u0009bg00u0009b.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="446K48M3">测试很 OK，单卡 4090 很顺畅，具体步骤就要下文了</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1125%2F0a46cefej00t69o44000rd200fv00cug00fv00cu.jpg&thumbnail=660x&quality=80&type=jpg" width="571" height="462" onload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" /><br/><br/></p><p id="446K48M4">老章荐书</p>