5090D本地部署基于Ktransformer框架的DeepSeek（踩坑版）

科技前沿 • 2026-04-06 12:34 • 阅读 1

大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。

我是看九天老师的公开课，尝试使用单卡5090D+512G运行内存去跑一遍DeepSeek。以下是我使用最新显卡部署时踩得坑。模型为：R1 Q4_K_M

1.Ktransformer全称（Quick Transformers）可以在模型运行过程中灵活的将专家模型加载到CPU上，同时将MLA/KVCache卸载到GPU上。

2.Unsloth动态量化，通过内存分担显存的方法保证R1 Q4_K_M的运行，并且执行不同任务时将激活的专家加载到GPU上，从而压缩模型运行所需硬件条件。

服务器配置：GPU：单卡RTX 5090D CPU：8358P 内存：512G 硬盘：4T

第一次试错时深度学习的环境：cuda：12.8 cudnn：9.8.0 pytorch：2.7.0 python：3.11

然后接下来都是按照九天老师的步骤一步步走，其余一切顺利。直到安装flash-attn遇到了问题，原因为flash-attn只支持torch2.6版本，截至3月13。找不到所支持pytorch对应的flash-attn。

那么现在的问题是cuda版本太高，以及pytorch版本也高，那么我退回cuda12.4的版本，尽量与九天老师公开课所使用的环境一致。

第二次试错时深度学习环境：cuda：12.4 cudnn：8.9.7 pytorch：2.6.0 python：3.11

新建了一个conda环境，再次重新将该有的依赖包装上，走到flash-attn时，顺利安装

接着就是安装libstdc，也很顺利。初始化、运行安装脚本依赖都顺利。安装好之后查看一下安装情况：pip show ktransformers

现在所有需要安装的依赖都完成了，准备执行运行脚本时，又出现报错：

但是又报错：

然后将KTransformersOps这个文件从指定的共享库文件链接到Conda环境的Python库目录中：

ln -sf ktransformers/ktransformers/ktransformers_ext/cuda/KTransformersOps.cpython-311-x86_64-linux-gnu.so $YOURCONDAPATH/home/anaconda3/env/python3.11/site-packages/KTransformersOps.cpython-311-x86_64-linux-gnu.so

就是这个文件，一定要放在你当前环境目录下的site-packages文件夹当中，接下来执行运行脚本

可以看到60个模型都加载出来了，但是接着错误又来了

此报错大体意思就是：cuda内核与GPU架构不兼容，no kernel image is available通常表示当前GPU的计算能力没有被编译到cuda内核当中。如若使用较新的GPU，他Ktransformers编译时未包含对应架构的支持。

具体的我查看pytorch的功能，使用print(torch.cuda.get_device_capability())输出看下结果：
这里的pytorch与对应的cuda支持sm_50 sm_60 sm_70 sm_75 sm_80 sm_86 sm_90，如果想将5090与pytorch一起使用，那么这个需要达到sm_120才可以使用，而这个sm_120只要最新的pytorch2.7.0才能符合。

5090D本地部署基于Ktransformer框架的DeepSeek（踩坑版）

总结下：
flash-attn与pytorch2.7.0不兼容，对pytorch、cuda降版本后，cuda内核与GPU架构又不兼容了。

暂时还没想到好的解决方法，我觉得等flash-attn与pytorch2.7.0发布兼容版本应该就可以解决了。

5090D本地部署基于Ktransformer框架的DeepSeek（踩坑版）

总结下： flash-attn与pytorch2.7.0不兼容，对pytorch、cuda降版本后，cuda内核与GPU架构又不兼容了。

暂时还没想到好的解决方法，我觉得等flash-attn与pytorch2.7.0发布兼容版本应该就可以解决了。

相关推荐

总结下：
flash-attn与pytorch2.7.0不兼容，对pytorch、cuda降版本后，cuda内核与GPU架构又不兼容了。