深度学习环境搭建 cuda、模型量化bitsandbytes安装教程 windows、linux

科技前沿 • 2026-03-31 11:11 • 阅读 1

大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。

输入以下命令，查看 GPU 支持的最高 CUDA 版本。

前往 Nvidia 的 CUDA 官网：CUDA Toolkit Archive | NVIDIA Developer

CUDA Toolkit 11.8 Downloads | NVIDIA Developer

linux

CUDA Toolkit Archive | NVIDIA Developer

下载下来后扔到服务器上：

注意他是 xz 不是 gz 所以解压就是：

之前，是将 cudnn 的文件扔到 cuda 的路径就OK了，然而事实上，不一定放到cuda的路径，只要添加到 LD_LIBRARY_PATH 即可

解压之后，有目录cudnn-linux-x86_64-8.4.1.50_cuda10.2-archive，其下有 include 和 lib

将该路径添加到 LD_LIBRARY_PATH，给这个路径起一个名字：

放到配置文件里：

之后刷新一下环境变量：

刷新完看看是否正确添加：

返回这个就OK

再看看 LD_LIBRARY_PATH 对不对

Start Locally | PyTorch

根据自己电脑和系统在网页上选择适配自己的选项。

魔改bitsandbytes库让他支持windows。

安装window版本的bitsandbytes

或者

另一种选择https://github.com/acpopescu/bitsandbytes/releases/tag/v0.38.0-win0

GitHub - TimDettmers/bitsandbytes: 8-bit CUDA functions for PyTorch

1.pip安装

2.本地编译，选择自己的cuda版本

将 Int8 推理与 HuggingFace 转换器结合使用

int4

ModuleNotFoundError: No module named ‘pyopenjtalk’

pip install pyopenjtalk –no-build-isolation

参考资料

GitHub - jllllll/bitsandbytes-windows-webui: Windows compile of bitsandbytes for use in text-generation-webui.

GitHub - Keith-Hon/bitsandbytes-windows: 8-bit CUDA functions for PyTorch in Windows 10