2026年基于昇腾MindSpeed训练加速库玩转智谱GLM-4-0414模型

科技前沿 • 2026-03-31 22:50 • 阅读 0

大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。

智谱GLM-4-0414模型提供32B和9B两种参数规模，涵盖基础、推理和沉思等多种模型类型，均基于 MIT 许可协议开放。其中，推理模型 GLM-Z1-32B-0414 性能卓越，与 DeepSeek-R1 等领先模型相当，实测推理速度达每秒200个Tokens。此前，魔乐社区已推出支持昇思MindSpore和昇腾MindIE的版本。如今，昇腾MindSpeed训练加速库开箱即用的版本也已上线，共包含6个模型，欢迎开发者们下载体验！

🔗魔乐社区模型下载链接：

https://modelers.cn/models/Models_Ecosystem/GLM-Z1-Rumination-32B-0414

https://modelers.cn/models/Models_Ecosystem/GLM-Z1-9B-0414

https://modelers.cn/models/Models_Ecosystem/GLM-Z1-32B-0414

https://modelers.cn/models/Models_Ecosystem/GLM-4-9B-0414

https://modelers.cn/models/Models_Ecosystem/GLM-4-32B-Base-0414

https://modelers.cn/models/Models_Ecosystem/GLM-4-32B-0414

不多说，直接进入实践环节。接下来，我们将基于昇腾MindSpeed训练加速库部署 GLM-Z1-9B-0414 模型，并进行训练和推理操作。

1.1 硬件要求

GLM-Z1-9B-0414的参考硬件配置如下, 本文将以A2 单机8卡训练和推理为例进行介绍：

类型

硬件

配置

全参训练

NPU

8 x Ascend NPUs

1.2 MindSpeed-LLM仓库部署

MindSpeed-LLM的主要依赖配套如下表，安装步骤参考安装指导：

https://gitee.com/ascend/MindSpeed-LLM/blob/master/docs/features/install_guide.md

依赖软件

版本

CANN Toolkit（开发套件）

商发版本

CANN Kernel（算子包）

CANN NNAL（Ascend Transformer Boost加速库）

Python

>=3.10

PyTorch

2.5.1

torch_npu插件

2.5.1

apex

商发版本

仓库拉取

环境搭建

2.1 权重转换

权重下载

从魔乐社区或者HuggingFace下载权重和配置文件。

魔乐下载链接（享国内加速下载）：https://modelers.cn/models/zhipuai/GLM-Z1-9B-0414

权重转换

MindSpeed-LLM提供脚本将权重转换为mcore权重，用于训练、推理、评估等任务：

https://gitee.com/lliilil/MindSpeed-LLM/blob/master/tests/0day/glm-z1-9b-0414/ckpt_convert_glm4_z1_9b_0414_hf2mcore.sh

使用方法如下，请根据实际需要的TP/PP等切分策略和权重路径修改权重转换脚本。

2.2 数据预处理

MindSpeed-LLM提供脚本进行数据集处理：

https://gitee.com/lliilil/MindSpeed-LLM/blob/master/tests/0day/glm-z1-9b-0414/data_convert_glm4_z1_9b_0414_pretrain.sh

使用方法如下，请根据实际需要修改以下参数

参数名

含义

--input

数据集路径

--tokenizer-name-or-path

模型tokenizer目录

--output-prefix

数据集处理完的输出路径及前缀名

用户需要根据实际情况修改脚本中以下变量

变量名

含义

MASTER_ADDR

多机情况下主节点IP

NODE_RANK

多机下，各机对应节点序号0-8

CKPT_SAVE_DIR

训练中权重保存路径

DATA_PATH

数据预处理后的数据路径

TOKENIZER_PATH

tokenizer目录

CKPT_LOAD_DIR

权重转换保存的权重路径，为初始加载的权重，如无初始权重则随机初始化

用户需要根据实际情况修改脚本中以下变量

变量名

含义

MASTER_ADDR

多机情况下主节点IP

NODE_RANK

多机下，各机对应节点序号0-8

CHECKPOINT

训练保存的权重路径

TOKENIZER_PATH

tokenizer目录

用户需要根据实际情况修改脚本中以下变量

变量名

含义

MASTER_ADDR

多机情况下主节点IP

NODE_RANK

多机下，各机对应节点序号0-8

CKPT_SAVE_DIR

训练中权重保存路径

DATA_PATH

数据预处理后的数据路径

TOKENIZER_PATH

tokenizer目录

CKPT_LOAD_DIR

权重转换保存的权重路径，为初始加载的权重，如无初始权重则随机初始化

欢迎体验

2026年基于昇腾MindSpeed训练加速库玩转智谱GLM-4-0414模型

相关推荐