通信人家园

标题: LLaMA-Factory+昇腾910B微调DeepSeek-R1-Distill-Qwen-7B实操  [查看完整版帖子] [打印本页]
时间:  2025-9-2 20:05
作者: ruild     标题: LLaMA-Factory+昇腾910B微调DeepSeek-R1-Distill-Qwen-7B实操

本文主要介绍基于昇腾910B的环境，通过LLaMA-Factory 微调
DeepSeek-R1-Distill-Qwen-7B模型的操作记录。
硬件环境

配置项



配置说明


CPU


192核


内存


2048G


GPU


8*910B（64G显存）


操作系统


Unbutu 22.04



安装CANN软件包
需要安装3个软件包：
  • Ascend-cann-toolkit_8.0.RC2.alpha001_linux-aarch64.run
  • Ascend-cann-kernels-910b_8.0.RC2.alpha001_linux.run
  • Ascend-cann-nnal_8.0.0_linux-aarch64.run
## 需要依赖包apt-get install -y gcc g++ make cmake zlib1g zlib1g-dev openssl libsqlite3-dev libssl-dev libffi-dev unzip pciutils net-tools libblas-dev gfortran libblas3##安装CANN开发套件包chmod +x Ascend-cann-toolkit_8.0.RC2.alpha001_linux-aarch64.run./Ascend-cann-toolkit_8.0.RC2.alpha001_linux-aarch64.run --installsource /usr/local/Ascend/ascend-toolkit/set_env.sh##安装nnalchmod +x Ascend-cann-nnal_8.0.0_linux-aarch64.run./Ascend-cann-nnal_8.0.0_linux-aarch64.run --installsource /usr/local/Ascend/nnal/atb/set_env.sh## 安装cann-kernelschmod + Ascend-cann-kernels-910b_8.0.RC2.alpha001_linux.run./Ascend-cann-kernels-910b_8.0.RC2.alpha001_linux.run --install

根据昇腾卡型号安装对应的固件和驱动，可参考 快速安装昇腾环境  昇腾开源 文档指引，使用 npu-smi info 验证如下

安装LLaMA-Factoryconda create -n llama_factory python=3.10conda activate llama_factorygit clone https://github.com/hiyouga/LLaMA-Factory.gitpip install -e ".[torch-npu,metrics]"
说明：需要安装torch-npu的包
依赖都安装后，可以通过如下的 python 脚本对 torch_npu 的可用情况做一下校验
>>> import torch>>> import torch_npu>>> print(torch.npu.is_available())True>>>
预期结果是打印true，如下图：


安装校验:
使用以下指令对昇腾环境的安装进行校验：
llamafactory-cli env- `llamafactory` version: 0.9.3.dev0- Platform: Linux-5.15.0-101-generic-aarch64-with-glibc2.35- Python version: 3.10.16- PyTorch version: 2.4.0 (NPU)- Transformers version: 4.50.0- Datasets version: 3.4.1- Accelerate version: 1.5.2- PEFT version: 0.15.0- TRL version: 0.9.6- NPU type: Ascend910B2- CANN version: 8.0.RC2.alpha001- Git commit: 32cb086be148733e771fd73b9a3343f79bfe8f35
如上所示，正确显示 llamafactory、PyTorch NPU 和 CANN 版本号及 NPU 型号等信息即说明安装成功。
启动LLaMA-Factory WEBUI#设置运行GPU显卡（昇腾910B）export ASCEND_RT_VISIBLE_DEVICES=4,5,6,7nohup llamafactory-cli webui &
访问llama_factory
http://192.168.20.10:7860,如下图所示：


DeepSeek-R1-Distill-Qwen-7B做Lora微调测试
  • 选择模型及数据集，如下图：


  • 设置Lora参数，如下图：


  • 点击“开始”进行训练，当出现训练完成即完成微调，如下图：


  • 加载微调后模型测试：


选择Lora的检查点为之前微调参数设置的记录值。
  • 点击“加载模型”，运行微调后的模型，如下图：


输入一个LLaMA-Factory自带的样例数据集的内容，如下图：




结果输出，如下图：


总结
大家更多的是基于Nvidia GPU的训练操作，本文主要是介绍了基于昇腾910B的硬件，这个环境需要安装显卡的驱动和固件版本外，还要安装华为的CANN软件包，LLaMA-Factory简单介绍了基本的使用方法，更高级的使用可以参考官方文档进行。

时间:  2025-9-3 00:52
作者: 不吹不黑

实际操作哦



通信人家园 (https://www.txrjy.com/) Powered by C114