昇腾 NPU 安装说明

Paddle Inference 支持基于 华为昇腾 NPU 的推理部署, 当前仅支持通过源码编译的方式安装。

系统要求

当前 Paddle Inference 支持 华为昇腾 NPU 在如下环境下的源码编译和安装部署:

芯片型号 操作系统 SDK 版本
Ascend 910 Ubuntu 18.04 CANN 5.0.4.alpha005

源码编译

环境准备: 请根据编译依赖表准备符合版本要求的依赖库,推荐使用飞桨官方镜像,或者根据 CANN 文档 来准备相应的运行环境。

第一步: 从飞桨镜像库拉取编译镜像,启动容器并在容器内检查设备情况

# 拉取镜像
docker pull registry.baidubce.com/device/paddle-npu:cann504-x86_64-gcc75

# 启动容器,注意这里的参数 --device,容器仅映射设备ID为2到3的2张NPU卡,如需映射其他卡相应增改设备ID号即可
docker run -it --name paddle-dev -v `pwd`:/workspace  \
       --workdir=/workspace --pids-limit 409600 \
       --privileged --network=host --shm-size=128G \
       -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
       -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
       -v /usr/local/dcmi:/usr/local/dcmi \
       registry.baidubce.com/device/paddle-npu:cann504-x86_64-gcc75 /bin/bash

# 容器内检查设备情况
npu-smi info
# 预期获得如下输出结果
+-------------------------------------------------------------------------------------------+
| npu-smi 21.0.4                   Version: 21.0.4                                          |
+----------------------+---------------+----------------------------------------------------+
| NPU   Name           | Health        | Power(W)    Temp(C)           Hugepages-Usage(page)|
| Chip                 | Bus-Id        | AICore(%)   Memory-Usage(MB)  HBM-Usage(MB)        |
+======================+===============+====================================================+
| 0     910A           | OK            | 70.9        42                15   / 15            |
| 0                    | 0000:C1:00.0  | 0           839  / 15170      1    / 32768         |
+======================+===============+====================================================+
| 1     910A           | OK            | 67.2        36                15   / 15            |
| 0                    | 0000:81:00.0  | 0           1274 / 15171      1    / 32768         |
+======================+===============+====================================================+

第二步:下载Paddle源码并编译,CMAKE编译选项含义请参见编译选项表

# 下载源码,默认 develop 分支
git clone https://github.com/PaddlePaddle/Paddle.git
cd Paddle

# 创建编译目录
mkdir build && cd build

# 执行cmake
cmake .. -DPY_VERSION=3.7 -DPYTHON_EXECUTABLE=`which python3` -DON_INFER=ON \
         -DWITH_ASCEND=OFF -DWITH_ASCEND_CL=ON -DWITH_ASCEND_INT64=ON  \
         -DWITH_ASCEND_CXX11=ON -DWITH_TESTING=OFF \
         -DCMAKE_CXX_FLAGS="-Wno-error -w"

# 使用以下命令来编译
make -j$(nproc)

第三步: 编译完成之后,请检查编译目录下的 Python whl 包 和 C++ 预测库是否正确生成

# 检查编译目录下的 Python whl 包
Paddle/build/python/dist/
└── paddlepaddle_npu-0.0.0-cp37-cp37m-linux_x86_64.whl

# 检查编译目录下的 C++ 预测库,目录结构如下
Paddle/build/paddle_inference_install_dir
├── CMakeCache.txt
├── paddle
│   ├── include                                    # C++ 预测库头文件目录
│   │   ├── crypto
│   │   ├── experimental
│   │   ├── internal
│   │   ├── paddle_analysis_config.h
│   │   ├── paddle_api.h
│   │   ├── paddle_infer_contrib.h
│   │   ├── paddle_infer_declare.h
│   │   ├── paddle_inference_api.h                 # C++ 预测库头文件
│   │   ├── paddle_mkldnn_quantizer_config.h
│   │   ├── paddle_pass_builder.h
│   │   └── paddle_tensor.h
│   └── lib
│       ├── libpaddle_inference.a                  # C++ 静态预测库文件
│       └── libpaddle_inference.so                 # C++ 动态态预测库文件
├── third_party
│   ├── install                                    # 第三方链接库和头文件
│   │   ├── cryptopp
│   │   ├── gflags
│   │   ├── glog
│   │   ├── mkldnn
│   │   ├── mklml
│   │   ├── protobuf
│   │   ├── utf8proc
│   │   └── xxhash
│   └── threadpool
│       └── ThreadPool.h
└── version.txt                                    # 预测库版本信息

安装部署

Python 安装部署

请参考以下步骤执行 Python 安装部署示例程序:

# 1) 安装源码编译生成的 Python whl 包
python3 -m pip install -U paddlepaddle_npu-0.0.0-cp37-cp37m-linux_x86_64.whl

# 2) 进行简单功能的健康检查
python3 -c "import paddle; paddle.utils.run_check()"
# 预期得到如下输出结果
# Running verify PaddlePaddle program ...
# PaddlePaddle works well on 1 NPU.
# PaddlePaddle works well on 4 NPUs.
# PaddlePaddle is installed successfully! Let's start deep learning with PaddlePaddle now.

# 3) 下载 Paddle-Inference-Demo 示例代码,并进入 Python 代码目录
git clone https://github.com/PaddlePaddle/Paddle-Inference-Demo.git
cd Paddle-Inference-Demo/python/npu/resnet50

# 4) 下载推理模型
wget https://paddle-inference-dist.bj.bcebos.com/Paddle-Inference-Demo/resnet50.tgz
tar xzf resnet50.tgz

# 5) 准备预测图片
wget https://paddle-inference-dist.bj.bcebos.com/inference_demo/python/resnet50/ILSVRC2012_val_00000247.jpeg

# 6) 运行 Python 预测程序
python3 infer_resnet.py --model_file=./resnet50/inference.pdmodel --params_file=./resnet50/inference.pdiparams
# 预期得到如下输出结果
# class index:  13

C++ 安装部署

请参考以下步骤执行 C++ 安装部署示例程序:

# 1) 下载 Paddle-Inference-Demo 代码
git clone https://github.com/PaddlePaddle/Paddle-Inference-Demo.git

# 2) 拷贝源码编译生成的 C++ 预测库到 Paddle-Inference-Demo/c++/lib 目录下
cp -r Paddle/build/paddle_inference_install_dir Paddle-Inference-Demo/c++/lib/paddle_inference
# 拷贝完成之后 Paddle-Inference-Demo/c++/lib 目录结构如下
Paddle-Inference-Demo/c++/lib/
├── CMakeLists.txt
└── paddle_inference
    ├── CMakeCache.txt
    ├── paddle
    ├── third_party
    └── version.txt

# 3) 进入 C++ 示例代码目录,下载推理模型
cd Paddle-Inference-Demo/c++/npu/resnet50/
wget https://paddle-inference-dist.bj.bcebos.com/Paddle-Inference-Demo/resnet50.tgz
tar xzf resnet50.tgz

# 4) 修改 compile.sh 编译文件,需根据 C++ 预测库的 version.txt 信息对以下内容进行修改
WITH_MKL=ON  # 这里如果是 Aarch64 环境,则改为 OFF
WITH_ARM=OFF # 这里如果是 Aarch64 环境,则改为 ON
WITH_NPU=ON
ASCEND_LIB=/usr/local/Ascend # 这里请根据实际 CANN 安装路径修改

# 5) 执行编译,编译完成之后在 build 下生成 resnet50_test 可执行文件
./compile.sh

# 6) 运行 C++ 预测程序
./build/resnet50_test --model_file resnet50/inference.pdmodel --params_file resnet50/inference.pdiparams
# 预期得到如下输出结果
# I0531 15:14:32.535790 23336 resnet50_test.cc:85] run avg time is 99605.8 ms
# I0531 15:14:32.535897 23336 resnet50_test.cc:122] 0 : 2.67648e-43
# I0531 15:14:32.535917 23336 resnet50_test.cc:122] 100 : 1.98485e-37
# ... ...
# I0531 15:14:32.536034 23336 resnet50_test.cc:122] 800 : 3.80368e-25
# I0531 15:14:32.536043 23336 resnet50_test.cc:122] 900 : 1.46269e-30

如何卸载

C++ 预测库无需卸载,Python whl 包请使用以下命令卸载:

python3 -m pip uninstall paddlepaddle-npu