下载安装 Linux 推理库

C++ 推理库

硬件后端 是否打开avx 数学库 gcc版本 CUDA/cuDNN/TensorRT版本 推理库(2.3.0版本)
CPU 是 MKL 8.2 - paddle_inference.tgz
CPU 是 MKL 5.4 - paddle_inference.tgz
CPU 是 OpenBLAS 8.2 - paddle_inference.tgz
CPU 否 OpenBLAS 5.4 - paddle_inference.tgz
CPU 否 OpenBLAS 8.2 - paddle_inference.tgz
CPU 否 OpenBLAS 5.4 - paddle_inference.tgz
GPU 是 MKL 8.2 CUDA10.2/cuDNN8.1/TensorRT7.2 paddle_inference.tgz
GPU 是 MKL 5.4 CUDA10.2/cuDNN8.1/TensorRT7.2 paddle_inference.tgz
GPU 是 MKL 8.2 CUDA11.1/cuDNN8.1/TensorRT7.2 paddle_inference.tgz
GPU 是 MKL 5.4 CUDA11.1/cuDNN8.1/TensorRT7.2 paddle_inference.tgz
GPU 是 MKL 8.2 CUDA11.2/cuDNN8.2/TensorRT8.0 paddle_inference.tgz
GPU 是 MKL 5.4 CUDA11.2/cuDNN8.2/TensorRT8.0 paddle_inference.tgz
Jetson(all) - - - Jetpack 4.5 paddle_inference.tgz
Jetson(Nano) - - - Jetpack 4.5 paddle_inference.tgz
Jetson(TX2) - - - Jetpack 4.5 paddle_inference.tgz
Jetson(Xavier) - - - Jetpack 4.5 paddle_inference.tgz
Jetson(all) - - - Jetpack 4.6 paddle_inference.tgz
Jetson(Nano) - - - Jetpack 4.6 paddle_inference.tgz
Jetson(TX2) - - - Jetpack 4.6 paddle_inference.tgz
Jetson(Xavier) - - - Jetpack 4.6 paddle_inference.tgz
Jetson(all) - - - Jetpack 4.6.1 paddle_inference.tgz
Jetson(Nano) - - - Jetpack 4.6.1 paddle_inference.tgz
Jetson(TX2) - - - Jetpack 4.6.1 paddle_inference.tgz
Jetson(Xavier) - - - Jetpack 4.6.1 paddle_inference.tgz

C 推理库

硬件后端 是否打开avx 数学库 gcc版本 CUDA/cuDNN/TensorRT版本 推理库(2.3.0版本)
CPU 是 MKL 8.2 - paddle_inference_c.tgz
CPU 是 MKL 5.4 - paddle_inference_c.tgz
CPU 是 OpenBLAS 8.2 - paddle_inference_c.tgz
CPU 否 OpenBLAS 5.4 - paddle_inference_c.tgz
CPU 否 OpenBLAS 8.2 - paddle_inference_c.tgz
CPU 否 OpenBLAS 5.4 - paddle_inference_c.tgz
GPU 是 是 8.2 CUDA10.2/cuDNN8.1/TensorRT7.2 paddle_inference_c.tgz
GPU 是 是 5.4 CUDA10.2/cuDNN8.1/TensorRT7.2 paddle_inference_c.tgz
GPU 是 是 8.2 CUDA11.1/cuDNN8.2/TensorRT7.2 paddle_inference_c.tgz
GPU 是 是 5.4 CUDA11.1/cuDNN8.1/TensorRT7.2 paddle_inference_c.tgz
GPU 是 是 8.2 CUDA11.2/cuDNN8.2/TensorRT8.0 paddle_inference_c.tgz
GPU 是 是 5.4 CUDA11.2/cuDNN8.2/TensorRT8.0 paddle_inference_c.tgz

下载安装 Windows 推理库

环境硬件配置：

操作系统 win10 家庭版本
CPU I7-8700K
内存 16G
硬盘 1T hdd + 256G ssd
显卡 GTX1080 8G

C++ 推理库

硬件后端 是否使用avx 编译器 CUDA/cuDNN/TensorRT版本 数学库 推理库(2.3.0版本)
CPU 是 MSVC 2017 - MKL paddle_inference.zip
CPU 是 MSVC 2017 - OpenBLAS paddle_inference.zip
GPU 是 MSVC 2017 CUDA10.1/cuDNN7.6/no_trt MKL paddle_inference.zip
GPU 是 MSVC 2017 CUDA10.2/cuDNN7.6/TensorRT7.0 MKL paddle_inference.zip
GPU 是 MSVC 2017 CUDA11.0/cuDNN8.0/TensorRT7.2 MKL paddle_inference.zip
GPU 是 MSVC 2017 CUDA11.2/cuDNN8.2/TensorRT8.0 MKL paddle_inference.zip

C 推理库

硬件后端 是否打开avx 数学库 编译器版本 CUDA/cuDNN/TensorRT版本 推理库(2.3.0版本)
CPU 是 MKL MSVC 2017 - paddle_inference_c.zip
CPU 是 OpenBLAS MSVC 2017 - paddle_inference_c.zip
GPU 是 MKL MSVC 2017 CUDA10.1/cuDNN7.6/no_trt paddle_inference_c.zip
GPU 是 MKL MSVC 2017 CUDA10.2/cuDNN7.6/TensorRT7.0 paddle_inference_c.zip
GPU 是 MKL MSVC 2017 CUDA11.0/cuDNN8.0/TensorRT7.2 paddle_inference_c.zip
GPU 是 MKL MSVC 2017 CUDA11.2/cuDNN8.2/TensorRT8.2 paddle_inference_c.zip

python 推理

版本说明 python3.8
cuda10.2_cudnn7.6.5_avx_mkl-trt7.0.0.11 paddlepaddle-cp38m.whl
cuda11.0_cudnn8.0_avx_mkl-trt7.2.1.6 paddlepaddle-cp38m.whl
cuda11.2_cudnn8.2_avx_mkl-trt8.0.1.6 paddlepaddle-cp38m.whl

下载安装 Mac 推理库

C++ 推理库

硬件后端 是否打开avx 数学库 推理库(2.3.0版本)
CPU 是 OpenBLAS paddle_inference.tgz

C 推理库

硬件后端 是否打开avx 数学库 推理库(2.3.0版)
CPU 是 OpenBLAS paddle_inference_c.tgz