C++版PPyolo+部署记录-创新互联

PaddlePaddle 框架从18年就开始用了,最近因为工作要做目标检测,因此选择了PaddleDetection 使用了ppyoloe_plus_m 模型进行训练。训练完成后使用

创新互联坚持“要么做到,要么别承诺”的工作理念,服务领域包括:网站设计制作、成都网站制作、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的张湾网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!

export_model.py -c configs/ppyoloe/ppyoloe_plus_crn_m_80e_coco.yml -o weights=/path/model_final.pdparams

导出模型。

在项目中,使用的是 PaddleDetection /deploy 中的python 版进行 部署的。目前在项目中已经跑起来了。但考虑到以后和其他业务端对接,可能使用C++ 版的更方便,因此尝试打通C++版的推理预测,在这里记录下分别基于windows 和linux 下的模型部署流程。

一、 windows版
  1. CPU 版

windows 版相对来说较容易一下,首先尝试不使用gpu 的版本。

按照 说明文档中 的记录,下载 使用cpu 版的 paddle_inference , 版本要求是使用vs2017 ,但我使用vs 2019 进行编译是可以的。

然后需要下载opencv , 下载完成后,最好将 opencv\build\x64\vc15\bin 放到环境变量中。这个其实是用的opencv 3 .X 版本的,跟现在项目中的环境还是有些差别(项目中用到opencv 4.5)后续考虑编译一个opencv4.X 版本的。使用

cmake .  

-G "Visual Studio 16 2019" -A x64 -T host=x64  

-DWITH_GPU=OFF  

-DWITH_MKL=ON  

-DCMAKE_BUILD_TYPE=Release  

-DPADDLE_DIR=D:\projects\packages\paddle_inference  

-DPADDLE_LIB_NAME=paddle_inference  

-DOPENCV_DIR=D:\projects\packages\opencv3_4_6  

-DWITH_KEYPOINT=ON

在deploy/cpp 目录下生成 .sln ,然后使用vs 打开,生成后的代码文件如下:

使用 生成->生成解决方案,生成main.exe

我在生成过程中遇到了有些 lib 库没有找到的情况,在main ->属性->链接器 常规和输入中看看是否添加了该lib

以上window下基于CPU的模型应用程序基本上就编译好了。运行结果如下:

  1. GPU版

当跑起来CPU 版之后,发现GPU 版的也没有那么难了。首先要确定下当前机器下GPU 环境

本机环境如下:

CUDA=11.6

cudnn=8.4.1

TensorRT=8.4.0.6

首先肯定是要下载好对应的软件版本,可以参考这个

对应好 cuda ,cudnn tensorRT 版本后编译能轻松点。然后下载对应版本下的paddle_inference, 这个也需要下载opencv,跟上面用到的一样就可以,使用cmake 进行编译

cmake .   -G "Visual Studio 16 2019" -A x64 -T host=x64  

-DWITH_GPU=OFF  

-DWITH_MKL=ON  

-DCMAKE_BUILD_TYPE=Release  

-DCUDA_LIB="C:\Program Files\NVIDIA GPU ComputingToolkit\CUDA\v11.6\lib\x64"  

-DCUDNN_LIB="C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib"  

-DPADDLE_DIR=D:\work\Project\pro_cuda\paddle_inference  

-DPADDLE_DIR=D:\projects\packages\paddle_inference  

-DPADDLE_LIB_NAME=paddle_inference  

-DOPENCV_DIR=D:\projects\packages\opencv3_4_6  

-DWITH_KEYPOINT=ON

也是生成.sln 然后生成,产生main.exe 文件。运行结果如下:

二、Linux版

linux 版下我也是先跑通CPU ,在用GPU 。因为公司电脑是在运行项目,不敢随意测试,因此使用了云GPU, 开始的时候使用的是 恒源云GPU ,但他家的下载速度和网速实在太慢,后来使用了AutoDL 的云GPU ,网速挺快,还能连接百度网盘,挺香的。

首先重新编译了下gcc ,因为deploy 要求gcc是8.2版本的,参考

UbuntU18.04u安装GCC8.2.0~9.1_fpcc的博客-博客_unbuntu 安装 gcc 8.2

在按照 linux_build.md 进行编译时,遇到了opencv找不到so 库的情况。因此重新编译了ffmpeg 和opencv,参考了如下博客:

ffmpeg 源码编译 ffmpeg源码编译_liupenglove的博客-博客_ffmpeg源码编译

opencv源码编译 linux或arm下源码编译opencv库_spirits_of_snail的博客-博客_arm linux opencv

Linux下OPencv+ffmpeg编译和进行视频播放_泰勒朗斯的博客-博客

编译完成后 记得修改 ./script/build.sh 里面的路径。

然后按照 linux_build.md 来就可以,最后会生产 main

在执行是会发现缺少 libpaddle2onnx.so 等文件,在paddle_inference 下,找到,cp到/usr/lib 下就可以

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


文章名称:C++版PPyolo+部署记录-创新互联
网页网址:http://ybzwz.com/article/ddjhge.html