opencv系列文章之使用dnn模块调用tensorflow、Caffe和Torch/PyTorch深度学习模型

Bertha 。 2023-02-12 10:22 120阅读 0赞

> 深度学习有多厉害，就业前景有多开阔，我想每个学习计算机的人都能有所体会。Caffe、Tensorflow、Pytorch、Keras、mxnet等等深度学习框架，给了深度学习开发人员极大的方便，但他们部署起来却依旧较难！OpenCV自3.1版本其就在contrib中加入了DNN模块。到3.3版本时，将DNN模块由contrib提升到了正式代码块中。该DNN模块支持加载训练好的模型（即：这些模型需要实现在Caffe、TensorFlow、Torch/PyTorch等深度学习框架中提取训练好），并执行前向传播过程（即预测）。

本机硬件和软件资源如下：

# 1.编译带有DNN模块的opencv源码 #

参考文章链接：[https://blog.csdn.net/weixin\_39928773/article/details/103709184][https_blog.csdn.net_weixin_39928773_article_details_103709184]

参考文章链接[https://blog.csdn.net/mangobar/article/details/80459866][https_blog.csdn.net_mangobar_article_details_80459866]

## 1.1 下载opencv和opencv\_contrib源码文件 ##

opencv4.3地址：https://codeload.github.com/opencv/opencv/zip/4.3.0

opencv\_contrib4.3地址：[https://codeload.github.com/opencv/opencv\_contrib/zip/4.3.0][https_codeload.github.com_opencv_opencv_contrib_zip_4.3.0]

## 1.2 使用cmake编译gpu版本opencv ##

首先确认你装了适合你电脑版本的cuda，cudnn等。

然后，在opencv的源码根目录下新建output文件夹，将opencv\_contrib4.3放入其中。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70][]

然后使用cmake软件进行编译，设置如下，configure后选择的你编译后opencv的使用平台。完成后如下图所示（很多红色）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 1][]

然后添加OPENCV\_EXTRA\_MODULES\_PATH的信息，这个路径就是你下载的opencv\_contrib源码解压后存放的文件夹中的modules文件夹路径。我把它放到了output文件夹内，所以在CMake中的OPENCV\_EXTRA\_MODULES\_PATH中就填写D:/opencv-4.3.0/output/opencv\_contrib-4.3.0。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 2][]

注意事项：

1.搜索test，带test的都不勾选。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 3][]

2.搜索java，带java的都不勾选。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 4][]

# 2.准备深度学习算法模型文件 #

# 3.在opencv中导入模型并进行预测 #

## 3.1 导入caffe模型 ##

参考使用文章链接：[https://blog.csdn.net/zziahgf/article/details/90706693][https_blog.csdn.net_zziahgf_article_details_90706693]

#include <opencv2/dnn.hpp>
    using namespace cv::dnn;
    
    string protoFile = "D:\\qt5.12.0\\usrfile\\hand_reg\\caffe_models\\pose_deploy.prototxt";//caffe的模型基础信息
    string weightsFile = "D:\\qt5.12.0\\usrfile\\hand_reg\\caffe_models\\pose_iter_102000.caffemodel";//caffe的模型文件，后缀名caffemodel
    
    Net net = readNetFromCaffe(protoFile, weightsFile);//caffe模型文件
    Mat inpBlob = blobFromImage(frame, 1.0 / 255, Size(inWidth, inHeight), Scalar(0, 0, 0), false, false);//将图片缩放为模型训练时的图片大小
    net.setInput(inpBlob);//将图片输入caffe模型
    Mat output = net.forward();//进行caffe模型预测

## 3.2 导入tensorflow模型 ##

参考链接：[https://blog.csdn.net/hust\_bochu\_xuchao/article/details/79428759][https_blog.csdn.net_hust_bochu_xuchao_article_details_79428759]

tensorflow的ckpt文件转pb文件参考文章链接：[https://panjinquan.blog.csdn.net/article/details/82218092][https_panjinquan.blog.csdn.net_article_details_82218092]

#include <opencv2/dnn.hpp>
    using namespace cv::dnn;
    
    String weights = "nn.pb";//tensorflow的模型文件，后缀名pb，如果输出的是ckpt文件，还需要转为pb文件
    dnn::Net net = cv::dnn::readNetFromTensorflow(weights);//读入tensorflow模型文件
    Mat img = imread(files[i], 1);//准备模型输入图片
    Mat inputBlob = dnn::blobFromImage(img, 0.00390625f, Size(256, 256), Scalar(), false,false); //将图片缩放为模型训练时的图片大小
    net.setInput(inputBlob, "data");//将图片输入tensorflow模型
    Mat pred = net.forward("fc2/prob");//进行tensorflow模型预测

# 4.参考资料 #

## 4.1 查看opencv支持的深度学习框架 ##

链接：[https://github.com/opencv/opencv/wiki/Deep-Learning-in-OpenCV][https_github.com_opencv_opencv_wiki_Deep-Learning-in-OpenCV]

进入opencv的github页面，点击wiki。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 5][]

点击右侧目录栏的Deep Learning in opencv，即可看到当前opencv dnn支持的深度学习框架。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 6][]

[https_blog.csdn.net_weixin_39928773_article_details_103709184]: https://blog.csdn.net/weixin_39928773/article/details/103709184
[https_blog.csdn.net_mangobar_article_details_80459866]: https://blog.csdn.net/mangobar/article/details/80459866
[https_codeload.github.com_opencv_opencv_contrib_zip_4.3.0]: https://codeload.github.com/opencv/opencv_contrib/zip/4.3.0
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200525200626853.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200525200653809.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200525201517674.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200525202014674.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200525202059513.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg==,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_zziahgf_article_details_90706693]: https://blog.csdn.net/zziahgf/article/details/90706693
[https_blog.csdn.net_hust_bochu_xuchao_article_details_79428759]: https://blog.csdn.net/hust_bochu_xuchao/article/details/79428759
[https_panjinquan.blog.csdn.net_article_details_82218092]: https://panjinquan.blog.csdn.net/article/details/82218092
[https_github.com_opencv_opencv_wiki_Deep-Learning-in-OpenCV]: https://github.com/opencv/opencv/wiki/Deep-Learning-in-OpenCV
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200525193808487.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200525193843284.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3Nnb29kYnllMjAxMg==,size_16,color_FFFFFF,t_70