c++ opencv 加载 caffe 模型 ---- 笔记

小灰灰 2021-11-22 06:56 587阅读 0赞

# 1、Q #

### 报错： ###

OpenCV(3.4.2) Error: Assertion failed (ngroups > 0 && inpCn % ngroups == 0 && outCn % ngroups == 0) in cv::dnn::ConvolutionLayerImpl::getMemoryShapes, file D:\\InstallDir\\opencv\\3.4.2\\src\\opencv-3.4.2\\modules\\dnn\\src\\layers\\convolution\_layer.cpp, line 236

### 出现场景： ###

使用官方提供的物体识别模型，如下，可以正确运行代码并识别

![20190725161136110.png][]

但是使用自己训练的手写字体模型替换上去之后无法识别

![20190725161222334.png][]

调试发现模型以及图片加载均正确，报错位置在预测的地方，86行

![20190725161320931.png][]

### 解决： ###

因为手写字体模型使用的是二维图片，但是物体识别模型使用的RGB图片，所以在预测的时候会报错。

在图片读取的地方修改就可以

//原来的代码
    Mat img = imread(imageFile);
    //修改后
    Mat img = imread(imageFile,0);
    //图片读取参数默认是1，读取原图，置0的时候读取灰度图片。

# 2、Q #

### 报错： ###

OpenCV(3.4.2) Error: Assertion failed (Wh.rows == 4\*Wh.cols) in cv::dnn::LSTMLayerImpl::LSTMLayerImpl, file D:\\InstallDir\\opencv\\3.4.2\\src\\opencv-3.4.2\\modules\\dnn\\src\\layers\\recurrent\_layers.cpp, line 114

### 出现场景： ###

[https://blog.csdn.net/zchang81/article/details/77040448][https_blog.csdn.net_zchang81_article_details_77040448]

以上链接的caffe模型，使用lstm+ctc模型，

### 原因： ###

期初以为是自定义层问题，由于ContinuationIndicatorLayer层是自动以层，所以在opencv中加载层的时候需要自定，并且有没c++的经验，所以怀疑是c++层写的不对

然后同时自定义两个层，发现读取规律是：先读一遍所有层的getMemoryShapes方法，然后再读层的forward方法

排除自定义层问题，确定问题在lstm层

从头文件中找到唯一一个跟层相关的文件，其中有LSTM层的声明，没有具体过程，具体过程可能需要到opencv的源代码中寻找。

![2019080810530399.png][]

在里面发现了这样的一个定义，Wx的内容对应的是输入的数据

![20190808105426674.png][]

然后从这里又可以看到输入矩阵的支出格式是T\*N\*dim这样一个三维，和N\*dim这样一个二维

![20190808105659543.png][]

# 3、Q #

### 报错： ###

OpenCV(3.4.2) Error: Assertion failed ((int)\_numAxes == inputs\[0\].size()) in cv::dnn::PermuteLayerImpl::getMemoryShapes, file D:\\InstallDir\\opencv\\3.4.2\\src\\opencv-3.4.2\\modules\\dnn\\src\\layers\\permute\_layer.cpp, line 137

### 出现场景： ###

针对上一个问题，我把整个数据的保存结构进行了修改，从\[BatchSize,Channel,H,W\]变成了\[BatchSize,H,W\]

然后再对三维数据进行permute转置的时候发生了错误

### 原因： ###

### ![20190808110224155.png][] ###

猜测四这样一个维度问题

### 测试： ###

我在测试可用的模型mnist的prototxt文件中添加了两个permute层，一个在开始，数据格式B\*C\*H\*W，一个在fc层之后，数据格式是B\*Dim，在第二个permute层的地方报错，错误：

OpenCV(3.4.2) Error: Assertion failed (inputs\[i\].size() == 4) in cv::dnn::PermuteLayerImpl::getMemoryShapes, file D:\\InstallDir\\opencv\\3.4.2\\src\\opencv-3.4.2\\modules\\dnn\\src\\layers\\permute\_layer.cpp, line 149

### 解决尝试： ###

决定自定义一个层

新建自定义的permute层，用处是将维度的顺序进行变换

具体过程链接：[https://blog.csdn.net/Diana\_Z/article/details/98852883][https_blog.csdn.net_Diana_Z_article_details_98852883]

我当前数据是直接从图片进入lstm，我的训练数据在生成的时候生成了三维，然而，blob读取的图片任旧是4维的，

所以在这里解决问题需要的不是一个permute层，而是一个降维的层，就叫DimensionalityReduction层

具体过程：[https://blog.csdn.net/Diana\_Z/article/details/98881975][https_blog.csdn.net_Diana_Z_article_details_98881975]

将100\*1\*32的数据传入，仍旧报同一个错误

![20190808191508621.png][]

### 4、Q ###

### 报错： ###

OpenCV(3.4.2) Error: Bad argument (Duplicate blobs produced by multiple sources) in cv::dnn::experimental\_dnn\_v5::\`anonymous-namespace'::CaffeImporter::addOutput, file D:\\InstallDir\\opencv\\3.4.2\\src\\opencv-3.4.2\\modules\\dnn\\src\\caffe\\caffe\_importer.cpp, line 412

### 原因： ###

层数据名相同出现了两次

### 解决： ###

找到这个重复命名的层，然后改个名字

[20190725161136110.png]: /images/20211122/dd60447efd8c4f7b8be3301dc3742e49.png
[20190725161222334.png]: /images/20211122/7e7aeab3c524466eb9aad84a192f09da.png
[20190725161320931.png]: /images/20211122/6c6d475c631b461c8e3eea049375190b.png
[https_blog.csdn.net_zchang81_article_details_77040448]: https://blog.csdn.net/zchang81/article/details/77040448
[2019080810530399.png]: /images/20211122/bee2b001ebe54e18a4835098789dd90d.png
[20190808105426674.png]: /images/20211122/1059e025e8124b5f88954d46dccfc5df.png
[20190808105659543.png]: /images/20211122/a297b56655d6457caff2144d030b6792.png
[20190808110224155.png]: /images/20211122/efd2847746d441f9b99bcd28e66b0626.png
[https_blog.csdn.net_Diana_Z_article_details_98852883]: https://blog.csdn.net/Diana_Z/article/details/98852883
[https_blog.csdn.net_Diana_Z_article_details_98881975]: https://blog.csdn.net/Diana_Z/article/details/98881975
[20190808191508621.png]: /images/20211122/6e2a4381d33242e4b1f8658dd60583d2.png