OpenCV学习笔记：MAT解析

痛定思痛。 2024-04-17 23:38 82阅读 0赞

在2001年刚刚出现的时候，OpenCV基于 C 语言接口而建。为了在内存（memory）中存放图像，当时采用名为 IplImage 的C语言结构体，时至今日这仍出现在大多数的旧版教程和教学材料。但这种方法必须接受C语言所有的不足，这其中最大的不足要数手动内存管理，其依据是用户要为开辟和销毁内存负责。虽然对于小型的程序来说手动管理内存不是问题，但一旦代码开始变得越来越庞大，你需要越来越多地纠缠于这个问题，而不是着力解决你的开发目标。  
  
幸运的是，C++出现了，并且带来类的概念，这给用户带来另外一个选择：自动的内存管理（不严谨地说）。这是一个好消息，如果C++完全兼容C的话，这个变化不会带来兼容性问题。为此，OpenCV在2.0版本中引入了一个新的C++接口，利用自动内存管理给出了解决问题的新方法。使用这个方法，你不需要纠结在管理内存上，而且你的代码会变得简洁（少写多得）。但C++接口唯一的不足是当前许多嵌入式开发系统只支持C语言。所以，当目标不是这种开发平台时，没有必要使用旧方法（除非你是自找麻烦的受虐狂码农）。

关于 Mat ，首先要知道的是你不必再手动地

> （1）为其开辟空间
> 
> （2）在不需要时立即将空间释放。

但手动地做还是可以的：大多数OpenCV函数仍会手动地为输出数据开辟空间。当传递一个已经存在的 Mat 对象时，开辟好的矩阵空间会被重用。也就是说，我们每次都使用大小正好的内存来完成任务。

基本上讲 **Mat 是一个类**，由两个数据部分组成：**矩阵头**（包含矩阵尺寸，存储方法，存储地址等信息）和**一个指向存储所有像素值的矩阵**（根据所选存储方法的不同矩阵可以是不同的维数）**的指针**。矩阵头的尺寸是常数值，但矩阵本身的尺寸会依图像的不同而不同，通常比矩阵头的尺寸大数个数量级。因此，当在程序中传递图像并创建拷贝时，大的开销是由矩阵造成的，而不是信息头。OpenCV是一个图像处理库，囊括了大量的图像处理函数，为了解决问题通常要使用库中的多个函数，因此在函数中传递图像是家常便饭。同时不要忘了我们正在讨论的是计算量很大的图像处理算法，因此，除非万不得已，我们不应该拷贝 大 的图像，因为这会降低程序速度。

为了搞定这个问题，OpenCV使用引用计数机制。其思路是让每个 Mat 对象有自己的信息头，但共享同一个矩阵。这通过让矩阵指针指向同一地址而实现。而拷贝构造函数则只拷贝信息头和矩阵指针，而不拷贝矩阵。

Mat A, C;                                 // 只创建信息头部分
    A = imread(argv[1], CV_LOAD_IMAGE_COLOR); // 这里为矩阵开辟内存
    Mat B(A);                                 // 使用拷贝构造函数
    C = A;                                    // 赋值运算符

以上代码中的所有Mat对象最终都指向同一个也是唯一一个数据矩阵。虽然它们的信息头不同，但通过任何一个对象所做的改变也会影响其它对象。实际上，不同的对象只是访问相同数据的不同途径而已。

**这里还要提及一个比较棒的功能：你可以创建只引用部分数据的信息头。**比如想要创建一个感兴趣区域（ ROI ），你只需要创建包含边界信息的信息头：

Mat D (A, Rect(10, 10, 100, 100) ); // using a rectangle
    Mat E = A(Range:all(), Range(1,3)); // using row and column boundaries

现在你也许会问，如果矩阵属于多个  Mat  对象，那么当不再需要它时谁来负责清理？简单的回答是：**最后一个使用它的对象。通过引用计数机制来实现**。无论什么时候有人拷贝了一个  Mat  对象的信息头，都会增加矩阵的引用次数；反之当一个头被释放之后，这个计数被减一；当计数值为零，矩阵会被清理。但某些时候你仍会想拷贝矩阵本身(不只是信息头和矩阵指针)，这时可以使用函数  [clone()][clone]  或者  [copyTo()][copyTo]  。

Mat F = A.clone();
    Mat G;
    A.copyTo(G);

现在改变 *F* 或者 *G* 就不会影响 *Mat* 信息头所指向的矩阵。总结一下，你需要记住的是

*  OpenCV函数中输出图像的内存分配是自动完成的（如果不特别指定的话）。
 *  使用OpenCV的C++接口时不需要考虑内存释放问题。
 *  赋值运算符和拷贝构造函数（ *ctor* ）只拷贝信息头。
 *  使用函数 [clone()][clone] 或者 [copyTo()][copyTo] 来拷贝一副图像的矩阵。

为了debug，我们需要以更加方便的方式是看实际值。为此，你可以通过 *Mat* 的运算符 << 来实现，但要记住这只对二维矩阵有效。

> *Mat* 不但是一个很赞的图像容器类，它同时也是一个通用的矩阵类，所以可以用来创建和操作多维矩阵。创建一个Mat对象有多种方法：

*  [Mat()][Mat] 构造函数
    
        Mat M(2,2, CV_8UC3, Scalar(0,0,255)); 
            cout << "M = " << endl << " " << M << endl << endl;
    
      
    ![SouthEast][]

对于二维多通道图像，首先要定义其尺寸，即行数和列数。

然后，需要指定存储元素的数据类型以及每个矩阵点的通道数。为此，依据下面的规则有多种定义

CV_[The number of bits per item][Signed or Unsigned][Type Prefix]C[The channel number]

比如 *CV\_8UC3* 表示使用8位的 unsigned char 型，每个像素由三个元素组成三通道。预先定义的通道数可以多达四个。 [Scalar][] 是个short型vector。指定这个能够使用指定的定制化值来初始化矩阵。当然，如果你需要更多通道数，你可以使用大写的宏并把通道数放在小括号中，如下所示

*  在 C\\C++ 中通过构造函数进行初始化
    
        int sz[3] = {
               2,2,2}; 
            Mat L(3,sz, CV_8UC(1), Scalar::all(0));
    
    上面的例子演示了如何创建一个超过两维的矩阵：指定维数，然后传递一个指向一个数组的指针，这个数组包含每个维度的尺寸；其余的相同
 *  为已存在IplImage指针创建信息头:
    
        IplImage* img = cvLoadImage("greatwave.png", 1);
        Mat mtx(img); // convert IplImage* -> Mat
 *  [Create()][Create] : 函数
    
        M.create(4,4, CV_8UC(2));
            cout << "M = "<< endl << " "  << M << endl << endl;

![SouthEast 1][]

这个创建方法不能为矩阵设初值，它只是在改变尺寸时重新为矩阵数据开辟内存。（不过上面结果的205怎么得到的我不知道，~|~）。

*  MATLAB形式的初始化方式： [zeros()][zeros], [ones()][ones], :[eyes()][eyes] 。使用以下方式指定尺寸和数据类型：
    
        Mat E = Mat::eye(4, 4, CV_64F);    
            cout << "E = " << endl << " " << E << endl << endl;
            
            Mat O = Mat::ones(2, 2, CV_32F);    
            cout << "O = " << endl << " " << O << endl << endl;
        
            Mat Z = Mat::zeros(3,3, CV_8UC1);
            cout << "Z = " << endl << " " << Z << endl << endl;

> ![Demo image of the matrix output][]

*  对于小矩阵你可以用逗号分隔的初始化函数:
    
        Mat C = (Mat_<double>(3,3) << 0, -1, 0, -1, 5, -1, 0, -1, 0); 
            cout << "C = " << endl << " " << C << endl << endl;

> ![Demo image of the matrix output][Demo image of the matrix output 1]

*  使用 [clone()][clone] 或者 [copyTo()][copyTo] 为一个存在的 *Mat* 对象创建一个新的信息头。
    
        Mat RowClone = C.row(1).clone();
            cout << "RowClone = " << endl << " " << RowClone << endl << endl;
    
    ![Demo image of the matrix output][Demo image of the matrix output 2]

OpenCV支持使用运算符<<来打印其它常用OpenCV数据结构。

*  2维点
    
        Point2f P(5, 1);
            cout << "Point (2D) = " << P << endl << endl;
    
    ![Default Output][]
 *  3维点
    
        Point3f P3f(2, 6, 7);
            cout << "Point (3D) = " << P3f << endl << endl;
    
    ![Default Output][Default Output 1]
 *  基于cv::Mat的std::vector
    
        vector<float> v;
            v.push_back( (float)CV_PI);   v.push_back(2);    v.push_back(3.01f);
            
            cout << "Vector of floats via Mat = " << Mat(v) << endl << endl;
    
    ![Default Output][Default Output 2]
 *  std::vector点
    
        vector<Point2f> vPoints(20);
            for (size_t E = 0; E < vPoints.size(); ++E)
                vPoints[E] = Point2f((float)(E * 5), (float)(E % 7));
        
            cout << "A vector of 2D Points = " << vPoints << endl << endl;
    
    ![Default Output][Default Output 3]

[clone]: http://opencv.itseez.com/modules/core/doc/basic_structures.html#mat-clone
[copyTo]: http://opencv.itseez.com/modules/core/doc/basic_structures.html#mat-copyto
[Mat]: http://opencv.itseez.com/modules/core/doc/basic_structures.html#mat-mat
[SouthEast]: https://img-blog.csdn.net/20130818113357390?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGlual9t/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
[Scalar]: http://opencv.itseez.com/modules/core/doc/basic_structures.html#scalar
[Create]: http://opencv.itseez.com/modules/core/doc/basic_structures.html#mat-create
[SouthEast 1]: https://img-blog.csdn.net/20130818115031500?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGlual9t/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
[zeros]: http://opencv.itseez.com/modules/core/doc/basic_structures.html#mat-zeros
[ones]: http://opencv.itseez.com/modules/core/doc/basic_structures.html#mat-ones
[eyes]: http://opencv.itseez.com/modules/core/doc/basic_structures.html#mat-eye
[Demo image of the matrix output]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/8189377e083e40bc996b3fe052f36ce8.png
[Demo image of the matrix output 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/e2b1f0d00fbe47e29a00a626eb5a641f.png
[Demo image of the matrix output 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/8dfae8de4a7a4021953701d366811f77.png
[Default Output]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/95b17d0348ab4c5096c9f7ebb7645eca.png
[Default Output 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/b13b42ca0c2e430aba713990979c8fef.png
[Default Output 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/010519d925794603b4b8c708ef093caf.png
[Default Output 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/59392efa1fa144ed9901872c8264e489.png