copyTo方法引发的对Mat的理解

冷不防 2022-05-27 09:42 150阅读 0赞

最近用OpenCV开发中，需要一个功能：将一张小图片贴到一张大一点的背景图片上。  
  
用的是copyTo方法。  
  
例如这样：

Mat background = imread("back.jpg");
    Mat a = imread("a.jpg");
    Mat imageROI = background(Rect(20,20,a.cols,a.rows));//(20,20)指要贴到什么位置
    a.copyTo(imageROI);

以上就完成了将a贴到background上。  
  
麻烦出现在：当a不是从硬盘读取，而是 截屏而来时。

由于截图一般返回的是位图句柄，即HBITMAP类型，需要先将HBITMAP转为Mat，我是这样转换的：

bool hBitMapToMat(HBITMAP& _hBmp,Mat& _mat)
    {
    	BITMAP bmp;    
    	GetObject( _hBmp, sizeof(BITMAP), &bmp );    
    	int nChannels = bmp.bmBitsPixel == 1 ? 1 : bmp.bmBitsPixel/8 ;   
    	int depth = bmp.bmBitsPixel == 1 ? IPL_DEPTH_1U : IPL_DEPTH_8U;    
    	Mat v_mat;
    	v_mat.create( cvSize( bmp.bmWidth,bmp.bmHeight), CV_MAKETYPE(CV_8U, nChannels) );
    	GetBitmapBits( _hBmp, bmp.bmHeight*bmp.bmWidth*nChannels, v_mat.data );  
    	_mat = v_mat;
    	return TRUE;   
    }

例如：

Mat test_Mat;
    hBitMapToMat(bitmap, test_Mat);
    test_Mat.copyTo(imageROI);//这个执行失败了

调试良久，发现是Mat通道数不一致的问题。经hBitMapToMat转换后，得到的test\_Mat的通道数为4。  
而background的通道数为3，这时copyTo方法不能生效。

解决办法是将4通道转化为3通道：

Mat xx;
    cvtColor(image, xx, CV_RGBA2RGB);//image是截取的图片

《Learning OpenCV 中文版》中说：4通道是RGB+alpha，其中每个通道可以包含任意的整数或浮点数，因此，该类型比常见的、易于理解的3通道8位RGB图像更通用。

OpenCV2中，数据结构Mat是保存图像像素信息的矩阵，它主要包含两部分：矩阵头和一个指向像素数据的矩阵指针。矩阵头主要包含，矩阵尺寸、存储方法、存储地址和引用次数等。  
  
矩阵头的大小是一个常数，不会随着图像的大小而改变，但是保存图像像素数据的矩阵则会随着图像的大小而改变，通常数据量会很大，比矩阵头大几个数量级。这样，在图像复制和传递过程中，主要的开销是由存放图像像素的矩阵而引起的。因此，OpenCV使用了引用次数，当进行图像复制和传递时，不再复制整个Mat数据，而只是复制矩阵头和指向像素矩阵的指针。例如：

cv::Mat a ;//创建矩阵头
    a = cv::imread("f:\\psb.jpg");//读入图像
    cv::Mat b = a ;//复制

The class Mat represents an n-dimensional dense numerical single-channel or multi-channel array. It can be used to store real or complex-valued vectors and matrices, grayscale or color images, voxel volumes, vector fields, point clouds, tensors, histograms (though, very high-dimensional histograms may be better stored in a SparseMat ).

上面的一段话引用自官方的文档，Mat类用于表示一个多维的单通道或者多通道的稠密数组。能够用来保存实数或复数的向量、矩阵，灰度或彩色图像，立体元素，点云，张量以及直方图（高维的直方图使用SparseMat保存比较好）。简而言之，Mat就是用来保存多维的矩阵的。  
  
  
Mat的常见属性  
data  uchar型的指针。Mat类分为了两个部分:矩阵头和指向矩阵数据部分的指针，data就是指向矩阵数据的指针。  
dims 矩阵的维度，例如5\*6矩阵是二维矩阵，则dims=2，三维矩阵dims=3.  
rows  矩阵的行数  
cols   矩阵的列数  
size 矩阵的大小，size(cols,rows),如果矩阵的维数大于2，则是size(-1,-1)  
channels 矩阵元素拥有的通道数，例如常见的彩色图像，每一个像素由RGB三部分组成，则channels = 3