opencv_deeplearning实战1：基于深度学习的opencv人脸检测

柔光的暖阳◎ 2022-05-15 05:47 508阅读 0赞

## 一、总概 ##

今年上半年在参加RC比赛，惨不忍睹。然后整个暑假两个月一直都在实习（专业安排），学的都是java web开发，实在没兴趣。最近才抽出空来，把自己的所学做一些总结（已经很久没写博客了）。  
最近在学习opencv和deeplearning，之前看过CS231n，对深度学习只懂一些皮毛，更多的是想做一些应用，所以又重新看opencv。opencv很好用，自从opencv3.3出来，已经嵌入了不少深度学习的模型，实在是好用。  
先安利一个[非常好的一个opencv教程][opencv]，我经常去看这里的教程，这次的实战也是学习他的[课程][Link 1]，自己加以修改整合理解。想积累实战经验的，可以多多去逛他的贴，可以增长很多见识。

## 二、正文 ##

言归正传，opencv 3.3公布后，在深度学习的模块有了很大的提升，已经支持了一些常用的深度学习框架，比如说Caffe , Tensorflow , 和Torch/PyTorch。想了解更多demo,可以去看[Github][]。

这次做的是人脸识别，用的是opencv里面的预训练的caffe模型，所以需要用到模型的结构文件 .prototxt 以及权重参数文件 .caffemodel ，其中prototxt文件，在[官网][Link 2]可以找到，但是参数文件很难找到。感谢[此教程][opencv]作者的慷慨提供。为了方便朋友下载，后续我会把文件和相关的代码都放在[我的github上][github],喜欢的可以给个star，对我是莫大的鼓励。

*  该模型是基于SSD和ResNet网络来训练的，想学越多，请读者自行去找资料或参考官网。有了预训练的模型，只需要导入即可。  
    `net = cv2.dnn.readNetFromCaffe(modelPath, weightPath)`
 *  所以其他要做的，只是对代码进行包装，给他输入，获得预测结果并可视化。所以代码就是调用函数和包而已。（具体我已经在注释写清楚，为了方便调用视频，我已经对一样的代码打包成函数）

## 三、单张图片检测代码 ##

#encoding ：UTF-8
    
    '''
    利用opencv自带的基于深度学习训练的函数来做人脸识别，准确率比Haar cascades要高
    '''
    import numpy as np
    import cv2
    
    # 定义相关的路径参数
    modelPath = "deploy.prototxt.txt"
    weightPath = "res10_300x300_ssd_iter_140000.caffemodel"
    confidence = 0.5 # 置信度参数，高于此数才认为是人脸，可调
    
    def face_detector(image):
    
    
    	net = cv2.dnn.readNetFromCaffe(modelPath, weightPath)
    	 
    	
    	# 输入图片并重置大小符合模型的输入要求
    	(h, w) = image.shape[:2]  #获取图像的高和宽，用于画图
    	blob = cv2.dnn.blobFromImage(cv2.resize(image, (300, 300)), 1.0,
    		(300, 300), (104.0, 177.0, 123.0))  
    	# ===============================blobFromImage待研究=====================
    
    	
    	net.setInput(blob)
    	detections = net.forward()  # 预测结果
    
    
    	# 可视化：在原图加上标签和框
    	for i in range(0, detections.shape[2]):
    		# 获得置信度
    		res_confidence = detections[0, 0, i, 2]
    	 
    		# 过滤掉低置信度的像素
    		if res_confidence > confidence :
    			# 获得框的位置
    			box = detections[0, 0, i, 3:7] * np.array([w, h, w, h])
    			(startX, startY, endX, endY) = box.astype("int")
    	 
    			# 在图片上写上标签
    			text = "{:.2f}%".format(res_confidence * 100)
    			# 如果检测脸部在左上角，则把标签放在图片内，否则放在图片上面
    			y = startY - 10 if startY - 10 > 10 else startY + 10 
    			cv2.rectangle(image, (startX, startY), (endX, endY),
    				(0, 255, 0), 2)
    			cv2.putText(image, text, (startX, y),
    				cv2.FONT_HERSHEY_SIMPLEX, 0.45, (0, 0, 255), 2)
    	resImage = image
    	return resImage 
    	
    
    if __name__ == '__main__':
    	image = "test5.jpg" # 最好图片名不用中文
    	image = cv2.imread(image)
    	# image = cv2.resize(image , (640,480))
    	# print(image.shape)
    	resImage = face_detector(image)
    	cv2.imshow("Output", resImage)
    	cv2.imwrite("res_test5.jpg",resImage)
    	cv2.waitKey(0)

注释已经写得比较清楚，希望初入门的同学也能看懂，有什么问题，欢迎留言讨论。  
我对其进行了测试，效果还是很不错的。  
![上传一张我在支教时拍的照片][70]  
这张照片是我去支教时拍的照片（请忽略长相，专注效果），即使人脸上有阳光直射，但是仍然能检测出来，鲁棒性不错。但是置信度不高，只有37.72%,这个很大程度取决于**人脸在图片中所占的比例**。  
![这里写图片描述][70 1]  
这个是我在支教时教的一位超可爱的小朋友，检测效果没问题。  
![这里写图片描述][70 2]  
（图片源于网络）效果也是没问题。  
![这里写图片描述][70 3]  
（图片源于网络）这张虽然嘴巴被遮住，但是依然能以94.35%的置信度检测出人脸，很不错。唯一不足是旁边不是人脸的区域也被检测出来。但是效果已经比opencv之前的Haar cascades算法好得多。

## 四、视频检测代码\#\# ##

有了单张图片，视频检测其实一样的原理，上面推荐的教程里是重复写了一部分代码，但是作为打代码的我们，能抽象出来，为什么不封装起来呢？所以，我自己装成了函数，视频读取的代码10行就能搞定。

'''
    使用摄像头实现人脸检测
    '''
    import cv2
    import detect_faces_image
     
    vs = cv2.VideoCapture(0) # 用笔记本自带摄像头，请选0
    
    while True:
    	ret , frame = vs.read()
    
    	resImage = detect_faces_image.face_detector(frame)
    
    	cv2.imshow("Frame", resImage)
    	if cv2.waitKey(1) & 0xFF == ord('q'):
    		break
     
    vs.release()
    cv2.destroyAllWindows()

同样，这里放效果图。  
![这里写图片描述][70 4]

赶紧试一下吧，强烈呼吁自己动手试一下，调一下置信度，自己玩一下。  
想下载源代码和配置文件，请到[我的github上][github]

欢迎关注我的公众号【CV之道】，一起学习交流~~

[opencv]: https://www.pyimagesearch.com/
[Link 1]: https://www.pyimagesearch.com/2018/02/26/face-detection-with-opencv-and-deep-learning/
[Github]: https://github.com/opencv/opencv/tree/master/samples/dnn
[Link 2]: https://github.com/opencv/opencv/tree/master/samples/dnn/face_detector
[github]: https://github.com/JackKoLing/opencv_deeplearning_practice/tree/master/practice1_face_detection
[70]: /images/20220515/7d489ec17be74c3f8ef8f6e55f5e9a86.png
[70 1]: /images/20220515/3882e4dfb16c4437af93df80b9227b37.png
[70 2]: /images/20220515/85d079e8b61b4650a732952bacbf96dd.png
[70 3]: /images/20220515/ea25014c69fe4e669fe44509e0a1c79c.png
[70 4]: /images/20220515/475dc9f9d63046c383db23bae3e497d1.png