基于MTCNN的实时人脸检测方法及系统

╰半夏微凉° 2024-04-06 13:04 80阅读 0赞

基于MTCNN的实时人脸检测方法及系统 II  
目录 III  
第1章 引言 1  
1.1背景介绍与研究意义 1  
1.2研究内容与目标 4  
第2章 深度学习及MTCNN深度级联神经网络原理 5  
2.1 深度学习简介 5  
2.1.1 Proposal Network (P-Net)层 5  
2.1.2 Refine Network (R-Net)层 5  
2.1.3 Output Network (O-Net)层 6  
2.2小结 6  
第3章 人脸检测算法 7  
3.1 人脸检测算法 7  
3.1.1 面部分类： 7  
3.1.2 边界框回归 7  
3.1.3 面部地标定位 7  
3.1.4 多源训练 8  
3.2 小结 8  
第4章 系统设计与实验结果分析 9  
4.1系统框架设计 9  
4.2前端界面设计 9  
4.3系统实现 9  
4.3.1 环境配置 9  
4.3.2 前端界面实现 10  
4.3.4功能逻辑实现 11  
4.4实验步骤与分析 12  
4.4.1 实验设置 12  
4.4.2 数据集 12  
4.4.3 评估指标 13  
4.4.4 实验结果分析 14  
4.4.4.1多种方法对比 14  
4.4.4.2多种环境对比 14  
4.5小结 17  
结 论 18  
参考文献 19  
1.2研究内容与目标  
本课题研究内容主要是基于级联神经网络优化人脸检测模型，提升人脸检测精度。一是在公开的大规模人脸数据集上训练人脸检测模型；二是采用三层级联神经网络提取特征和对损失函数进行优化。三是基于人脸检测实现的定制人脸检测系统。  
本课题目标主要有两个：一方面是，在数据集上基于级联神经网络训练出一个好的人脸检测模型；另一方面是, 在Python上开发构建出一个人脸检测系统，实现对图片或视频中人脸进行实时人脸检测，并显示人脸置信度。

第2章 深度学习及MTCNN深度级联神经网络原理  
2.1 深度学习简介  
深度学习(Deep Learning)是机器学习的分支，是一种以人工神经网络为架构，对数据进行特征学习的算法。目前，深度学习结构已有数种，经典代表有深度神经网络、卷积神经网络、递归神经网络等。深度目前已经广泛应用于计算机视觉、自然语言处理、语音识别等领域，并取得了巨大的成果。2016年3月，AlphaGo的表现，展现了深度学习在围棋领域的重大突破。  
2.1.1 Proposal Network (P-Net)层  
该网络结构主要获得了人脸区域的候选窗口和边界框的回归向量。并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制（NMS）来合并高度重叠的候选框。  
系统框架决定系统开发、维护和扩展的效率。图4-1描述了整个人脸检测系统的框架设计，包括数据源、人脸检测、结果呈现三个模块，用户通过GUI界面进行交互。整个系统首先通过数据源获取图片信息，数据源来自摄像头、本地照片。人脸检测模块是本系统核心模块，将预训练的模型存储在系统中，本文转载自http://www.biyezuopin.vip/onews.asp?id=14877然后通过提取图片或者视频帧中的人脸特征，将结果呈现在GUI界面中。  
4.2前端界面设计  
系统的GUI设计采用Tkinter实现，主要分为两部分，一部分是图片检测模式，通过上传本地图片完成检测。另外一部分是摄像头检测模式，支持本地摄像头采集人脸信息并实时检测。

from tkinter import *
    from tkinter import messagebox
    from tkinter import simpledialog
    from tkinter import filedialog
    from PIL import Image, ImageTk
    from test import oneImg
    from test import openCma
    import cv2
    import os
    Flag = True #控制摄像头的变量
    capture = cv2.VideoCapture(0)#摄像头对象作为全局变量会更快些
    
    
    def ui_process():
        root =Tk()
        root.title("人脸检测系统")
        root.geometry("1000x850")
    
        tempImg=Image.open("D:/working/tensorflow_mtcnn_zip/tensorflow-MTCNN-master/bg.jpg")
        tempImg=tempImg.resize((1000,900))
        bgImg=ImageTk.PhotoImage(tempImg)
        theLabel = Label(root,image=bgImg,compound=CENTER)
        theLabel.pack()
    
    #标签
        L_titile = Label(root,text='基于MTCNN的实时人脸检测系统',)
        L_titile.config(font='Helvetica -15 bold',fg='blue')
        L_titile.place(x=150,y=20,anchor="center")
        L_author = Label(root, text='作者:刘佳昇')
        L_author.config(font='Helvetica -10 bold')
        L_author.place(x=920,y=830)
        S_title = Label(root,text='图片识别模式')
        S_title.config(font='Helvetica -20 bold',fg='red')
        S_title.place(x=40,y=50)
        S_title = Label(root, text='摄像头实时识别模式')
        S_title.config(font='Helvetica -20 bold', fg='red')
        S_title.place(x=40, y=450)
        S_title = Label(root, text='图片识别结果')
        S_title.config(font='Helvetica -15 bold', fg='red')
        S_title.place(x=740, y=100)
    
    #图区
        canvas = Canvas(root, bd=2, relief=SUNKEN)
        canvas.place(x=40,y=140)
        resultCanvas = Canvas(root,bd=2,relief=SUNKEN)
        resultCanvas.place(x=600,y=140)
        #摄像头
        cmaCanvas = Canvas(root,bd=2,relief=SUNKEN,height=350,width=580)
        cmaCanvas.place(x=400,y=470)
    
    
    
    #按钮
    
        B_NO1 = Button(root, text="打开一张图片",command=lambda :OpenFile(canvas,resultCanvas))
        B_NO1.place(x=40, y=100)
        B_NO2 = Button(root, text="打开输出文件夹", command=lambda: openOutPut())
        B_NO2.place(x=600, y=100)
        B_OpenCma = Button(root,text="打开摄像头",command=lambda :openGuiCma(cmaCanvas,root))
        B_OpenCma.place(x=40,y=500)
        B_OpenCma = Button(root, text="关闭摄像头", command=lambda: closeGuiCma())
        B_OpenCma.place(x=140, y=500)
    
    
    #菜单栏
        menubar = Menu(root)
        filemenu = Menu(menubar, tearoff=0)
        filemenu.add_command(label="Open", command=lambda :openOutPut())
        mainloop()
    
    
    
    def openOutPut():
        os.system("start explorer D:\working\\tensorflow_mtcnn_zip\\tensorflow-MTCNN-master\\output")
    
    
    
    
    #文件操作的对话框
    def OpenFile(canvas,resultCanvas):
        File = filedialog.askopenfilename(title='打开图片', filetypes=[ ('All Files', '*')])
        print(type(File))
        # resultImg = ImageTk.PhotoImage(Image.fromarray(oneImg(File).astype('uint8')).convert('RGB')) #这个转换方式会导致颜色异常
        resultImg = ImageTk.PhotoImage(Image.fromarray(cv2.cvtColor(oneImg(File),cv2.COLOR_BGR2RGB)))  #这里需要把cv的图像格式转换成PIL.img
        filename = Image.open(File)
        # filename.resize((3500,300))
        filename = ImageTk.PhotoImage(filename)
        print(type(Image.open(File)))
        canvas.image = filename  # <--- keep reference of your image
        canvas.create_image(0, 0, anchor='nw', image=filename)
        resultCanvas.image = resultImg
        resultCanvas.create_image(0,0,anchor='nw',image=resultImg)
        print(File)
    
    
    def closeGuiCma():
        global Flag
        print(Flag)
        Flag = False
    
    
    def openGuiCma(resultCanvas,root):
        # 摄像头
        if(messagebox.askokcancel('Python Tkinter', '确认打开摄像头？')==True):
            global Flag
            Flag=True
            while Flag==True:
                ref, frame = capture.read()
                cvimage = cv2.cvtColor(openCma(frame), cv2.COLOR_BGR2RGBA)
                pilImage = Image.fromarray(cvimage)
                tkImage = ImageTk.PhotoImage(image=pilImage)
                resultCanvas.create_image(0, 0, anchor='nw', image=tkImage)
                root.update()
                root.after(100)
    
    
    
    if __name__ == "__main__":
        print("开始")
        ui_process()

![在这里插入图片描述][cdd7484a8f544f58b1f2fe8b419602d0.png_pic_center]  
![在这里插入图片描述][77efe0841a354baf9ceaf9a62ad384b3.png_pic_center]  
![在这里插入图片描述][362b84dff32d4350857a0fe4720ccd16.png_pic_center]  
![在这里插入图片描述][dfbc6bd30f8844c29775bf4363f896f6.png_pic_center]  
![在这里插入图片描述][fe8be2072d7546dea467972396971d5f.png_pic_center]  
![在这里插入图片描述][4af5955186f44ec19301b10e366c8ed1.png_pic_center]  
![在这里插入图片描述][7344fee5294e44169fb598a461bf2106.png_pic_center]  
![在这里插入图片描述][65d253ab6e124066a6319aff2f6955d6.png_pic_center]  
![在这里插入图片描述][39ebf5594dd34f31ace9e5c74ec17081.png_pic_center]  
![在这里插入图片描述][5514bdbb9e40420c9d6d01603bbc0e33.png_pic_center]  
![在这里插入图片描述][28419b76294447b48348d92a0ce7274d.png_pic_center]  
![在这里插入图片描述][56dfcfba1d6e4ed2b0c2de14439c188b.png_pic_center]  
![在这里插入图片描述][40907b72ee4647a38f37f16a7ed346d7.png_pic_center]  
![在这里插入图片描述][30a9946b87194cd2a22f39db3a73dff4.png_pic_center]  
![在这里插入图片描述][be8c9a6fee24445296d35bc25757262c.png_pic_center]  
![在这里插入图片描述][e6ad2eda3bc54644831d030a42ef58f6.png_pic_center]  
![在这里插入图片描述][c58882ac47854782ba4e121f0fce30ed.png_pic_center]  
![在这里插入图片描述][d335527d0c9d470a9fba675ba08a54ed.png_pic_center]  
![在这里插入图片描述][cff8532c482a43b5aa49408039e46545.png_pic_center]  
![在这里插入图片描述][ea86d88e708946d78736bcccf7694e59.png_pic_center]  
![在这里插入图片描述][f20808038ffd4b99bec30dea29d24f0f.png_pic_center]  
![在这里插入图片描述][42ac78d6f2b9469f8865cd3925e359cd.png_pic_center]  
![在这里插入图片描述][1244210f6e0d46a08ebe9e68ce4fb767.png_pic_center]  
![在这里插入图片描述][e13ec51f86244c63bc16f7ee91d11978.png_pic_center]  
![在这里插入图片描述][ff89ae2f88a644d68297605596c13e47.png_pic_center]  
![在这里插入图片描述][efc3319b041444679e4771b158e23acc.png_pic_center]

[cdd7484a8f544f58b1f2fe8b419602d0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/9f334e587fd94168a4f9a7c00e29b54f.png
[77efe0841a354baf9ceaf9a62ad384b3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/5c9e4573dcfa4e70b3f776a0f38a9360.png
[362b84dff32d4350857a0fe4720ccd16.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/67509db041c44238be653dbcfe834e0a.png
[dfbc6bd30f8844c29775bf4363f896f6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/826499d4699645a6bc6775e6a72e0cdd.png
[fe8be2072d7546dea467972396971d5f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/07b5e716ccf14c86aa2779278e3bdcae.png
[4af5955186f44ec19301b10e366c8ed1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a8f1ec70039942cc918d6f985d4f45fe.png
[7344fee5294e44169fb598a461bf2106.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/94769aad34b0411f9e12aa450c81fb39.png
[65d253ab6e124066a6319aff2f6955d6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b0cbe63045f24419a46284c1d27e2e2f.png
[39ebf5594dd34f31ace9e5c74ec17081.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/6e911d9139d84e8ba3490a9f1075e52e.png
[5514bdbb9e40420c9d6d01603bbc0e33.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/cd8e7eaefc58427287c59b171fc19c59.png
[28419b76294447b48348d92a0ce7274d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2389a86db50e45df9c255776a881bc89.png
[56dfcfba1d6e4ed2b0c2de14439c188b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d8c2a7b3c667481d86439d9a67fd3eae.png
[40907b72ee4647a38f37f16a7ed346d7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d6045e4aae034ed5a30e00f89a305e68.png
[30a9946b87194cd2a22f39db3a73dff4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/57694a6cb1d34d61b993eede2b3bb098.png
[be8c9a6fee24445296d35bc25757262c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c6d53b58dd1c44ec8b57d60f1933087d.png
[e6ad2eda3bc54644831d030a42ef58f6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/23b1bd9b4f814f75aceaeb9a0f240d76.png
[c58882ac47854782ba4e121f0fce30ed.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/9cef1418812e4505b6f4d97b028c5cd5.png
[d335527d0c9d470a9fba675ba08a54ed.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c1064d40f4c648fcb114c53419e37353.png
[cff8532c482a43b5aa49408039e46545.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/5ad09b6e94b84053aa66970ada49c478.png
[ea86d88e708946d78736bcccf7694e59.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/5e2d711ebc1b4791b65838196476aec7.png
[f20808038ffd4b99bec30dea29d24f0f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f10a7dffb54f4a88b6321241fb329c38.png
[42ac78d6f2b9469f8865cd3925e359cd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a1bab16485cc48a99c7426588d93c8a3.png
[1244210f6e0d46a08ebe9e68ce4fb767.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/9f8d4a4f18e04231a69ade517b0e1208.png
[e13ec51f86244c63bc16f7ee91d11978.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/7d2f2863eb30470c90afa1a564b9eca7.png
[ff89ae2f88a644d68297605596c13e47.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f0f0ef06bba54942ba4dd55bb790ba74.png
[efc3319b041444679e4771b158e23acc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2ae47af5be564920afc0ec809b8e6b9d.png