基于PaddlePaddle和EasyDL平台的智慧课堂实时监测系统

冷不防 2024-04-06 12:15 36阅读 0赞

基于PaddlePaddle的智慧课堂实时监测系统  
目录  
1项目简介 1  
2硬件环境 1  
3软件环境 2  
4模型详解 3  
4.1EasyDL 平台模型 3  
4.2YOLOv3 目标检测 4  
4.3训练 5  
4.4RestNet 图像分类 6  
4.5数据集 6  
5使用说明 11  
6总监控界面 13  
6.1实时监控界面 15  
6.2课程回看列表 16  
6.3课程回看 17

1项目简介  
本项目基于 PaddlePaddle 和 EasyDL 平台，以教务处和学工为一级用户，高校教师为二级用户，针对提升整体课堂教学质量为目的开发的一款实时课堂监测系统。  
本项目主要监测课堂的出勤人数、学生的上课状态、教师的语速、情感，以及语言的用词方面。项目中语音的模型均采用 EasyDL 平台进行训练，调用在线 API 进行预测分析。而图像模型由于在线 API 无法达到实时性的要求，采用本地训练 Paddle 模型库中的模型并使用。  
2硬件环境  
CPU：Intel 酷睿 I7-7700 四核 8 线程  
内存：三星 DDR4 16G  
GPU：NVIDIA GTX1070 8G  
3软件环境  
OS： Windows 10  
IDE：PyCharm 2019.2.4  
FFmpeg（需要加入环境变量）  
Python 3.7  
CUDA10 CUDNN7.3  
Python 依赖  
baidu\_aip2.2.18.0  
jieba0.39  
opencv\_python4.1.1.26  
requests2.22.0  
PyMySQL0.9.3  
paddlepaddle\_gpu1.6.0.post107  
numpy1.16.5  
Pillow6.2.0  
PyQt5==5.10.1  
4模型详解  
4.1EasyDL 平台模型  
EasyDL 平台的快速训练和快速上线是目前人工智能开发进程中的一大亮点，能够作为项目中的一个在线 API 进行快速调用。但是在线调用非常受网速限制，对于图片这种体积较大的文件则更加耗时，在实时性方面有待提高。但是本地部署需要企业帐号，对于一部分开发者来说无法实现。如果能将模型下载到本地进行类似 SDK 的方式调用，将会更好。

import os
    import sys
    
    import pymysql
    from PyQt5.QtWidgets import QApplication
    
    from model.Classification.classification import Classification
    from model.Detection.detection import Detection
    from view.LogView import View_Log
    from view.MainView import View_Main
    
    # 教室人数检测
    Detection().get_instance()
    # 人物状态分类
    Classification().get_instance()
    
    
    def log2main(log, main):
        username = log.lineEdit_username.text()
        password = log.lineEdit_password.text()
        conn = pymysql.connect(host='rm-bp16979l63az3x58ato.mysql.rds.aliyuncs.com',
                               port=3306,
                               user='paddle',
                               password='Paddle2019',
                               db='edu_watching')
        cursor = conn.cursor()
        sql = 'select * from user where username = %s'
        cursor.execute(sql, [username])
        one = cursor.fetchone()
        if one is None or one[1] != password:
            return
    
        main.show()
        log.close()
    
    
    if __name__ == '__main__':
        os.environ['FLAGS_eager_delete_tensor_gb'] = str(0)
        app = QApplication(sys.argv)
        view_log = View_Log()
        # 效果展示需要，直接进入实时监控页面
        # view_log.show()
        view_main = View_Main()
        # view_log.pushButton_login.clicked.connect(lambda: log2main(view_log, view_main))
        view_main.show()
        sys.exit(app.exec_())

![在这里插入图片描述][96023a1be4a549f0ae9e7caf467ebcf2.jpeg_pic_center]  
![在这里插入图片描述][a528eae555d542dea79c1b2741d17a5c.jpeg_pic_center]  
![在这里插入图片描述][a1a4d6c0b2ae4a1b9d01a0f4b13cc7ff.jpeg_pic_center]  
![在这里插入图片描述][0cea9a3db81a46a2a87d313586f2fd7d.jpeg_pic_center]  
![在这里插入图片描述][9a6a093157084036a284ea101c534b09.jpeg_pic_center]  
![在这里插入图片描述][0012f7deb4554676a601a79fd125fc7f.jpeg_pic_center]  
![在这里插入图片描述][cbe0247447e54b278ccc803e180d2d30.jpeg_pic_center]  
![在这里插入图片描述][259bffd78ecf42d5a9ab124f9fe3c578.jpeg_pic_center]  
![在这里插入图片描述][bd619261857d4760bf93a8fa9733bbd8.png_pic_center]  
![在这里插入图片描述][f3f5d89163b74bb18cdf7ec7e744dcc3.jpeg_pic_center]  
![在这里插入图片描述][63311aa935c7437c8ae332a32fd6465b.png_pic_center]  
![在这里插入图片描述][c980125c9ba84b6cb3277dedde3e72f2.png_pic_center]  
![在这里插入图片描述][2b189dc6bd35489c9a41854f830290b6.png_pic_center]  
![在这里插入图片描述][2866a6e5f1484c8c8c660bc5ad1a9199.jpeg_pic_center]  
![在这里插入图片描述][18d3e22d989a4f6b8cd1b0fb73d5dd50.png_pic_center]  
![在这里插入图片描述][91ff20c381134b37abf1de2f6748c03a.jpeg_pic_center]  
![在这里插入图片描述][a8ce0f78313146519d419c55c0f94c06.jpeg_pic_center]  
![在这里插入图片描述][cf94919f95ea4ee4844151aae4b4d415.png_pic_center]  
![在这里插入图片描述][2663e288eeac49f2bbc1e9c232502e99.jpeg_pic_center]

[96023a1be4a549f0ae9e7caf467ebcf2.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/63f6066bbf514565a059ceab4ee6f411.jpeg
[a528eae555d542dea79c1b2741d17a5c.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/4447c56c2ce8476b8180559f8edae55c.jpeg
[a1a4d6c0b2ae4a1b9d01a0f4b13cc7ff.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a6b9a7a5d9284b68b465a919074ff6b2.jpeg
[0cea9a3db81a46a2a87d313586f2fd7d.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/47fd7480f0e94e9894927078cc463b9c.jpeg
[9a6a093157084036a284ea101c534b09.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a0615b3ebc9c4792a55e01798f1005a2.jpeg
[0012f7deb4554676a601a79fd125fc7f.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/85993b17384f4fcbb96e5be044520398.jpeg
[cbe0247447e54b278ccc803e180d2d30.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/e65a7918f2084639b5f666488d6f664e.jpeg
[259bffd78ecf42d5a9ab124f9fe3c578.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c807b73e5c414ed9b6984d67f50e1cd7.jpeg
[bd619261857d4760bf93a8fa9733bbd8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/3fc1a0af8092439f8dcf10f458571599.png
[f3f5d89163b74bb18cdf7ec7e744dcc3.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c68b8cc54c5948778cb29dc565b62b39.jpeg
[63311aa935c7437c8ae332a32fd6465b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/253bdd724e354b08aed1cec222cfa3a7.png
[c980125c9ba84b6cb3277dedde3e72f2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/69d86e23ac8a4a358c3f596603d11ec4.png
[2b189dc6bd35489c9a41854f830290b6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/e005654d2db24c60bdc15edf9fcf305d.png
[2866a6e5f1484c8c8c660bc5ad1a9199.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c3bddd9e441e44a0a39dbbbce145b736.jpeg
[18d3e22d989a4f6b8cd1b0fb73d5dd50.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/6cd698c9166c41eaa415f173f09a5390.png
[91ff20c381134b37abf1de2f6748c03a.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c0b082923aec49018a9d6314c6c18670.jpeg
[a8ce0f78313146519d419c55c0f94c06.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/24cb803815f54f60aeba4329660e3c77.jpeg
[cf94919f95ea4ee4844151aae4b4d415.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/162e89b631834996a0ac2ee85361f029.png
[2663e288eeac49f2bbc1e9c232502e99.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a0f81fb48652424c9b672f98afc78c73.jpeg