毕业设计之—基于CNN的手势识别技术研究与游戏应用实现

超、凢脫俗 2022-08-28 02:55 169阅读 0赞

# 1.摘要 #

手势操作作为一种全新的操作方式，在智能设备中得到了广泛应用。传统的手势识别方法需要复杂的预处理过程，识 别速度与准确度比较差。文章提出一种基于CNN的手势识别技术，取得了较好的识别效果，识别速度也有明显的提升。最后我们将本文设计实现的手势识别技术应用到玩Chrome 浏览器 Dino Jump 游戏上，将“Punch（冲拳手势）”手势与 Dino 角色的跳跃动作绑定在一起进行玩向前跳跃游戏。

# 2. CNN概述 #

随着人工智能技术的快速发展，人机交互得到了极大的 丰富，从打字、触屏到语音，交互方式的发展给人们的操作 带来了便利和极佳的使用体验。近年来，手势操作得到了人 们广泛的重视，通过对用户不同手势的识别，系统能够理解 用户的意图并完成相应的操作。本文主要利用卷积神经网络 （Convolutional Neural Network，CNN）较强的容错性与鲁 棒性，提出了一种新的手势识别技术，实现了较好的手势识 别性能。

神经网络是一种利用仿生学原理，模仿大脑神经突触的 信息处理过程而建立的网络模型。CNN是一种局部激活的 前馈型神经网络，具有局部感受野、权值共享与降采样三大 基本特征。典型的CNN主要由输入层、输出层、卷积层、池 化层以及全连接层组成，其典型网络结果如图所示。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCx5piv5rGC5YWz5rOo_size_20_color_FFFFFF_t_70_g_se_x_16][]

通过图可以看出，当待处理图像传入输入层后，需要经 过若干个卷积层与池化层的处理，通过若干个全连接层得 到最终的输出结果。在卷积层通过滤波掩膜对图像进行卷 积操作，能够实现图像局部特征的提取，CNN局部感受野 的特征得到了体现。同时在同一卷积层中掩膜的参数保持一 致，体现了CNN权值共享的特征。经过卷积层的处理，图像 提取的特征进入池化层进行降采样以减少后续数据的处理 量，最大值池化是最常用的池化方式。通过上述处理，将提 取的图像特征拉伸为特征向量，再经过若干全连接层后，即 可实现图像特征的较好分类识别。 CNN主要包括各卷积层的掩膜参数、层与层间的传递 权值等。这些参数需要利用大量的训练数据进行优化调节， 一般采用误差反向传递传播的方法，将误差反向进行传递， 并根据误差逐层调节模型参数，最终达到较好的分类识别 性能。 CNN的复杂网络结果、大规模的可设置参数赋予其较 强的容错能力与鲁棒性。一方面对图像特征的提取具备平 移、旋转及尺度不变性，使得训练好的CNN模型能够较好 地适应不同场景的识别问题。另一方面CNN模型在训练中的 调参过程耗时较长，一旦训练完成，其识别过程十分迅速， 极大增强了CNN的实用价值。

# 3.模型设计 #

代码实现：

model = Sequential()
    model.add(Conv2D(nb_filters, (nb_conv, nb_conv), padding='valid', input_shape=(img_channels, img_rows, img_cols)))
    convout1 = Activation('relu')
    model.add(convout1)
    model.add(Conv2D(nb_filters, (nb_conv, nb_conv)))
    convout2 = Activation('relu')
    model.add(convout2)
    model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
    model.add(Dropout(0.5))
    model.add(Flatten())
    model.add(Dense(128))
    model.add(Activation('relu'))
    model.add(Dropout(0.5))
    model.add(Dense(nb_classes))
    model.add(Activation('softmax'))

模型结构：

_________________________________________________________________
    Layer (type)                 Output Shape              Param #   
    =================================================================
    conv2d_1 (Conv2D)            (None, 32, 198, 198)      320       
    _________________________________________________________________
    activation_1 (Activation)    (None, 32, 198, 198)      0         
    _________________________________________________________________
    conv2d_2 (Conv2D)            (None, 32, 196, 196)      9248      
    _________________________________________________________________
    activation_2 (Activation)    (None, 32, 196, 196)      0         
    _________________________________________________________________
    max_pooling2d_1 (MaxPooling2 (None, 32, 98, 98)        0         
    _________________________________________________________________
    dropout_1 (Dropout)          (None, 32, 98, 98)        0         
    _________________________________________________________________
    flatten_1 (Flatten)          (None, 307328)            0         
    _________________________________________________________________
    dense_1 (Dense)              (None, 128)               39338112  
    _________________________________________________________________
    activation_3 (Activation)    (None, 128)               0         
    _________________________________________________________________
    dropout_2 (Dropout)          (None, 128)               0         
    _________________________________________________________________
    dense_2 (Dense)              (None, 5)                 645       
    _________________________________________________________________
    activation_4 (Activation)    (None, 5)                 0         
    =================================================================

# 4.实验结果分析 #

## 4.1 数据来源 ##

本文采用：

*  OK
 *  PEACE
 *  STOP
 *  PUNCH
 *  NOTHING (即当没有输入上述手势时)

其数据展示如下：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCx5piv5rGC5YWz5rOo_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

## 4.2 模型训练 ##

手势图像的预处理： 在实际应用中，手势图像通常只占全部图像的一小部分， 为了排除无关图像对手势识别可能造成的影响，需要对图像 进行简单的预处理，主要包括手势区域的检测、分割与二值 化操作。首先在较大尺度下，通过对人体躯干等结构的识别 并在彩色图像中检测手势所在区域；其次利用图像分割，将 手势区域分割出来；然后将得到的手势区域利用自适应阈值 对图像进行二值化操作，并将背景区域置0，手势区域置1； 最后再将手势区域平移至图像中心，并将图像规范为统一大 小，作为神经网络的输入。

选择5类手势作为训练对象，每类收拾选择 1 000张手势图片，其中每次迭代训练随机选择900张 作为训 练样本，另外100张作为测试样本，共计迭代15次，得到最终 的CNN模型。

## 4.3 结果分析与展示 ##

CNN模型训练完成后，利用数据集中已选取的测试样 本对模型的识别性能进行测试，得到5种手势的识别结果， 结果如图所示。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCx5piv5rGC5YWz5rOo_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCx5piv5rGC5YWz5rOo_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

<table style="width:469px;"> 
 <tbody> 
  <tr> 
   <td style="width:90px;"></td> 
   <td style="width:103px;">OK</td> 
   <td style="width:91px;">PEACE</td> 
   <td style="width:81px;">STOP</td> 
   <td style="width:101px;">PUNCH</td> 
   <td style="width:101px;">NOTHING</td> 
  </tr> 
  <tr> 
   <td style="width:90px;">识别率</td> 
   <td style="width:103px;">100%&nbsp;</td> 
   <td style="width:91px;">100%&nbsp;</td> 
   <td style="width:81px;">92.18%&nbsp;</td> 
   <td style="width:101px;">93.67%&nbsp;</td> 
   <td style="width:101px;">100%</td> 
  </tr> 
 </tbody> 
</table>

总体来看，本文提出的基于CNN 的手势识别方法取得了较好的识别效果。

# 5.应用实现 #

在 电脑上没有安装任何游戏下，我们将尝试 Chrome 浏览器 Dino Jump 游戏。因此，本文将“Punch”手势与 Dino 角色的跳跃动作绑定在一起，实现控制玩这个游戏。实现结果如下：

![33206ca75dd44c95999021d8832d5874.gif][]

![46d840e799f7441f8e84373e44e9aca6.gif][] 玩Dino Jump 游戏

6.总结

针对传统手势识别方法所存在的弊端，本文设计了针对 手势识别方法的CNN结构，并利用手势数据集实现了网络 模型的训练与参数的调节，通过实验的结果可以证明该方法的识别准确率较高，最后在 玩Chrome 浏览器 Dino Jump 的游戏上显示该研究在实际生活中具有较强的应用价值。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCx5piv5rGC5YWz5rOo_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/c29e724c615e41eea776c57d51b06a77.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCx5piv5rGC5YWz5rOo_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/ecb36dfd7bbb413e95ddabf1ac71b21c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCx5piv5rGC5YWz5rOo_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/900e6e7d61694eed9f853a1a04bdb9e3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCx5piv5rGC5YWz5rOo_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/e1256beee45f4a14a27fd23585bd4752.png
[33206ca75dd44c95999021d8832d5874.gif]: /images/20220828/25b1c7f4a5924344a0b4689dcd17b3ef.png
[46d840e799f7441f8e84373e44e9aca6.gif]: /images/20220828/ca961e4d65f2451ea770533f5bd4efec.png