神经网络学习小记录37——Keras实现GRU与GRU参数量详解

缺乏、安全感 2023-06-30 09:25 2阅读 0赞

### 神经网络学习小记录37——Keras实现GRU与GRU参数量详解 ###

*  学习前言
 *  什么是GRU
 *   *  1、GRU单元的输入与输出
     *  2、GRU的门结构
     *  3、GRU的参数量计算
     *   *  a、更新门
         *  b、重置门
         *  c、全部参数量
 *  在Keras中实现GRU
 *   *  实现代码

# 学习前言 #

我死了我死了我死了！  
![在这里插入图片描述][20190723165901974.jpg_pic_center]

# 什么是GRU #

GRU是LSTM的一个变种。

传承了LSTM的门结构，但是将LSTM的三个门转化成两个门，分别是更新门和重置门。

## 1、GRU单元的输入与输出 ##

下图是每个GRU单元的结构。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]  
在n时刻，每个GRU单元的输入有两个：

*  当前时刻网络的输入值Xt；
 *  上一时刻GRU的输出值ht-1；

输出有一个：

*  当前时刻GRU输出值ht；

## 2、GRU的门结构 ##

GRU含有两个门结构，分别是：

更新门zt和重置门rt：

**更新门用于控制前一时刻的状态信息被代入到当前状态的程度，更新门的值越大说明前一时刻的状态信息带入越少，这一时刻的状态信息带入越多。**

**重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。**

## 3、GRU的参数量计算 ##

### a、更新门 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 1]  
更新门在图中的标号为zt，需要结合ht-1和Xt来决定上一时刻的输出ht-1有多少得到保留，**更新门的值越大说明前一时刻的状态信息保留越少，这一时刻的状态信息保留越多。**

结合公式我们可以知道：![在这里插入图片描述][20200116214405729.png_pic_center]  
zt由ht-1和Xt来决定。  
![在这里插入图片描述][20200116214525201.png_pic_center]  
当更新门zt的值较大的时候，上一时刻的输出ht-1保留较少，而这一时刻的状态信息保留较多。

W z 的 参 数 量 = ( x d i m + h d i m ) ∗ h d i m W\_z的参数量 = (x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} Wz的参数量=(xdim\+hdim)∗hdim  
 b z 的 参 数 量 = h d i m b\_z的参数量 = h\_\{dim\} bz的参数量=hdim  
更新门的总参数量为：  
 总 参 数 量 = ( ( x d i m + h d i m ) ∗ h d i m + h d i m ) 总参数量 = ((x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} + h\_\{dim\}) 总参数量=((xdim\+hdim)∗hdim\+hdim)

### b、重置门 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 2]  
重置门在图中的标号为rt，需要结合ht-1和Xt来控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。

结合公式我们可以知道：  
![在这里插入图片描述][20200116215226963.png_pic_center]  
rt由ht-1和Xt来决定。  
![在这里插入图片描述][20200116215259273.png_pic_center]  
当重置门rt的值较小的时候，上一时刻的输出ht-1保留较少，说明忽略得越多。  
  
 W t 的 参 数 量 = ( x d i m + h d i m ) ∗ h d i m W\_t的参数量 = (x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} Wt的参数量=(xdim\+hdim)∗hdim  
 b t 的 参 数 量 = h d i m b\_t的参数量 = h\_\{dim\} bt的参数量=hdim  
 W 的 参 数 量 = ( x d i m + h d i m ) ∗ h d i m W的参数量 = (x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} W的参数量=(xdim\+hdim)∗hdim  
 b 的 参 数 量 = h d i m b的参数量 = h\_\{dim\} b的参数量=hdim  
重置门的总参数量为：  
 总 参 数 量 = 2 ∗ ( ( x d i m + h d i m ) ∗ h d i m + h d i m ) 总参数量 = 2\*((x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} + h\_\{dim\}) 总参数量=2∗((xdim\+hdim)∗hdim\+hdim)

### c、全部参数量 ###

所以所有的门总参数量为：  
 总 参 数 量 = 3 ∗ ( ( x d i m + h d i m ) ∗ h d i m + h d i m ) 总参数量 = 3\*((x\_\{dim\} + h\_\{dim\}) \* h\_\{dim\} + h\_\{dim\}) 总参数量=3∗((xdim\+hdim)∗hdim\+hdim)

# 在Keras中实现GRU #

**GRU一般需要输入两个参数。  
一个是unit、一个是input\_shape。**

LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))

**unit用于指定神经元的数量。  
input\_shape用于指定输入的shape，分别指定TIME\_STEPS和INPUT\_SIZE。**

## 实现代码 ##

import numpy as np
    from keras.models import Sequential
    from keras.layers import Input,Activation,Dense
    from keras.models import Model
    from keras.datasets import mnist
    from keras.layers.recurrent import GRU
    from keras.utils import np_utils
    from keras.optimizers import Adam
    
    TIME_STEPS = 28
    INPUT_SIZE = 28
    BATCH_SIZE = 50
    index_start = 0
    OUTPUT_SIZE = 10
    CELL_SIZE = 75
    LR = 1e-3
    
    (X_train,Y_train),(X_test,Y_test) = mnist.load_data()
     
    X_train = X_train.reshape(-1,28,28)/255
    X_test = X_test.reshape(-1,28,28)/255
    
    Y_train = np_utils.to_categorical(Y_train,num_classes= 10)
    Y_test = np_utils.to_categorical(Y_test,num_classes= 10)
    
    inputs = Input(shape=[TIME_STEPS,INPUT_SIZE])
    
    x = GRU(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))(inputs)
    x = Dense(OUTPUT_SIZE)(x)
    x = Activation("softmax")(x)
    
    model = Model(inputs,x)
    adam = Adam(LR)
    model.summary()
    model.compile(loss = 'categorical_crossentropy',optimizer = adam,metrics = ['accuracy'])
    
    for i in range(50000):
        X_batch = X_train[index_start:index_start + BATCH_SIZE,:,:]
        Y_batch = Y_train[index_start:index_start + BATCH_SIZE,:]
        index_start += BATCH_SIZE
        cost = model.train_on_batch(X_batch,Y_batch)
        if index_start >= X_train.shape[0]:
            index_start = 0
        if i%100 == 0:
            cost,accuracy = model.evaluate(X_test,Y_test,batch_size=50)
            print("accuracy:",accuracy)

实现效果：

10000/10000 [==============================] - 2s 231us/step
    accuracy: 0.16749999986961484
    10000/10000 [==============================] - 2s 206us/step
    accuracy: 0.6134000015258789
    10000/10000 [==============================] - 2s 214us/step
    accuracy: 0.7058000019192696
    10000/10000 [==============================] - 2s 209us/step
    accuracy: 0.797899999320507

[20190723165901974.jpg_pic_center]: https://img-blog.csdnimg.cn/20190723165901974.jpg#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200116213519609.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20200116215100269.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA==,size_16,color_FFFFFF,t_70#pic_center
[20200116214405729.png_pic_center]: https://img-blog.csdnimg.cn/20200116214405729.png#pic_center
[20200116214525201.png_pic_center]: https://img-blog.csdnimg.cn/20200116214525201.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20200116214850183.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA==,size_16,color_FFFFFF,t_70#pic_center
[20200116215226963.png_pic_center]: https://img-blog.csdnimg.cn/20200116215226963.png#pic_center
[20200116215259273.png_pic_center]: https://img-blog.csdnimg.cn/20200116215259273.png#pic_center