TensorFlow(3)CNN中的函数

向右看齐 2022-05-15 01:13 242阅读 0赞

**tf.nn.conv2d()函数**

参数介绍：

tf.nn.conv2d(input, filter, strides, padding, use\_cudnn\_on\_gpu=None, name=None)

*  input：输入参数，具有这样的shape\[batch, in\_height, in\_width, in\_channels\]，分别是\[batch张图片, 每张图片高度为in\_height, 每张图片宽度为in\_width, 图像通道为in\_channels\].
 *  filter：滤波器，滤波器的shape为\[filter\_height, filter\_width, in\_channels, out\_channels\]，分别对应\[滤波器高度, 滤波器宽度, 接受图像的通道数, 卷积后通道数\]，其中第三个参数 in\_channels需要与input中的第四个参数 in\_channels一致.
 *  strides:代表步长，其值可以直接默认一个数，也可以是一个四维数如\[1,2,1,1\]，则其意思是水平方向卷积步长为第二个参数2，垂直方向步长为1.
 *  padding：代表填充方式，参数只有两种，SAME和VALID，SAME比VALID的填充方式多了一列，比如一个3\*3图像用2\*2的滤波器进行卷积，当步长设为2的时候，会缺少一列，则进行第二次卷积的时候，VALID发现余下的窗口不足2\*2会直接把第三列去掉，SAME则会填充一列，填充值为0.
 *  use\_cudnn\_on\_gpu：bool类型，是否使用cudnn加速，默认为true.
 *  name：给返回的tensor命名。给输出feature map起名字.

例子：

一张3\*3的图片，元素如下：

卷积核为1个2\*2的卷积，如下：

TensorFlow代码（padding为SAME）：

import tensorflow as tf
    import numpy as np
    
    g = tf.Graph()
    with g.as_default() as g:
        input = tf.Variable(np.array(range(9), dtype=np.float32).reshape(1,3,3,1))
        filter = tf.Variable(np.array(range(4), dtype=np.float32).reshape(2,2,1,1))
        op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')
    
    with tf.Session(graph=g) as sess:
        sess.run(tf.global_variables_initializer())
        a,b,c = sess.run([input, filter, op])
        print(a)
        print(b)
        print(c)

输出：

[[[[ 0.]
       [ 1.]
       [ 2.]]
    
      [[ 3.]
       [ 4.]
       [ 5.]]
    
      [[ 6.]
       [ 7.]
       [ 8.]]]]
    [[[[ 0.]]
    
      [[ 1.]]]
    
    
     [[[ 2.]]
    
      [[ 3.]]]]
    [[[[ 19.]
       [ 25.]
       [ 10.]]
    
      [[ 37.]
       [ 43.]
       [ 16.]]
    
      [[  7.]
       [  8.]
       [  0.]]]]

即卷积后的结果为：

如果padding为VALID，则输出如下：

[[[[ 0.]
       [ 1.]
       [ 2.]]
    
      [[ 3.]
       [ 4.]
       [ 5.]]
    
      [[ 6.]
       [ 7.]
       [ 8.]]]]
    [[[[ 0.]]
    
      [[ 1.]]]
    
    
     [[[ 2.]]
    
      [[ 3.]]]]
    [[[[ 19.]
       [ 25.]]
    
      [[ 37.]
       [ 43.]]]]

即卷积后的结果为：

**tf.nn.max\_pool()函数**

tf.nn.max\_pool(value, ksize, strides, padding, name=None)

参数是四个，和卷积函数很类似：

*  value：需要池化的输入，一般池化层接在卷积层后面，所以输入通常是feature map，依然是\[batch, height, width, channels\]这样的shape.
 *  ksize：池化窗口的大小，取一个四维向量，一般是\[1, height, width, 1\]，因为我们不想在batch和channels上做池化，所以这两个维度设为了1.
 *  strides：和卷积类似，窗口在每一个维度上滑动的步长，一般也是\[1, stride,stride, 1\].
 *  padding：和卷积类似，可以取’VALID’ 或者’SAME’.

返回一个Tensor，类型不变，shape仍然是\[batch, height, width, channels\]这种形式.

TensorFlow代码：

import tensorflow as tf
    import numpy as np
    
    g = tf.Graph()
    with g.as_default() as g:
        input = tf.Variable(np.array(range(9), dtype=np.float32).reshape(1,3,3,1))
        filter = tf.Variable(np.array(range(4), dtype=np.float32).reshape(2,2,1,1))
        op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')
        pool = tf.nn.max_pool(op, [1,2,2,1], [1,1,1,1], padding='SAME')
    
    with tf.Session(graph=g) as sess:
        sess.run(tf.global_variables_initializer())
        PL = sess.run(pool)
        print(PL)

输出：

[[[[ 43.]
       [ 43.]
       [ 16.]]
    
      [[ 43.]
       [ 43.]
       [ 16.]]
    
      [[  8.]
       [  8.]
       [  0.]]]]

**tf.nn.avg\_pool()**

计算方法： 计算非padding的元素的平均值

例子：

import tensorflow as tf
    import numpy as np
    
    g = tf.Graph()
    with g.as_default() as g:
        input = tf.Variable(np.array(range(9), dtype=np.float32).reshape(1,3,3,1))
        filter = tf.Variable(np.array(range(4), dtype=np.float32).reshape(2,2,1,1))
        op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')
        pool = tf.nn.avg_pool(op, [1,2,2,1], [1,1,1,1], padding='SAME')
    
    with tf.Session(graph=g) as sess:
        sess.run(tf.global_variables_initializer())
        PL = sess.run(pool)
        print(PL)

输出为：

[[[[31.  ]
       [23.5 ]
       [13.  ]]
    
      [[23.75]
       [16.75]
       [ 8.  ]]
    
      [[ 7.5 ]
       [ 4.  ]
       [ 0.  ]]]]

**tf.nn.dropout()**

tf.nn.dropout(x, keep\_prob, noise\_shape=None, seed=None, name=None)

*  x：输入参数
 *  keep\_prob：保留比例。 取值 (0,1\] 。每一个参数都将按这个比例随机变更
 *  noise\_shape：干扰形状。 此字段默认是None，表示第一个元素的操作都是独立，但是也不一定。比例：数据的形状是shape(x)=\[k, l, m, n\]，而noise\_shape=\[k, 1, 1, n\]，则第1和4列是独立保留或删除，第2和3列是要么全部保留，要么全部删除。
 *  seed：随机数种子
 *  name： 命名空间

tensorflow中的dropout就是：shape不变，使输入tensor中某些元素按照一定的概率变为0，其它没变0的元素变为原来的1/keep\_prob.

dropout层的作用： 防止神经网络的过拟合

例子：

import tensorflow as tf
    
    g = tf.Graph()
    with g.as_default() as g:
        mat = tf.Variable(tf.ones([10,10]))
        dropout_mat = tf.nn.dropout(mat, keep_prob=0.5)
    
    with tf.Session(graph=g) as sess:
        sess.run(tf.global_variables_initializer())
        output, dropout = sess.run([mat, dropout_mat])
        print(output)
        print(dropout)

输出：

[[1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]]
    [[2. 0. 0. 0. 2. 0. 2. 2. 0. 2.]
     [0. 2. 0. 0. 2. 2. 0. 0. 0. 0.]
     [2. 2. 2. 0. 0. 2. 0. 2. 0. 0.]
     [2. 0. 0. 0. 2. 2. 2. 0. 2. 0.]
     [0. 2. 2. 0. 2. 2. 2. 2. 0. 2.]
     [2. 0. 0. 0. 2. 0. 0. 2. 0. 2.]
     [2. 2. 0. 2. 2. 0. 0. 0. 2. 2.]
     [2. 0. 0. 0. 0. 2. 0. 2. 0. 0.]
     [2. 2. 0. 0. 0. 0. 0. 2. 0. 0.]
     [2. 0. 2. 2. 2. 2. 0. 2. 0. 0.]]

**tf.reshape()**

shape里最多有一个维度的值可以填写为-1，表示自动计算此维度