Tensorflow笔记：神经网络的参数，神经网络的搭建，神经网络的前向传播

绝地灬酷狼 2021-12-12 05:17 490阅读 0赞

**一、神经网络的参数 **  
**神经网络的参数**：是指神经元线上的权重 w，用变量表示，一般会先随机生成 这些参数。生成参数的方法是让w等于tf.Variable，把生成的方式写在括号里。

神经网络中常用的生成随机数/数组的函数有：

tf.random_normal()            生成正态分布随机数 
    tf.truncated_normal()         生成去掉过大偏离点的正态分布随机数 
    tf.random_uniform()           生成均匀分布随机数 
    tf.zeros                      表示生成全 0 数组        
    tf.ones                       表示生成全 1 数组       
    tf.fill                       表示生成全定值数组     
    tf.constant                  表示生成直接给定值的数组

举例   
① **w=tf.Variable(tf.random\_normal(\[2,3\],stddev=2, mean=0, seed=1))**，表示生成正态分布随机数，形状两行三列，标准差是 2，均值是 0，随机种子是 1。

② **w=tf.Variable(tf.Truncated\_normal(\[2,3\],stddev=2, mean=0, seed=1))**，表示去掉偏离过大的正态分布，也就是如果随机出来的数据偏离平均值超过两个标准差，这个数据将重新生成。

③ **w=random\_uniform(shape=7,minval=0,maxval=1,dtype=tf.int32，seed=1)**,表示从一个均匀分布\[minval maxval)中随机采样，注意定义域是左闭右开，即包含 minval，不包含 maxval。

④ 除了生成随机数，还可以生成常量。tf.zeros(\[3,2\],int32)表示生成\[\[0,0\],\[0,0\],\[0,0\]\]；tf.ones(\[3,2\],int32)表示生成\[\[1,1\],\[1,1\],\[1,1\]；  
tf.fill(\[3,2\],6)表示生成\[\[6,6\],\[6,6\],\[6,6\]\]；tf.constant(\[3,2,1\])表示生成\[3,2,1\]。

注意：①随机种子如果去掉每次生成的随机数将不一致。   
②如果没有特殊要求标准差、均值、随机种子是可以不写的。

--------------------

**二、神经网络的搭建 **  
当我们知道张量、计算图、会话和参数后，我们可以讨论神经网络的实现过程了。    
**神经网络的实现过程： **  
1、准备数据集，提取特征，作为输入喂给神经网络（Neural Network，NN）   
2、搭建 NN 结构，从输入到输出（先搭建计算图，再用会话执行）   
（ NN 前向传播算法  ————>    计算输出）   
3、大量特征数据喂给 NN，迭代优化 NN 参数   
  （ NN 反向传播算法    ————>     优化参数训练模型）   
4、使用训练好的模型预测和分类

由此可见，基于神经网络的机器学习主要分为两个过程，即训练过程和使用过程。  训练过程是第一步、第二步、第三步的循环迭代，使用过程是第四步，一旦参数优化完成就可以固定这些参数，实现特定应用了。 很多实际应用中，我们会先使用现有的成熟网络结构，喂入新的数据，训练相应模型，判断是否能对喂入的从未见过的新数据作出正确响应，再适当更改网络结构，反复迭代，让机器自动训练参数找出最优结构和参数，以固定专用模型。

--------------------

√前向传播就是搭建模型的计算过程，让模型具有推理能力，可以针对一组输入  
给出相应的输出。   
举例   
假如生产一批零件，体积为 x1，重量为 x2，体积和重量就是我们选择的特征，  
把它们喂入神经网络，当体积和重量这组数据走过神经网络后会得到一个输出。  
   
假如输入的特征值是：体积 0.7  重量 0.5

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzYzOTI5_size_16_color_FFFFFF_t_70][]

由搭建的神经网络可得，隐藏层节点 a11=x1\* w11+x2\*w21=0.14+0.15=0.29，同理算得节点 a12=0.32，a13=0.38，最终计算得到输出层 Y=-0.015，这便实现了前向传播过程。   
**推导：**    
第一层  X 是输入为 1X2 矩阵 , 用 x 表示输入，是一个 1 行 2 列矩阵，表示一次输入一组特征，这组特征包含了 体积和重量两个元素。   
√W 前节点编号，后节点编号(层数) 为待优化的参数 对于第一层的 w 前面有两个节点，后面有三个节点 w 应该是个两行三列矩阵，我们这样表示：

![20190710122442320.png][]

√神经网络共有几层（或当前是第几层网络）都是指的计算层，输入不是计算层，  
所以 a 为第一层网络，a 是一个一行三列矩阵。   
我们这样表示：   
a(1)=\[a11, a12, a13\]=XW(1)

第二层   
√参数要满足前面三个节点，后面一个节点，所以 W(2) 是三行一列矩阵。   
我们这样表示 :

![20190710122544907.png][]

我们把每层输入乘以线上的权重 w，这样用矩阵乘法可以计算出输出 y 了。

a= tf.matmul(X, W1) 
    y= tf.matmul(a, W2)

由于需要计算结果，就要用 with 结构实现，所有变量初始化过程、计算过程都要放到 sess.run 函数中。对于变量初始化，我们在 sess.run 中写入tf.global\_variables\_initializer 实现对所有变量初始化，也就是赋初值。对于计算图中的运算，我们直接把运算节点填入 sess.run 即可，比如要计算输出y，直接写 sess.run(y) 即可。   
在实际应用中，我们可以一次喂入一组或多组输入，让神经网络计算输出 y，可以先用 tf.placeholder 给输入占位。如果一次喂一组数据 shape 的第一维位置写 1，第二维位置看有几个输入特征；如果一次想喂多组数据，shape 的第一维位置可以写 None 表示先空着，第二维位置写有几个输入特征。这样在 feed\_dict 中可以喂入若干组体积重量了。

**前向传播过程的 tensorflow 描述： **  
变量初始化、计算图节点运算都要用会话（with 结构）实现

with tf.Session() as sess: 
         sess.run()

**变量初始化**：在 sess.run 函数中用 tf.global\_variables\_initializer()汇总所有待优化变量。

init_op = tf.global_variables_initializer() 
     sess.run(init_op)

**计算图节点运算**：在 sess.run 函数中写入待运算的节点

sess.run(y)

**用 tf.placeholder 占位，在 sess.run 函数中用 feed\_dict 喂数据 喂一组数据： **

x = tf.placeholder(tf.float32, shape=(1, 2)) 
    sess.run(y, feed_dict={x: [[0.5,0.6]]})

**喂多组数据： **

x = tf.placeholder(tf.float32, shape=(None, 2)) 
    sess.run(y, feed_dict={x: [[0.1,0.2],[0.2,0.3],[0.3,0.4],[0.4,0.5]]})

**举例 **  
这是一个实现神经网络前向传播过程，网络可以自动推理出输出 y 的值。   
①用 placeholder 实现输入定义（sess.run 中喂入一组数据）的情况   
第一组喂体积 0.7、重量 0.5

#coding:utf-8 
    import tensorflow as tf 
    #定义输入和参数 
    x=tf.placeholder(tf.float32,shape=(1,2)) 
    w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1)) 
    w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1)) 
    #定义前向传播过程 
    a=tf.matmul(x,w1) 
    y=tf.matmul(a,w2) 
    #用会话计算结果 
    with tf.Session() as sess: 
    init_op=tf.global_variables_initializer() 
    sess.run(init_op) 
    print ”y in tf3_3.py is:\n”,sess.run(y,feed_dict={x:[[0.7,0.5]]}) 
    ②用 placeholder 实现输入定义（sess.run 中喂入多组数据）的情况 
    第一组喂体积 0.7、重量 0.5，第二组喂体积 0.2、重量 0.3，第三组喂体积 0.3 、
    重量 0.4，第四组喂体积 0.4、重量 0.5. 
    #coding:utf-8 
    import tensorflow as tf 
    #定义输入和参数 
    x=tf.placeholder(tf.float32,shape=(None,2)) 
    w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1)) 
    w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1)) 
    #定义前向传播过程 
    a=tf.matmul(x,w1) 
    y=tf.matmul(a,w2) 
    #用会话计算结果 
    with tf.Session() as sess: 
    init_op=tf.global_variables_initializer() 
    sess.run(init_op) 
    print”y in tf3_4.py is:\n”,sess.run(y,feed_dict={x:[[0.7,0.5], 
    [0.2,0.3],[0.3,0.4]，[0.4,0.5]]})

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzYzOTI5_size_16_color_FFFFFF_t_70]: /images/20211211/256fd22e7e70426f98d6ef54c266bcd1.png
[20190710122442320.png]: /images/20211211/7a94f54482c74c84acf4105c395be19e.png
[20190710122544907.png]: /images/20211211/62e9d8b90ac3428b9b0131377b2366a0.png