Tensorflow的变量管理

ゝ一世哀愁。 2022-06-06 14:16 174阅读 0赞

## Tensorflow中常见的变量初始化函数 ##

<table> 
 <thead> 
  <tr> 
   <th>初始化函数</th> 
   <th>功能</th> 
   <th>主要参数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>tf.constant_initializer</td> 
   <td>将变量初始化为给定的常量</td> 
   <td>常量的取值</td> 
  </tr> 
  <tr> 
   <td>tf.random_normal_initializer</td> 
   <td>将变量初始化为满足正态分布的随机值</td> 
   <td>正态分布的均值和标准差</td> 
  </tr> 
  <tr> 
   <td>tf.truncated_normal_initializer</td> 
   <td>将变量初始化为满足正态分布的随机值，但如果随机出来的值偏离平均值超过2个标准差，那么这个数将会被重新随机</td> 
   <td>正态分布的均值和标准差</td> 
  </tr> 
  <tr> 
   <td>tf.random_uniform_initializer</td> 
   <td>将变量初始化为满足平均分布的随机值</td> 
   <td>最大，最小值</td> 
  </tr> 
  <tr> 
   <td>tf.uniform_unit_scaling_initializer</td> 
   <td>将变量初始化为满足平均分布但不影响输出量级的随机值</td> 
   <td>factor(产生随机值时乘以的系数)</td> 
  </tr> 
  <tr> 
   <td>tf.zero_initializer</td> 
   <td>将变量设置为0</td> 
   <td>变量维度</td> 
  </tr> 
  <tr> 
   <td>tf.ones_initializer</td> 
   <td>将变量设置为1</td> 
   <td>变量维度</td> 
  </tr> 
 </tbody> 
</table>

--------------------

## 使用tf.variable\_scope函数来控制tf.get\_variable函数获取已经创建的函数 ##

#在名字为foo的命名空间内创建名字为v的变量
    with tf.variable_scope("foo"):
        v = tf.get_variable("v", [1], initializer=tf.constant_initializer(1.0))
    
    ''' 命名空间foo中已经存在变量v，所以下面的代码将会报错:Variable foo/v already exitst,disallowed.Did you mean to set reuse=True in VarScope? '''              
    #with tf.variable_scope("foo"):
       # v = tf.get_variable("v", [1])
    
    #在生成上下文管理器时，将参数reuse 设置为True.这样tf.get_variable 函数将直接获取已经声明的变量 
    with tf.variable_scope("foo", reuse=True):
        v1 = tf.get_variable("v", [1])
    print v == v1   #输出为True,代表v,v1代表的是相同的TensorFlow 中变量。
    
    ''' 将参数reuse 设置为True 时，tf.variable_scope 将只能获取已经创建过的变量。因为在命名空间bar 中还没有创建变量v，所以下面的代码将会报错:Variable foo/v not exitst,disallowed.Did you mean to set reuse=None in VarScope? '''
    #with tf.variable_scope("bar", reuse=True):
       # v = tf.get_variable("v", [1])

#### *上面的样例简单地说明了通过tf.variable\_scope 函数可以控制tf.get\_variable函数的语义。当tf.variable\_scope 函数使用参数reuse=True 生成上下文管理器时，这个上下文管理器内所有的tf.get\_variable 函数会直接获取已经创建的变量。如果变量不存在，则tf.get\_variable函数将报错; 相反，如果tf.variabe\_scope 函数使用参数reuse=None 或者reuse=False 创建上下文管理器，tf.get\_variable 操作将创建新的变量。如果同名的变量已经存在，则tf.get\_variable函数将报错。TensorFlow 中tf.variable\_scope函数是可以嵌套的。下面的程序说明了当tf.variable\_scope函数嵌套时，reuse参数的取值是如何确定的。* ####

with tf.variable_scope("root"):
    #可以通过tf.variable_scope()函数来获取当前上下文管理器中reuse参数的取值
    
        print tf.get_variable_scope().reuse#输出False，即最外层reuse为False。
    
        #新建一个嵌套的上下文管理器，并指定reuse 为True。
        with tf.variable_scope("foo", reuse=True):
    
            print tf.get_variable_scope().reuse
    
            #新建一个嵌套的上下文管理器但不指定reuse,这时reuse的取值会和外面一层保持一致。 
            with tf.variable_scope("bar"):
                print tf.get_variable_scope().reuse#输出True。
    
        print tf.get_variable_scope().reuse
        #输出False。退出reuse 设置为True 的上下文之后的值又回到了False。

#### *tf.variable\_scope函数生成的上下文管理器也会创建个TensorFlow中的命名空间，在命名空间内创建的变量名称都会带上这个命名空间名作为前级缀。所以，tf.variable\_scope函数除了可以控制tf.get\_variable执行的功能之外，这个函数也提供了一个管理变量命名空间的方式。以下代码显示了如何通过tf.variable\_scope来管理变量的名称。* ####

v1 = tf.get_variable("v", [1])
    print v1.name#输出v:0"v" 为变量的名称，“:0”表示这个变量是生成变量这个运算的第一个结果。
    
    with tf.variable_scope("foo",reuse=True):
        v2 = tf.get_variable("v", [1])
    print v2.name#输出foo/v:O.在tf.variabie_scope中创建的变量，名称前面会加入命名空间的名称，并通过/来分隔命名空间的名称和变量的名称。
    
    with tf.variable_scope("foo"):
        with tf.variable_scope("bar"):
            v3 = tf.get_variable("v", [1])
            print v3.name#输出foo/bar 'v :0。命名空间可以嵌套，同时变量的名称也会加入所有命名空间的名称作为前缀。
    
    v4 = tf.get_variable("v1", [1])
    print v4.name#输出foo/v1:0。当命名空间退出之后，变量名称也就不会再被加入其前缀了。
    
    #创建一个名称为空的命名空间，并设置为reuse=True
    with tf.variable_scope("",reuse=True):
        v5 = tf.get_variable("foo/bar/v", [1])
        ''' 可以直接通过带命名空间名称的变量名来获取其他命名空 间下的变量。比如这里通过指定名称foo/bar/v来获取在命名空间foo/bar/中创建的变量。 '''
    
    
    
        print v5 == v3   #输出True。
        v6 = tf.get_variable("v1", [1])     
        print v6 == v4   #输出True.