TensorFlow笔记：tf.get_variable，tf.Variable()，tf.variable_scope，tf.name_scope

今天药忘吃喽~ 2022-02-02 21:07 225阅读 0赞

# tf.get\_variable，tf.Variable() #

`tf.get_variable(“vname”)`在创建变量时，如果这个变量vname已经存在，直接使用这个变量，如果不存在，则重新创建；

`tf.Variable()`在创建变量时，一律创建新的变量，如果这个变量已存在，则后缀会增加0、1、2等数字编号予以区别。

import tensorflow as tf
    
    with tf.name_scope("a_name_scope"):
    initializer = tf.constant_initializer(value=1)
    var1 = tf.get_variable(name='var1', shape=[1], dtype=tf.float32, initializer=initializer)
    var2 = tf.Variable(name='var2', initial_value=[2], dtype=tf.float32)
    var21 = tf.Variable(name='var2', initial_value=[2.1], dtype=tf.float32)
    var22 = tf.Variable(name='var2', initial_value=[2.2], dtype=tf.float32)
    
    with tf.Session() as sess:
    sess.run(tf.initialize_all_variables())
    print(var1.name) # var1:0
    print(sess.run(var1)) # [ 1.]
    print(var2.name) # a_name_scope/var2:0
    print(sess.run(var2)) # [ 2.]
    print(var21.name) # a_name_scope/var2_1:0
    print(sess.run(var21)) # [ 2.0999999]
    print(var22.name) # a_name_scope/var2_2:0
    print(sess.run(var22)) # [ 2.20000005]

可以看出使用 tf.Variable() 定义变量的时候, 虽然var2, var21, var22的 name 一样, 但是为了不重复变量名, Tensorflow 为它们做了附加的区分，因为输出的变量名是不一样的. 所以, 本质上tensorflow令 var2, var21, var22 成为不一样的变量.

# tf.variable\_scope，tf.name\_scope #

`tf.name_scope()、tf.variable_scope()`是两个作用域函数，一般与两个创建/调用变量的函数tf.variable() 和tf.get\_variable()搭配使用。常用于：  
1）变量共享；2）tensorboard画流程图进行可视化封装变量。  
通俗理解就是：tf.name\_scope()、tf.variable\_scope()会在模型中开辟各自的空间，而其中的变量均在这个空间内进行管理，但是之所以有两个，主要还是有着各自的区别。

#### 变量共享 ####

name\_scope 和 variable\_scope主要用于变量共享。其中，变量共享主要涉及两个函数：tf.variable() 和tf.get\_variable()；即就是必须要在tf.variable\_scope的作用域下使用tf.get\_variable()函数。这里用tf.get\_variable( ) 而不用tf.Variable( )，是因为前者拥有一个变量检查机制，会检测已经存在的变量是否设置为共享变量，如果已经存在的变量没有设置为共享变量，TensorFlow 运行到第二个拥有相同名字的变量的时候，就会报错。  
注意，tf.variable() 和tf.get\_variable()有不同的创建变量的方式：tf.Variable() 每次都会新建变量。如果希望重用（共享）一些变量，就需要用到了get\_variable()，它会去搜索变量名，有就直接用，没有再新建。此外，为了对不同位置或者范围的共享进行区分，就引入名字域。既然用到变量名了，就涉及到了名字域的概念。这就是为什么会有scope 的概念。name\_scope 作用域操作，variable\_scope 可以通过设置reuse 标志以及初始化方式来影响域下的变量，因为想要达到变量共享的效果, 就要在 tf.variable\_scope()的作用域下使用 tf.get\_variable() 这种方式产生和提取变量. 不像 tf.Variable() 每次都会产生新的变量, tf.get\_variable() 如果遇到了已经存在名字的变量时, 它会单纯的提取这个同样名字的变量，如果不存在名字的变量再创建.

#### name scope和variable scope区别 ####

TF中有两种作用域类型：  
`命名域 (name scope)`，通过tf.name\_scope 或 tf.op\_scope创建；  
`变量域 (variable scope)，`通过tf.variable\_scope 或 tf.variable\_op\_scope创建；  
这两种作用域，对于使用tf.Variable()方式创建的变量，具有相同的效果，都会在变量名称前面加上域名称。

with tf.name_scope("my_name_scope"):
    	v1 = tf.get_variable("var1", [1], dtype=tf.float32) 
    	v2 = tf.Variable(1, name="var2", dtype=tf.float32)
    	a = tf.add(v1, v2)
    print(v1.name) # var1:0
    print(v2.name) # my_name_scope/var2:0
    print(a.name) # my_name_scope/Add:0

小结：name\_scope不会作为tf.get\_variable变量的前缀，但是会作为tf.Variable的前缀。

with tf.variable_scope("my_variable_scope"):
    	v1 = tf.get_variable("var1", [1], dtype=tf.float32)
    	v2 = tf.Variable(1, name="var2", dtype=tf.float32)
    	a = tf.add(v1, v2)
    print(v1.name) # my_variable_scope/var1:0
    print(v2.name) # my_variable_scope/var2:0
    print(a.name) # my_variable_scope/Add:0

小结：在variable\_scope的作用域下，tf.get\_variable()和tf.Variable()都加了scope\_name前缀。因此，在tf.variable\_scope的作用域下，通过get\_variable()可以使用已经创建的变量，实现了变量的共享。

# 总结： #

1、name\_scope不会作为tf.get\_variable变量的前缀，但是会作为tf.Variable的前缀。  
2、在variable\_scope的作用域下，tf.get\_variable()和tf.Variable()都加了scope\_name前缀。因此，在tf.variable\_scope的作用域下，通过get\_variable()可以使用已经创建的变量，实现了变量的共享，即可以通过get\_variable()在tf.variable\_scope设定的作用域范围内进行变量共享。  
3、在重复使用的时候, 一定要在代码中强调 scope.reuse\_variables()过tf.get\_variable()方式创建的变量，只有variable scope名称会加到变量名称前面，而name scope不会作为前缀。