Tensorflow 小知识点 shape get_shape() cond placeholder tf.gradients

爱被打了一巴掌 2021-09-18 22:34 370阅读 0赞

**name\_scope || variable\_scope**  
[TensorFlow入门（七） 充分理解 name / variable\_scope][TensorFlow_ _ name _ variable_scope]  
[tensorflow: 对variable\_scope进行reuse的两种方法][tensorflow_ _variable_scope_reuse]  
[TensorFlow基础：共享变量][TensorFlow]

**tf.shape (tensor) || tensor.get\_shape()**  
tensor.get\_shape() 返回的是元组，元祖是python中的类型  
tf.shape(）返回的是tensor，tensor是tensorflow中类型  
二者最大区别在于get\_shape是静态的，也就是在建图的过程中有些tensor的某些维度已经推算出来了，这时我们需要使用这些维度时，可以使用静态方法获得。tf.shape是动态的，也就是它其实是tensorflow图中一个ops，tensor的维度是在运算时获得的，典型的比如batch大小。用法：

keys_len = tf.shape(keys)[1]
    hidden_units = query.get_shape().as_list()[-1]

我们常见的问题“The last dimension of the inputs to `Dense` should be defined. Found `None`.”一般需要都是因为维度不确定导致的。需要我们使用静态方法显示说明。

**cond placeholder:**  
不要使用tf.placeholder(tf.bool, \[\], name=‘req\_type’)，生成的shape有问题。

"req_type": tf.placeholder(tf.bool, name='req_type')
    embedding = tf.cond(req_type, req_bert, req_img)

**测试梯度**  
[不要使用int变量][int]  
[如何理解TensorFlow中的IndexedSlices类？][TensorFlow_IndexedSlices]

#encoding: utf8
    import tensorflow as tf
    
    sess = tf.Session()
    
    values = tf.constant([10.0,20.0,30.0,40.0])
    ids = tf.constant([1,3])
    masks = tf.constant([False,True,False,True])
    
    # total = values * 2
    # total = tf.where(masks, values, tf.zeros_like(values))  # False处的梯度为0
    # total = tf.boolean_mask(values, masks)  # False处的梯度为0
    total = tf.nn.embedding_lookup(values,ids)   # 非索引处不回传梯度，要实现对一个tensor中部分值不回传梯度，需产生IndexedSlices类型的产出
    # total = tf.stop_gradient(total) # stop后不回传梯度
    
    total *= total
    total = tf.reduce_sum(total)
    grad = tf.gradients(total, values)
    
    print(values, grad)
    print(sess.run([total, grad]))

[TensorFlow_ _ name _ variable_scope]: https://blog.csdn.net/Jerr__y/article/details/70809528
[tensorflow_ _variable_scope_reuse]: https://blog.csdn.net/JNingWei/article/details/78124526
[TensorFlow]: https://www.jianshu.com/p/ab0d38725f88
[int]: https://github.com/tensorflow/tensorflow/issues/27378
[TensorFlow_IndexedSlices]: https://www.zhihu.com/question/277403551