Tensorflow函数映射：py_func和map_fn

分手后的思念是犯贱 2021-12-15 08:43 223阅读 0赞

# tf.map\_fn #

\[[tf.map\_fn][tf.map_fn]\]：map on the list of tensors unpacked from elems on dimension 0. 接受一个函数对象，然后用该函数对象对集合（elems）中的每一个元素分别处理，

tf.map\_fn(  
    fn,  
    elems,  
    dtype=None,  
    parallel\_iterations=None,  
    back\_prop=True,  
    swap\_memory=False,  
    infer\_shape=True,  
    name=None  
)

参数解析

dtype: (optional) The output type(s) of fn. If fn returns a structure of Tensors differing from the structure of elems, then dtype is not optional and must have the same structure as the output of fn. 如果输入输出类型不一样，这个一定要加上，否则输出类型自动和输入一样，报错。  
[\-柚子皮-][-_-]

# tf.py\_func #

\[[tf.py\_func][tf.py_func]\]: Wraps a python function and uses it as a TensorFlow op. 用来将 一个 python 函数打包成一个 op。

Note: 杯具的是，如果在estimator，如predict阶段使用py\_func，它是不能在后续server中使用的。即export\_saved\_model后，在predictor.from\_saved\_model时会出错，说ValueError: callback pyfunc\_0 is not found，即estimator不会将py\_func拉进静态图中？这时只能放弃py\_func，类似下面示例中的解决方案2了。

Tensorflow还是有不足的地方。第一体现在Tensorflow的数据机制，由于tensor只是占位符，在没有用tf.Session().run接口填充值之前是没有实际值的。因此，在网络搭建的时候，是不能对tensor进行判值操作的，即不能插入if...else...之类的代码。第二，相较于numpy array，Tensorflow中对tensor的操作接口灵活性并没有那么高，使得Tensorflow的灵活性减弱。扩展Tensorflow程序的灵活性，有一个重要的手段，就是使用tf.py\_func接口。tf.py\_func()运算符使您可以在TensorFlow图的中间运行任意Python代码。包装自定义NumPy运算符特别方便，因为没有等效的TensorFlow运算符（尚未存在）。添加tf.py\_func()是在图中使用sess.run()调用的替代方法，这样就可以使用任意python函数操作tensor了（一般的py函数不能操作tensor的，只能数值）。

tf.py\_func(  
    func,  
    inp,  
    Tout,  
    stateful=True,  
    name=None  
)

tf.py\_func的原理：首先，tf.py\_func接收的是tensor，然后将其转化为numpy array送入func函数，最后再将func函数输出的numpy array转化为tensor返回。

### 参数解析 ###

func： 一个python函数，它将一个Numpy数组组成的list作为输入，该list中的元素的数据类型和inp参数中的tf.Tensor对象的数据类型相对应，同时该函数返回一个Numpy数组组成的list或者单一的Numpy数组，其数据类型和参数Tout中的值相对应

inp: Tensor队形组成的list，即使只有一个tensor也需要使用\[tensor\]。

Tout: 该函数的返回对象的数据类型。一个tensorflow数据类型组成的list或者tuple（如\[tf.string, tf.string\]），（如果只有一个返回值，需要单独一个tensorflow数据类型，如tf.string，不要写成\[tf.string\]，这样返回时也会多一维）。

stateful:布尔值，如果该值为True，该函数应被视为与状态有关的。如果一个函数与状态无关，则相同的输入会产生相同的输出，并不会产生明显的副作用。有些优化操作如common subexpression elimination只能在与状态无关的操作中进行。

注意：

1 func函数的返回值类型一定要和Tout指定的tensor类型一致。

2 The body of the function (i.e. func) will not be serialized in a GraphDef. Therefore, you should not use this function if you need to serialize your model and restore it in a different environment. tf.py\_func中的func是脱离Graph的，在func中不能定义可训练的参数参与网络训练(反传)，或者说无法求导。

3 如果python\_func()函数有 string 参数的话，tf会把这个string参数 转换成 bytes 类型。

### 函数示例 ###

（可能可以使用np解决）一个不好的地方是，如果返回多个数据，有n个数据那必须指定Tout = \[tf.string\]\*n。\[[Returning mutiple values in the input function for \`tf.py\_func\`][Returning mutiple values in the input function for _tf.py_func]\]如果输入m个数据，但是Tout = \[tf.string\]\*n就会报错：InvalidArgumentError (see above for traceback): pyfunc returns m values, but expects to see n values.出现这种情况一般发生在tf batch训练时，因为最后一个batch\_size是不固定且很可能不等于指定的params\['batch\_size'\]，而且这里的n不能直接设置成输入inp.shape\[0\]，因为它不固定，也是返回一个None值，而不是实际的batch大小。

pred\_strings = tf.py\_func(mlb.inverse\_transform, \[pred\_ids\], \[tf.string\] \* params\['batch\_size'\])

pred\_strings = tf.convert\_to\_tensor(pred\_strings, dtype=tf.string)

1 一种解决方案是将tf.py\_func外加一层tf.map\_fn，这样tf.py\_func每次都只执行一个数据，Tout = tf.string就可以。

pred\_strings = tf.map\_fn(lambda x: tf.py\_func(mlb.inverse\_transform, \[tf.expand\_dims(x, 0)\], tf.string), pred\_ids, tf.string)

2 还有一种是在estimator外层的sess中执行，这样pred\_ids就不是tensor，而是数值，可以直接使用python函数操作。

from: [\-柚子皮-][-_-]

ref:

[tf.map_fn]: https://www.tensorflow.org/api_docs/python/tf/map_fn
[-_-]: https://me.csdn.net/pipisorry
[tf.py_func]: https://www.tensorflow.org/api_docs/python/tf/py_func
[Returning mutiple values in the input function for _tf.py_func]: https://stackoverflow.com/questions/49041971/returning-mutiple-values-in-the-input-function-for-tf-py-func