Tensorflow学习笔记-模型保存与加载

不念不忘少年蓝@ 2021-11-30 00:20 443阅读 0赞

保存模型时，文件格式有两种，ckpt和pb格式，这两种格式的模型区别是什么呢？首先看一下英文的解释。并且我们的学习中也要养成看英文文档的习惯，其一：老外写的东西通俗易懂，其二，在翻译时，每个人的英文理解不同，原汁原味的道理就没有了。

> The .ckpt is the model given by tensorflow which includes all the  
> weights/parameters in the model. The .pb file stores the  
> computational graph. To make tensorflow work we need both the graph  
> and the parameters. There are two ways to get the graph:  
> (1) use the python program that builds it in the first place  
> ([tensorflowNetworkFunctions.py][]).  
> (2) Use a .pb file (which would have to be generated by [tensorflowNetworkFunctions.py][]). .ckpt file is were  
> all the intelligence is.

使用Tensorflow训练好模型之后，我们需要将训练好的模型保存起来，方便以后的使用，这就是Tensorflow模型的持久化。

## 保存 ##

Tensorflow的模型保存时有几点需要注意：  
　　1、利用tf.train.write\_graph()默认情况下只导出了网络的定义（没有权重weight）。  
　　2、利用tf.train.Saver().save()导出的文件graph\_def与权重是分离的，就像上述英文的描述。  
　　我们知道，graph\_def文件中没有包含网络中的Variable值（通常情况存储了权重），但是却包含了constant值，所以如果我们能把Variable转换为constant，即可达到使用一个文件同时存储网络架构与权重的目标

v1 = tf.Variable(tf.constant(1,shape = [1]),name='v1')
    v2 = tf.Variable(tf.constant(2,shape = [1]),name='v2')
    result = v1 + v2
    saver = tf.train.Saver()
    with tf.Session() as sess:
        tf.global_variables_initializer().run()
        print(sess.run(x))
        print(sess.run(y))
        print(sess.run(result))
        saver.save(sess,'model/model.ckpt')

模型保存后，在model目录将会有三个文件。在Tensorflow版本0.11之前，这三个文件为：meta、ckpt、checkpopint，它们保存的内容如下：

*  model.ckpt.meta保存计算图的结构，即神经网络的结构
 *  checkpoint保存一个目录下所有的模型文件列表。
 *  ckpt 保存程序中每一个变量的取值。

在Tensorflow版本0.11之后，有四个文件分别为：meta、.data、.index、checkpoint。其中.data文件为模型中的训练变量。

## 模型加载 ##

模型加载包含两种方式，它们的区分以是否含有计算图上的所有运算。

## 包含所有运算 ##

v1 = tf.Variable(tf.constant(1,shape = [1]),name='v1')
    v2 = tf.Variable(tf.constant(2,shape = [1]),name='v2')
    result = v1 + v2
    saver = tf.train.Saver()
    with tf.Session() as sess:
        saver.restore(sess,'model/model.ckpt')
        print(sess.run(v1+v2))

这种方法加载模型时和保存模型时的代码基本上是一致的，唯一不同的就是没有变量的初始化过程。  
　　模型加载的时候，如果某个变量没有被加载，则系统将会报错。我们可否使用已经定义好的其它变量来加载呢？当然是可以了，因为Tensorflow是支持的，这需要通过字典的形式来完成，将模型中的变量名重名为我们已经定好的其它变量名。

v1 = tf.Variable(tf.constant(1,shape = [1]),name='v1')
    v2 = tf.Variable(tf.constant(2,shape = [1]),name='v2')
    result = v1 + v2
    # 通过字典将变量重命名
    saver = tf.train.Saver(
        {'x':v1,'y':v2})
    with tf.Session() as sess:
       saver.restore(sess,'model/model.ckpt')
       out = tf.get_default_graph().get_tensor_by_name('add:0')
       print(sess.run(out))

使用变量的滑动平均值的模型保存与加载详见：[http://blog.csdn.net/lovelyaiq/article/details/78647850][http_blog.csdn.net_lovelyaiq_article_details_78647850]

## 不包含所有运算 ##

saver = tf.train.import_meta_graph('model/model.ckpt.meta')
    with tf.Session() as sess:
        save.restore(sess,'model/model.ckpt')
        #获取节点名称
        result = tf.get_default_graph().get_tensor_by_name("add:0")
        print(sess.run(result))

## Saver类 ##

模型的加载与保存都使用到Saver类，该类的初始化参数为：

def __init__(self,
                   var_list=None,
                   reshape=False,
                   sharded=False,
                   max_to_keep=5,
                   keep_checkpoint_every_n_hours=10000.0,
                   name=None,
                   restore_sequentially=False,
                   saver_def=None,
                   builder=None,
                   defer_build=False,
                   allow_empty=False,
                   write_version=saver_pb2.SaverDef.V2,
                   pad_step_number=False,
                   save_relative_paths=False,
                   filename=None):

这里面主要用到的参数:

*  max\_to\_keep：保存checkpoint文件的最大数量，默认值为5.
 *  keep\_checkpoint\_every\_n\_hours：经过多长时间后，只保留一个checkpoint文件，这是方便验证模型训练多长时间后的性能。默认值为10000.0。

而tf.train.save的参数为：

def save(self,
               sess,
               save_path,
               global_step=None,
               latest_filename=None,
               meta_graph_suffix="meta",
               write_meta_graph=True,
               write_state=True):

使用global\_step和write\_meta\_graph两个参数可以很好的保存模型。

saver.save(sess, 'my_test_model',global_step=1000)
    #保存的文件为：
    #my_test_model-1000.index
    #my_test_model-1000.meta
    #my_test_model-1000.data-00000-of-00001
    #checkpoint

模型在保存的时候，计算图在第一次已经保存过，并且随着训练的进行，计算图是不会改变的，因此以后的保存，就可以使用write\_meta\_graph=True不保存计算图。

saver.save(sess, 'my-model', global_step=step,write_meta_graph=False)

tf.train.Saver()默认保存与加载计算图上所有信息。但有时我们只需要保存或加载部分信息。比如在测试或离线预测时，只需知道如何从神经网络的输入层经过前向传播到输出层即可，而不需要类似于变量的初始化、模型保存等辅助节点的信息。而且有时将变量的取值与计算图分开保存是不方便的，因此就需要借助convert\_variables\_to\_constants将计算图上所有的变量及其取值通过常量保存，这样整个计算图将会保存到一个文件中。  
　　关于convert\_variables\_to\_constants的源码定义如下：从解释中看出，当把网络完全转换为single GraphDef file，它可以删除与加载和保存变量相关的很多操作。

def convert_variables_to_constants(sess, input_graph_def, output_node_names,variable_names_whitelist=None,variable_names_blacklist=None):
      """Replaces all the variables in a graph with constants of the same values.
    
      If you have a trained graph containing Variable ops, it can be convenient to convert them all to Const ops holding the same values. This makes it possible to describe the network fully with a single GraphDef file, and allows the removal of a lot of ops related to loading and saving the variables.

程序

import tensorflow as tf
    from tensorflow.python.framework import graph_util
    
    v1 = tf.Variable(tf.constant(1,shape = [1]),name='v1')
    v2 = tf.Variable(tf.constant(2,shape = [1]),name='v2')
    result = v1 + v2
    init_op = tf.global_variables_initializer()
    with tf.Session() as sess:
        sess.run(init_op)
        # 导出计算图的GraphDef部分，只需要这一部分就可以完成从输入层到输出层的计算过程。
        graph_def = tf.get_default_graph().as_graph_def()
        # print(graph_def)
        # 在这里我们只关心"add"节点，因此其它的节点就没有必要导出。
        output_graph_def = graph_util.convert_variables_to_constants(sess,graph_def,['add'])
        # 将导出的模型保存到本地
        with tf.gfile.GFile('model/combined_model.pb','wb') as f:
            f.write(output_graph_def.SerializeToString())

导出模型的恢复：

with tf.Session() as sess:
        model_filename = 'model/combined_model.pb'
        with tf.gfile.FastGFile(model_filename,'rb') as f:
            graph_def = tf.GraphDef()
            graph_def.ParseFromString(f.read())
            # 将graph_def保存的图加入到当前默认的图
        result = tf.import_graph_def(graph_def,return_eylements=['add:0'])
        print(sess.run(result))

上述方法有一个缺点，那就是我们不能自己定义一个网络输入的placeholder接口，这是不是很蛋筒，不要着急，Tensorflow是可以满足我们的需求。

with tf.variable_scope('foo'):
            x = tf.get_variable('x',shape=[1],initializer=tf.constant_initializer(1.0))
            y = tf.get_variable('y', shape=[1], initializer=tf.constant_initializer(2.0))
        # v1 = tf.Variable(tf.constant(1.0,shape=[1]),name='v1')
        # v2 = tf.Variable(tf.constant(2.0,shape=[1]),name='v2')
        input_tensor = tf.placeholder(tf.float32,shape=[1],name='input-x')
        new_tensor = tf.placeholder(tf.float32, shape=[1], name='input-y')
        result = tf.add((x+y),input_tensor,name='sum')
        data = np.array([15], dtype=np.float32)
        init_op = tf.global_variables_initializer()
        with tf.Session() as sess:
            sess.run(init_op)
            # print(sess.run(result,feed_dict={input_tensor:data}))
            # print(sess.run(result))
            graph_def = tf.get_default_graph().as_graph_def()
            # print(graph_def)
            output_graph_def = graph_util.convert_variables_to_constants(sess,graph_def,['sum'])
            with tf.gfile.GFile('model/combined_model.pb','wb') as f:
                f.write(output_graph_def.SerializeToString())
        # 模型恢复
        with tf.Session() as sess:
            model_filename = 'model/combined_model.pb'
            with tf.gfile.FastGFile(model_filename,'rb') as f:
                graph_def = tf.GraphDef()
                graph_def.ParseFromString(f.read())
            # 使用input_map将模型中的placeholder通信映射到重新定义的placeholder。
            result1 = tf.import_graph_def(graph_def ,input_map={'input-x:0':new_tensor},return_elements=['sum:0'],name='')
            # [array([ 18.], dtype=float32)]
            print(sess.run(result1,feed_dict={new_tensor:data}))

这种模型恢复的方法在迁移学习中是常用的方法，至于什么是迁移学习，请参考博客：

[tensorflowNetworkFunctions.py]: http://tensorflowNetworkFunctions.py
[http_blog.csdn.net_lovelyaiq_article_details_78647850]: http://blog.csdn.net/lovelyaiq/article/details/78647850