tensorflow 2.0 的回调函数callbacks（TensorBoard、ModelCheckpoint）

Dear 丶 2023-07-02 08:29 11阅读 0赞

# ![20191009191333910.png][] #

# [日萌社][Link 1] #

[人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）][AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]

--------------------

[tensorflow 2.0 画出model网络模型的拓扑图][tensorflow 2.0 _model]

[tensorflow 2.0 的回调函数callbacks（TensorBoard、ModelCheckpoint）][tensorflow 2.0 _callbacks_TensorBoard_ModelCheckpoint]

[TensorBoard视觉化网络每层权重分布、视觉化网络层结构][TensorBoard]

[MSE(均方误差)、MAE(平均绝对误差)][MSE_MAE]

[from\_logits][from_logits]

[CE(Cross-Entropy)、BCE(Binary Cross-Entropy 即Sigmoid+CE)、CCE(Categorical Cross-Entropy 即Softmax+CE)][CE_Cross-Entropy_BCE_Binary Cross-Entropy _Sigmoid_CE_CCE_Categorical Cross-Entropy _Softmax_CE]

[对连续值/离散值进行预处理的两种方式（标准化/one-hot化）、反标准化/逆标准化、字符串预处理][one-hot]

[损失函数loss、指标函数metrics][loss_metrics]

[激活函数 Sigmoid、Tanh、ReLU、Softmax][Sigmoid_Tanh_ReLU_Softmax]

[Batch Normalization][]

[反向传播、梯度下降、学习率、优化器optimizers（GD、SGD、Momentum、AdaGrad、Adam）][optimizers_GD_SGD_Momentum_AdaGrad_Adam]

[权重初始化对于激活函数的选择：随机常态分布/随机正态分布初始化(标准差为0.01或1)、Xavier(Glorot)初始化、He初始化][0.01_1_Xavier_Glorot_He]

[图像增强(IA)、数据预处理][IA]

[混淆矩阵tf.math.confusion\_matrix][tf.math.confusion_matrix]

[使用预训练网络训练的两种方式：Keras Applications、TensorFlow Hub][Keras Applications_TensorFlow Hub]

--------------------

# **TensorBoard** #

Keras 中文文档 介绍 TensorBoard：https://keras.io/zh/callbacks/#tensorboard
    TensorBoard官方 介绍：https://www.tensorflow.org/tensorboard/get_started
    		    https://www.tensorflow.org/api_docs/python/tf/compat/v1/keras/callbacks/TensorBoard
     				  
    TensorBoard
    	先导入 from tensorflow import keras	
    	keras.callbacks.TensorBoard的初始化默认值如下
    	keras.callbacks.TensorBoard(log_dir='./logs', histogram_freq=0, batch_size=32, write_graph=True, 
    				 write_grads=False, write_images=False, embeddings_freq=0, embeddings_layer_names=None, 
    				 embeddings_metadata=None, embeddings_data=None, update_freq='epoch')
    	Tensorboard 基本可视化。
    	TensorBoard 是由 Tensorflow 提供的一个可视化工具。
    	这个回调函数为 Tensorboard 编写一个日志， 这样你可以可视化测试和训练的标准评估的动态图像， 
    	也可以可视化模型中不同层的激活值直方图。
    	如果你已经使用 pip 安装了 Tensorflow，你应该可以从命令行启动 Tensorflow：tensorboard --logdir=/full_path_to_your_logs
    	参数：
    		log_dir: 用来保存被 TensorBoard 分析的日志文件的文件名。
    		histogram_freq: 对于模型中各个层计算激活值和模型权重直方图的频率（训练轮数中）。 如果设置成 0 ，直方图不会被计算。
    			       对于直方图可视化的验证数据（或分离数据）一定要明确的指出。
    		write_graph: 是否在 TensorBoard 中可视化图像。 如果 write_graph 被设置为 True，日志文件会变得非常大。
    		write_grads: 是否在 TensorBoard 中可视化梯度值直方图。 histogram_freq 必须要大于 0 。
    		batch_size: 用以直方图计算的传入神经元网络输入批的大小。
    		write_images: 是否在 TensorBoard 中将模型权重以图片可视化。
    		embeddings_freq: 被选中的嵌入层会被保存的频率（在训练轮中）。
    		embeddings_layer_names: 一个列表，会被监测层的名字。 如果是 None 或空列表，那么所有的嵌入层都会被监测。
    		embeddings_metadata: 一个字典，对应层的名字到保存有这个嵌入层元数据文件的名字。 查看 详情 关于元数据的数据格式。 
    				   以防同样的元数据被用于所用的嵌入层，字符串可以被传入。
    		embeddings_data: 要嵌入在 embeddings_layer_names 指定的层的数据。 Numpy 数组（如果模型有单个输入）或 Numpy 数组列表（如果模型有多个输入）。 
    		update_freq: 'batch' 或 'epoch' 或 整数。当使用 'batch' 时，在每个 batch 之后将损失和评估值写入到 TensorBoard 中。
    			     同样的情况应用到 'epoch' 中。如果使用整数，例如 10000，这个回调会在每 10000 个样本之后将损失和评估值写入到 TensorBoard 中。
    			     注意，频繁地写入到 TensorBoard 会减缓你的训练。

import keras
    from keras import layers
    from keras.datasets import imdb
    from keras.preprocessing import sequence
     
    #作为特征的单词个数，原文为max_features = 2000 
    #在这么多单词之后截断文本（这些单词都属于前 max_features个最常见的单词），原文为max_len = 500
    max_features = 200
    max_len = 50 
    
    (x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features)
    x_train = sequence.pad_sequences(x_train, maxlen=max_len)
    x_test = sequence.pad_sequences(x_test, maxlen=max_len)
    model = keras.models.Sequential()
    
    model.add(layers.Embedding(max_features, 128, input_length=max_len, name='embed'))
    model.add(layers.Conv1D(32, 7, activation='relu'))
    model.add(layers.MaxPooling1D(5))
    model.add(layers.Conv1D(32, 7, activation='relu'))
    model.add(layers.GlobalMaxPooling1D())
    model.add(layers.Dense(1))
    model.summary()
     
    model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc'])
    
    # 使用spyder运行的话， my_log_dir目录 实际为 C:\Users\Administrator\.spyder-py3\my_log_dir
    # 原文中使用了 embeddings_freq=1 会报错 ValueError: To visualize embeddings, embeddings_data must be provided 
    # 解决方式：去掉 embeddings_freq=1 或者加上 embeddings_data = x_train[:100].astype("float32")
    tensorboard_callback  = [
     keras.callbacks.TensorBoard(
     log_dir='my_log_dir',  	#日志文件将被写入这个位置
     histogram_freq=1,	#每一轮之后记录激活直方图
     embeddings_freq=1,     	#每一轮之后记录嵌入数据
     embeddings_data = x_train[:100].astype("float32")
     )
    ]
    
    history = model.fit(x=x_train, y=y_train,
     epochs=5, 
     batch_size=128,
     validation_data=(x_test, y_test), 
     callbacks=tensorboard_callback )
    
    
    #在C:\Users\Administrator\.spyder-py3 目录下，shift+右键 打开命令窗口执行 tensorboard --logdir=my_log_dir
    #浏览器打开 http://xxx:6006（在命令窗口的最后一行中写明了 TensorBoard 1.9.0 at http://xxx:6006）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

--------------------

# **ModelCheckpoint、TensorBoard 示例** #

keras.callbacks.ModelCheckpoint 用于存储训练好的网络模型及其权重到本地文件
    	from tensorflow import keras
    	modelcheckpoint_dir='./modelcheckpointlogs'
    	#1.ModelCheckpoint回调函数：存储训练好的网络模型到本地文件。
    	#2.monitor表示要监测的loss值/指标值。
    	#  monitor监测的loss值：fit训练完成后返回的history中包含的为'loss'、'val_loss'，可以设置为monitor='loss'、monitor='val_loss'。
    	#  monitor监测的指标值：
    	#	1.如果回归问题(预测一个连续值)，指标函数metrics设置的是MAE（keras.metrics.MeanAbsoluteError()）的话，
    	#	  fit训练完成后返回的history中包含的为'mean_absolute_error'、 'val_mean_absolute_error'，
    	#	  可以设置为monitor='mean_absolute_error'、monitor='val_mean_absolute_error'。
    	#	2.如果二分类问题，指标函数metrics设置的是（keras.metrics.BinaryAccuracy()）的话，
    	#	  fit训练完成后返回的history中包含的为'binary_accuracy'、 'val_binary_accuracy'，
    	#	  可以设置为monitor='binary_accuracy'、monitor='val_binary_accuracy'。 
    	#	3.如果多分类问题，指标函数metrics设置的是（keras.metrics.CategoricalAccuracy()）的话，
    	#	  fit训练完成后返回的history中包含的为'categorical_accuracy'、 'val_categorical_accuracy'，
    	#	  可以设置为monitor='categorical_accuracy'、monitor='val_categorical_accuracy'。
    	#3.mode='max/min'：
    	#	1.如果monitor设置的为'MAE指标值'等error形式的指标值的话，那么应使用mode='min'，代表所监测的该error形式的指标值要越小越好。
    	#	2.如果monitor设置的为'BinaryAccuracy/CategoricalAccuracy指标值'等accuracy形式的指标值的话，那么应使用mode='max'，
    	#	  代表所监测的该accuracy形式的指标值要越大越好。
    	#4.save_best_only=True：表示只存储最好的网络模型权重。
    	modelcheckpoint_callback = keras.callbacks.ModelCheckpoint(modelcheckpoint_dir,
    							     monitor='error/accuracy指标值', save_best_only=True,
    							     mode='max/min')
    	#TensorBoard回调函数。histogram_freq设置为1，代表每训练一个epoch，各层的网络权重分布都会被记录下来，
    	#并可以使用DISTRIBUTIONS和HISTOGRAMS两个视觉化功能查看权重分布的变化。
    	tensorboard_callback = keras.callbacks.TensorBoard(log_dir='./logs', histogram_freq=1)
    	#fit训练时传入ModelCheckpoint、TensorBoard回调函数
    	history = model.fit(x=x_train, y=y_train, epochs=5, batch_size=128, validation_data=(x_test, y_test), 
    			  callbacks=[tensorboard_callback, modelcheckpoint_callback] )

metrics 是 sparse_categorical_crossentropy，则ModelCheckpoint中的第一个路劲字符串信息中和monitor参数中都需要用val_sparse_categorical_crossentropy
    metrics 是 acc，则ModelCheckpoint中的第一个路劲字符串信息中和monitor参数中都需要用val_acc
    metrics 是 accuracy，则ModelCheckpoint中的第一个路劲字符串信息中和monitor参数中都需要用val_accuracy

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70][]

[20191009191333910.png]: https://img-blog.csdnimg.cn/20191009191333910.png
[Link 1]: http://www.rimengshe.com/
[AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]: https://blog.csdn.net/zimiao552147572/article/details/88867161
[tensorflow 2.0 _model]: https://azusa.blog.csdn.net/article/details/104092884
[tensorflow 2.0 _callbacks_TensorBoard_ModelCheckpoint]: https://azusa.blog.csdn.net/article/details/104100362
[TensorBoard]: https://azusa.blog.csdn.net/article/details/104132982
[MSE_MAE]: https://azusa.blog.csdn.net/article/details/104094483
[from_logits]: https://azusa.blog.csdn.net/article/details/104095436
[CE_Cross-Entropy_BCE_Binary Cross-Entropy _Sigmoid_CE_CCE_Categorical Cross-Entropy _Softmax_CE]: https://azusa.blog.csdn.net/article/details/104095759
[one-hot]: https://azusa.blog.csdn.net/article/details/104099669
[loss_metrics]: https://azusa.blog.csdn.net/article/details/104099800
[Sigmoid_Tanh_ReLU_Softmax]: https://azusa.blog.csdn.net/article/details/104108314
[Batch Normalization]: https://azusa.blog.csdn.net/article/details/104115714
[optimizers_GD_SGD_Momentum_AdaGrad_Adam]: https://azusa.blog.csdn.net/article/details/104106429
[0.01_1_Xavier_Glorot_He]: https://azusa.blog.csdn.net/article/details/104110857
[IA]: https://azusa.blog.csdn.net/article/details/104114416
[tf.math.confusion_matrix]: https://azusa.blog.csdn.net/article/details/104125078
[Keras Applications_TensorFlow Hub]: https://azusa.blog.csdn.net/article/details/104134536
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200128161449403.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200321203159768.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70