deeplab v3+ multi scales 代码解析

深碍√TFBOYSˉ_ 2024-04-20 08:24 75阅读 0赞

multi scale能够大大增加识别率,简单直白的说就是将图片resize，然后预测。

只能在eval时使用，所以不需要训练

可用范围： \[0.5, 0.75, 1.0, 1.25, 1.5, 1.75\] ，定义在eval。py中

# Change to [0.5, 0.75, 1.0, 1.25, 1.5, 1.75] for multi-scale test.
    flags.DEFINE_multi_float('eval_scales', [0.25,0.5,1.75],
                             'The scales to resize images for evaluation.')

官方使用

全部 \[0.5, 0.75, 1.0, 1.25, 1.5, 1.75\] 阔怕，真的是有设备啊，哭，我给出尺度以及图片大小对照表，原始图片大小是513,513，3：

1.75：（897,897，3）

1.5： （769,769，3）

1.25： （641,641，3）

具体处理代码肯定是在model。py里面。

eval.py(main)->model.py(predict\_labels\_multi\_scale)

# model.py: #

predict\_labels\_multi\_scale->multi\_scale\_logits

1.  在predict\_labels\_multi\_scale中，对每个scale都利用multi\_scale\_logit进行多尺度预测，返回的是放缩后的预测logit，比如，21类，原始图像513\*513, logit.shape=(?,129,129,21).
2.  对该logit的bilinear放缩，到原始大小
3.  收集得到的所有不同尺度input的相同大小logit到list outputs\_to\_predictions当中。
4.  需要注意的是这里还有flip的选择问题，目前**如果不主动使用**\--add\_flipped\_images=True的话，是不会主动进行flip的

# 细看代码 #

for i, image_scale in enumerate(eval_scales):
        with tf.variable_scope(tf.get_variable_scope(), reuse=True if i else None):
          outputs_to_scales_to_logits = multi_scale_logits(
              images,
              model_options=model_options,
              image_pyramid=[image_scale],
              is_training=False,
              fine_tune_batch_norm=False)

可以看出来，这里是逐个处理scale的。传递近multi\_scale\_logits里面的是单一的数值比如0.25.

原始图片的放缩在model.multi\_scale\_logits里，使用bilinear进行放缩：

if image_scale != 1.0:
          scaled_height = scale_dimension(crop_height, image_scale)
          scaled_width = scale_dimension(crop_width, image_scale)
          scaled_crop_size = [scaled_height, scaled_width]
          scaled_images = _resize_bilinear(images, scaled_crop_size, images.dtype)
         
          if model_options.crop_size:
            scaled_images.set_shape(
                [None, scaled_height, scaled_width, num_channels])
      
          # Adjust image_pooling_crop_size accordingly.
          scaled_image_pooling_crop_size = None
          if model_options.image_pooling_crop_size:
            scaled_image_pooling_crop_size = [
                scale_dimension(image_pooling_crop_height, image_scale),
                scale_dimension(image_pooling_crop_width, image_scale)]

image_pooling_crop_size会被赋值成 scaled_image_pooling_crop_size，目前是None

放缩后的图片经过model.\_get\_logit后，将会得到相应尺度的特征图，比如0.25对应的是(?,129,129,channels)的特征图。

然后回到model.predict\_labels\_multi\_scale使用\_resize\_bilinear进行放缩回原来的尺寸：

for output in sorted(outputs_to_logits):
    
          outputs_to_logits[output] = _resize_bilinear(
              outputs_to_logits[output], [logits_height, logits_width],
              outputs_to_logits[output].dtype)

之后都存储在scales\_to\_logits 这是个list，熟悉的[append][]

for output in sorted(outputs_to_scales_to_logits):
          scales_to_logits = outputs_to_scales_to_logits[output]
          logits = _resize_bilinear(
              scales_to_logits[MERGED_LOGITS_SCOPE],
              tf.shape(images)[1:3],
              scales_to_logits[MERGED_LOGITS_SCOPE].dtype)
          outputs_to_predictions[output].append(
              tf.expand_dims(tf.nn.softmax(logits), 4))

在累积了大量tensor之后其实也不多，将他们concatenate：

for output in sorted(outputs_to_predictions):
        predictions = outputs_to_predictions[output]
        # Compute average prediction across different scales and flipped images.
        predictions = tf.reduce_mean(tf.concat(predictions, 4), axis=4)
        outputs_to_predictions[output] = tf.argmax(predictions, 3)

然后给出预测。

[append]: https://blog.csdn.net/u013249853/article/details/100528523