【从零开始学Mask RCNN】二，Mask RCNN框架整体把握

电玩女神 2023-02-18 12:58 28阅读 0赞

# 1. 前言 #

这一节将从代码库里面的`demo.ipynb`笔记本入手，来整体理解一下Mask RCNN的网络架构。

# 2. Mask RCNN总览 #

下面的Figure1展示了这个工程中Mask RCNN的网络结构示意图，来自博主**叠加态的猫**：

![Mask RCNN总览，来自叠加态的猫博主][Mask RCNN]

这个结构图里面包含了很多细节，我们先大概理一下，后面在源码详解中会更详细的说明：

*  首先是BackBone，可以看到原始图片输入后首先经过一个以ResNet101为基础的FPN特征金字塔网络进行特征的提取，并且可以发现这里的实现和原始的FPN不完全相同，它在up-down的特征上又做了一次 3 × 3 3\\times 3 3×3卷积进行了进一步的特征提取。
 *  接下来各个FPN层的特征单独进到了RPN处理层，即根据Anchor的数目信息确定候选区域的分类（前景和背景）和粗定位结果。这部分的结果用`rpn_class`和`rpn_bbox`来表示：

rpn_class：[batch, num_rois, 2]
    rpn_bbox：[batch, num_rois, (dy, dx, log(dh), log(dw))]

*  获得了大量的候选区域之后，就可以将其送入Proposal筛选部分了，首先会根据前景得分对候选框排序，然后结合配置文件中指定的保留框数目来确定哪些框需要保留，为后面的NMS（非极大值抑制）做准备。再利用RPN的回归结果来修正Anchors，需要注意的是这里的anchors都是归一化后的这就意味着修正之后还需要做边界限制以防止越界。最后做一个NMS，删减太多的话直接补上 \[ 0 , 0 , 0 , 0 \] \[0,0,0,0\] \[0,0,0,0\]以达到配置文件要求的候选框数目即可。最终，这部分的输出为`rpn_rois`：

rpn_rois：[IMAGES_PER_GPU, num_rois, (y1, x1, y2, x2)]

*  接下来根据候选框的实际大小（归一化的候选框需要映射回原图大小）为候选框选择合适的RPN特征层，再利用ROI Align处理得到我们最终需要的大小相等一系列子图。
 *  再对这些子图进行独立的分类和回归，获得的结果为`mrcnn_class`和`mrcnn_bbox(偏移量)`：

mrcnn_class: [batch, num_rois, NUM_CLASSES] classifier probabilities
    mrcnn_bbox(deltas): [batch, num_rois, NUM_CLASSES, (dy, dx, log(dh), log(dw))]

*  最后，在分类回归之后使用回归结果对候选框进行修正，然后重新进行FPN特征层选择和ROI Align特征提取，最后送入Mask分支，进行Mask生成。

总的来说，最后网络会输出以下的张量：

# num_anchors,    每张图片上生成的锚框数量
    # num_rois,       每张图片上由锚框筛选出的推荐区数量，
    # #               由 POST_NMS_ROIS_TRAINING 或 POST_NMS_ROIS_INFERENCE 规定
    # num_detections, 每张图片上最终检测输出框，
    # #               由 DETECTION_MAX_INSTANCES 规定
    
    # detections,     [batch, num_detections, (y1, x1, y2, x2, class_id, score)]
    # mrcnn_class,    [batch, num_rois, NUM_CLASSES] classifier probabilities
    # mrcnn_bbox,     [batch, num_rois, NUM_CLASSES, (dy, dx, log(dh), log(dw))]
    # mrcnn_mask,     [batch, num_detections, MASK_POOL_SIZE, MASK_POOL_SIZE, NUM_CLASSES]
    # rpn_rois,       [batch, num_rois, (y1, x1, y2, x2, class_id, score)]
    # rpn_class,      [batch, num_anchors, 2]
    # rpn_bbox        [batch, num_anchors, 4]

# 3. 代码理解 #

## 3.1 基础设置 ##

首先导入需要用到的包，然后设置COCO数据集相关文件所在的根目录，加载模型的路径以及执行检测的图片路径，代码如下：

import os
    import sys
    import random
    import math
    import numpy as np
    import skimage.io
    import matplotlib
    import matplotlib.pyplot as plt
    
    # Root directory of the project
    ROOT_DIR = os.path.abspath("../")
    
    # Import Mask RCNN
    sys.path.append(ROOT_DIR)  # To find local version of the library
    from mrcnn import utils
    import mrcnn.model as modellib
    from mrcnn import visualize
    # 导入COCO数据集的配置
    # 当我们导入一个模块时：import  xxx，默认情况下python解析器会搜索当前目录、已安# 装的内置模块和第三方模块，搜索路径存放在sys模块的path中.
    sys.path.append(os.path.join(ROOT_DIR, "samples/coco/"))  # To find local version
    import coco
    # 使用%matplotlib命令可以将matplotlib的图表直接嵌入到Notebook之中,或者使用指定# 的界面库显示图表,它有一个参数指定matplotlib图表的显示方式
    %matplotlib inline 
    
    # Directory to save logs and trained model
    MODEL_DIR = os.path.join(ROOT_DIR, "logs")
    
    # Local path to trained weights file
    COCO_MODEL_PATH = os.path.join(ROOT_DIR, "mask_rcnn_coco.h5")
    # Download COCO trained weights from Releases if needed
    if not os.path.exists(COCO_MODEL_PATH):
        utils.download_trained_weights(COCO_MODEL_PATH)
    
    # Directory of images to run detection on
    IMAGE_DIR = os.path.join(ROOT_DIR, "images")

## 3.2 网络配置 ##

接下来需要进行配置设定，新定义了一个Class名为`InferenceConfig`继承了`coco.CocoConfig`类，在`demo.ipynb`中我们直接使用COCO的预训练模型所以使用它的设置就可以了。又因为我们这里需要检测的是单张图片，所以需要重写几个配置参数，具体如下：

# 父类继承了Config类，目的就是记录配置，并在其基础上添加了几个新的属性
    class InferenceConfig(coco.CocoConfig):
        # Set batch size to 1 since we'll be running inference on
        # one image at a time. Batch size = GPU_COUNT * IMAGES_PER_GPU
        GPU_COUNT = 1
        IMAGES_PER_GPU = 1
    
    config = InferenceConfig()
    config.display()

再打印出配置看一下：

Configurations:
    BACKBONE_SHAPES                [[256 256]
     [128 128]
     [ 64  64]
     [ 32  32]
     [ 16  16]]
    BACKBONE_STRIDES               [4, 8, 16, 32, 64]
    BATCH_SIZE                     1
    BBOX_STD_DEV                   [ 0.1  0.1  0.2  0.2]
    DETECTION_MAX_INSTANCES        100
    DETECTION_MIN_CONFIDENCE       0.5
    DETECTION_NMS_THRESHOLD        0.3
    GPU_COUNT                      1
    IMAGES_PER_GPU                 1
    IMAGE_MAX_DIM                  1024
    IMAGE_MIN_DIM                  800
    IMAGE_PADDING                  True
    IMAGE_SHAPE                    [1024 1024    3]
    LEARNING_MOMENTUM              0.9
    LEARNING_RATE                  0.002
    MASK_POOL_SIZE                 14
    MASK_SHAPE                     [28, 28]
    MAX_GT_INSTANCES               100
    MEAN_PIXEL                     [ 123.7  116.8  103.9]
    MINI_MASK_SHAPE                (56, 56)
    NAME                           coco
    NUM_CLASSES                    81
    POOL_SIZE                      7
    POST_NMS_ROIS_INFERENCE        1000
    POST_NMS_ROIS_TRAINING         2000
    ROI_POSITIVE_RATIO             0.33
    RPN_ANCHOR_RATIOS              [0.5, 1, 2]
    RPN_ANCHOR_SCALES              (32, 64, 128, 256, 512)
    RPN_ANCHOR_STRIDE              2
    RPN_BBOX_STD_DEV               [ 0.1  0.1  0.2  0.2]
    RPN_TRAIN_ANCHORS_PER_IMAGE    256
    STEPS_PER_EPOCH                1000
    TRAIN_ROIS_PER_IMAGE           128
    USE_MINI_MASK                  True
    USE_RPN_ROIS                   True
    VALIDATION_STEPS               50
    WEIGHT_DECAY                   0.0001

## 3.3 模型初始化 ##

接下来初始化模型，然后载入预训练参数文件，代码如下：

# 创建前向推理的模型对象
    model = modellib.MaskRCNN(mode="inference", model_dir=MODEL_DIR, config=config)
    
    # 加载在MS-COCO数据集上训练的模型权重
    model.load_weights(COCO_MODEL_PATH, by_name=True)

注意，这里模型设置为了**inference** 模式。然后下面定义了以下COCO的每个类别的目标的名字，太长了这里就不贴了，可以自己查看代码。

## 3.4 检测单张图片 ##

接下来就是加载单张图片，调用模型的`detect`方法，即可输出结果，最后使用辅助方法可视化结果，代码如下：

# Load a random image from the images folder
    file_names = next(os.walk(IMAGE_DIR))[2]
    image = skimage.io.imread(os.path.join(IMAGE_DIR, random.choice(file_names)))
    
    # Run detection
    results = model.detect([image], verbose=1)
    
    # Visualize results
    r = results[0]
    visualize.display_instances(image, r['rois'], r['masks'], r['class_ids'], 
                                class_names, r['scores'])

获得的结果图展示：

![示意图的实例分割结果][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70]

# 4. 小结 #

这一节讲了一些这个项目中Mask RCNN的整体架构，再通过`demo.ipynb`展示了如何加载一个COCO数据集上预训练的模型预测一张示意图片并将结果可视化出来。下一节，我们将从网络结构看起，逐渐深入到项目的细节中。

# 5. 参考 #

*  https://www.cnblogs.com/hellcat/p/9789879.html

--------------------

欢迎关注GiantPandaCV, 在这里你将看到独家的深度学习分享，坚持原创，每天分享我们学习到的新鲜知识。( • ̀ω•́ )✧

有对文章相关的问题，或者想要加入交流群，欢迎添加BBuf微信：

![二维码][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70 1]  
为了方便读者获取资料以及我们公众号的作者发布一些Github工程的更新，我们成立了一个QQ群，二维码如下，感兴趣可以加入。

![公众号QQ交流群][QQ]

[Mask RCNN]: https://img-blog.csdnimg.cn/20200621221258853.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200621224330570.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200110234905879.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA==,size_16,color_FFFFFF,t_70
[QQ]: https://img-blog.csdnimg.cn/20200517190745584.png#pic_center