人群密度估计--Point in, Box out: Beyond Counting Persons in Crowds

骑猪看日落 2021-12-21 10:25 219阅读 0赞

2019 CVPR oral

**Abstract**  
在这项工作中，我们提出了一个新的深度检测网络，只需要点监督。它可以同时检测人类头部的大小和位置，并计算人数。\[外链图片转存失败(img-1KAFkUhD-1563526004625)([http://muyaan.com/2019/04/09/CVPR-2019人群检测计数-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds/1554716469753.png][http_muyaan.com_2019_04_09_CVPR-2019_-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds_1554716469753.png])\]  
**contribution**  
创新点：  
提出新的在线伪GT更新方案，它从像素级标注，先初始化伪GT包围框，并在训练过程中迭代地更新它们。这里的初始化是基于最近的近邻头距离。

提出新的 局部约束回归损失 的点监督设置，使预测框在局部带区域具有相似的大小。损失函数是由透视失真对图像中人的大小的影响而激发的；

提出一种课程学习策略，首先对网络进行相对准确、容易的伪GT的训练图像。图像难度定义为每个图像中最近邻头距离的分布。  
**related work**  
相关工作  
1，2：基于检测，基于回归的人群技术技术  
3.点监督策略：广泛使用在人体姿态估计中的各部位关键点标注；在物体检测分割中，常用来减少标注时间。这些点可以离线收集，也可以在线交互收集。我们收集一次积分，只在训练时使用。  
**Method**  
\[外链图片转存失败(img-kGKdLEEk-1563526004626)([http://muyaan.com/2019/04/09/CVPR-2019人群检测计数-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds/1554717277234.png][http_muyaan.com_2019_04_09_CVPR-2019_-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds_1554717277234.png])\]  
模型结构见图2，是一个基于anchor的检测框架。backbone为ResNet0101的4个残差块。B3、B4残差块的特征图都会通过各自的1×1卷积进行检测，输出N×N×T×(1+4)的检测结果，anchor数量T为25，是在数据集上对人头与最近的一个的距离的聚类得到的。Pred2上采样后与Pred1相加，得到的final Pred计算分类和回归loss。

**Online ground truth updating scheme**  
初始化：已知人头中心点坐标，使用与之最近的人头的距离d(g,NNg)作为g的GTBB的尺寸，使用具有与其最接近的尺寸的anchor作为初始化，称为伪gt。密集场景伪gt更接近真实，而稀疏的适合通常过大

参数更新：根据与伪gt的IoU，将anchor分为正负样本进行训练。g0指代epoch 0时图像某个位置的gtbb。在尺寸小于d(g,NNg)的预测中，使用score最高的替代g0，作为下一个epoch的g。因为anchor设置得很密，所以能保证伪gt能逐渐被合适的预测更新（所以每个点有25个anchor）。如果g太小无法找到positive anchor时，训练中忽略它。  
分类loss 与fast rnn ，faster rcnn 一样。  
训练中使用了online hard mining strategy。

**Locally-constrained regression loss**（摘自参考博客）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][20190627162534840.png]  
**Curriculum learning**  
课程学习策略，先难后易  
为什么要用课程学习？因为数据集中稀疏的人群人头间距就大，极密集区域，间距又小。两种极端情况对训练不易。  
故按照难度把数据集分成若干个部分，做法：对训练集的所有d(g,NNg)计算均值和标准差，并利用高斯密度函数Φ(dg|μ,σ)计算伪gt框的得分（概率），尺寸适中的框会得到更高的分。计算每张图的得分1/G\*∑g∈GΦ(dg|μ,σ)，其中G为每张图的得分，则一张图片的训练难度定义为（公式6）。  
训练时，先训练简单的，跑一定的epochs后，添加进次简单的，出发反复直到跑遍所有数据集。

**Experiments**  
数据增强：随机rescale（0.5，1，1.5，2），再在这些图中 crop 500\*500 的图，作为训练样本。  
测试也采样四种尺寸并合并结果。  
lr0.0004 weight decay 0.0005 momnetun0.9  
Iou >0.7 正样本 Iou < 0.3 负样本  
batch 12 训练50epochs

消融实验，证明模型（Pv0-Pv3）的每个部分都是有效的，MAE逐渐减低。  
PSDDN + denote  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][20190627163307283.png]

参考：  
[http://muyaan.com/2019/04/09/CVPR-2019人群检测计数-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds/][http_muyaan.com_2019_04_09_CVPR-2019_-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds]

[http_muyaan.com_2019_04_09_CVPR-2019_-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds_1554716469753.png]: http://muyaan.com/2019/04/09/CVPR-2019%E4%BA%BA%E7%BE%A4%E6%A3%80%E6%B5%8B%E8%AE%A1%E6%95%B0-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds/1554716469753.png
[http_muyaan.com_2019_04_09_CVPR-2019_-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds_1554717277234.png]: http://muyaan.com/2019/04/09/CVPR-2019%E4%BA%BA%E7%BE%A4%E6%A3%80%E6%B5%8B%E8%AE%A1%E6%95%B0-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds/1554717277234.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70]: /images/20211221/3eea0e3149cd453289719de945afeffd.png
[20190627162534840.png]: /images/20211221/412b182fe0e14e23badb319a6b3e63a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 1]: /images/20211221/f32e506e518e414398cfbaccac5dfe5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 2]: /images/20211221/999e25b2eadb458097b8248f903561dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 3]: /images/20211221/073eb5703aa54bb7959978df4d9329df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 4]: /images/20211221/370753b5cfb74da296ca7d8fed450166.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 5]: /images/20211221/ad46e740c1a34c1d845f0863065098ba.png
[20190627163307283.png]: /images/20211221/7238c3bac0004e09999c4970b7c121f4.png
[http_muyaan.com_2019_04_09_CVPR-2019_-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds]: http://muyaan.com/2019/04/09/CVPR-2019%E4%BA%BA%E7%BE%A4%E6%A3%80%E6%B5%8B%E8%AE%A1%E6%95%B0-PSDDN-Point-in-Box-out-Beyond-Counting-Persons-in-Crowds/