大迁移BiT

太过爱你忘了你带给我的痛 2023-02-18 14:12 3阅读 0赞

论文：[Big Transfer (BiT):General Visual Representation Learning][Big Transfer _BiT_General Visual Representation Learning]

Github：[https://tfhub.dev/google/collections/bit/1][https_tfhub.dev_google_collections_bit_1]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70][]

论文以ResNet-50作为基础主干网络结构，分别以3个不同的数据集进行训练得到3种family的模型结构。

BiT-S：在 ImageNet-1k (ILSRCV-2012-CLS)训练完成

BiT-M：在ImageNet-21k (Full ImageNet, Fall 2011 release)训练完成

BiT-L：在JFT-300M训练完成

在每一个family里面分别包含ResNet-50x1, ResNet-50x3, ResNet-101x1, ResNet-101x3, ResNet-152x4 共4种网络结构。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1][]

主要改进：

1.  scale，不同scale容量的模型，使用不同大小的数据集进行训练。大模型使用大的数据集，小模型使用小的数据集。充分考虑了training time, architecture size, dataset size 三者之间的关系。
2.  使用Group Normalization (GN) + Weight Standardization (WS) 替换Batch Normalization (BN) 。主要因为BN受batchsize大小的影响较大，BN中权重的跟新对于迁移学习不友好。实验证明，GN+WS的设计对于迁移学习有很大的影响。
3.  采用BiT-HyperRule 的训练策略。具体包括设置，training schedule length, resolution, whether to use MixUp regularization 等3个方面。

并且实验证明，测试阶段，略微提高测试分辨率是有精度提升的。

> Therefore, it is common to scale up the resolution by a small factor at test time

MixUp 对于训练BiT效果不大，但是对于其他模型的迁移学习是会有效果的。

> We found that MixUp \[67\] is not useful for pre-training BiT, likely due to the abundance of data. However, it is sometimes useful for transfer. Interestingly, it is most useful for mid-sized datasets, and not for few-shot transfer

实验结果：

分类任务：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2][]

BiT-L在各项任务上都取得了最好的结果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3][]

检测任务：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4][]

[Big Transfer _BiT_General Visual Representation Learning]: https://arxiv.org/abs/1912.11370
[https_tfhub.dev_google_collections_bit_1]: https://tfhub.dev/google/collections/bit/1
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200618104245538.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020061810433342.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200618104434133.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200618104502170.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200618104525167.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70