细粒度分类数据集汇总

痛定思痛。 2022-11-17 13:48 442阅读 0赞

医疗图像更多的是小样本学习，那么如何选择一个小样本数据集来针对各个算法进行比较，从而选择最好的算法，故整理了小样本学习相关的数据，也就是常用的细粒度分类数据

简单的小样本分类的每个类别的图片或者语料大致在100到600之间，很少有单类样本超过1000的情况。相对于传统的深度学习来说，传统的深度学习是“小任务，大数据”，小样本学习是“小任务，小数据”，相对来说小样本学习的挑战性还是很大的，达到商用的地步有很大的差距。

本文内容主要来自于： [https://zhuanlan.zhihu.com/p/101158631][https_zhuanlan.zhihu.com_p_101158631]

## 1、CUB-200-2011 鸟类数据集： ##

数据集地址：[http://www.vision.caltech.edu/visipedia/CUB-200-2011.html][http_www.vision.caltech.edu_visipedia_CUB-200-2011.html]

Caltech-UCSD Birds-200-2011 (CUB-200-2011) 是 CUB-200 dataset 的一个扩充版本，每个类的图像数量大约增加两倍和新的部位注释。

（1）类别数目: 200  
  
（2）图像总数目: 11,788  
  
（3）每张图片的标注信息: 15 Part Locations, 312 Binary Attributes, 1 Bounding Box

该数据集是细粒度图像分类最广泛使用的基准。该数据集涵盖了 200 种鸟类，其中包括 5994 张训练图像和 5794 张测试图像。除类别标签外，每个图像都会用 1 个边界框、15 个零件关键点和 312 个属性进行进一步注释。

## 2、Stanford Dogs Dataset 狗类数据集 ##

数据集地址：[http://vision.stanford.edu/aditya86/ImageNetDogs/][http_vision.stanford.edu_aditya86_ImageNetDogs]

斯坦福狗数据集：训练数据为 120 个品种狗狗的照片，共 10222 张。共 10357 张测试样本。它是 ImageNet 数据集的之类，可以用作细粒度分类。

相关竞赛：[https://][https]

## 3、Stanford Cars 汽车数据集 ##

数据集地址：[https://ai.stanford.edu/~jkrause/cars/car\_dataset.html][https_ai.stanford.edu_jkrause_cars_car_dataset.html]

数据集组成：包含 196 种车辆的 16,185 张照片；其中训练集 8144，测试集 8041；  
关键特征包括：车辆制造商、款式、生产日期（比如：2012 Tesla Model S）；

相关论文：[3D Object Representations for Fine-Grained Categorization][]，Jonathan Krause, Michael Stark, Jia Deng, Li Fei-Fei

[www.kaggle.com/c/dog-breed-][https]

## 4、102 Category Flower Dataset 花朵数据集： ##

数据集地址：[http://www.robots.ox.ac.uk/~vgg/data/flowers/102/index.html][http_www.robots.ox.ac.uk_vgg_data_flowers_102_index.html]

数据集由 102 类产自英国的花卉组成。每类由 40-258 张图片组成。总共 8189 张 jpg 图片

相关竞赛：[https://www.kaggle.com/wassimseifed][https_www.kaggle.com_wassimseifed]

## 5、FGVC-Aircraft Benchmark 飞机数据 ##

数据集地址：[http://www.robots.ox.ac.uk/~vgg/data/fgvc-aircraft/][http_www.robots.ox.ac.uk_vgg_data_fgvc-aircraft]

数据集包含 10,200 架飞机的图像，其中 102 种不同飞机，每一种都具有 100 张图像。数据集按照四个层级结构进行划分，从细到粗分别是：

*  Model
 *  Variant：102 个分类
 *  Family：70 个分类
 *  Manufacturer：41 个分类

相关论文：Fine-Grained Visual Classification of Aircraft [https://arxiv.org/abs/1306.5151][https_arxiv.org_abs_1306.5151]

## 6、DeepFashion 衣服服装数据集 ##

DeepFashion 是香港中文大学开放的一个 large-scale 数据集。包含 80 万张图片，包含不同角度，不同场景，买家秀，买家秀等图片。

每张图片也有非常丰富的标注信息，包括 50 种类别，1000 种属性，Bbox，特征点。

还有约 30 万的不同姿势 / 不同场景的图片 pairs。

数据集地址：[http://mmlab.ie.cuhk.edu.hk/pr][http_mmlab.ie.cuhk.edu.hk_pr]

## 7、RPC 零售商品数据集： ##

数据集地址：[https://rpc-dataset.github.io/][https_rpc-dataset.github.io]

RPC 数据集是旷视南京研究院发布了一个新零售自动结算场景下的大型商品数据集，无论商品类别（达 200）还是图像总量（达 83k）均是目前该领域之最。

相关链接：[https://zhuanlan.zhihu.com/p/55][https_zhuanlan.zhihu.com_p_55]

**实际是小样本评估集使用Omniglot和miniImageNet更多更基础，结果的可比较性会更好**

## 8、Omniglot数据集 ##

Omniglot数据集是由来自50种不同语言的1,623个手写字符构成的，每个字符都有20个不同的笔迹，这就构成了一个样本类别极多（1623种），但每种类别的样本数量极少（20个）的小样本手写字符数据集。使用中通常选择1200种字符作为训练集，剩余的423种字符作为验证集，并通过旋转90°，180°和270°进行数据集扩张，每张图片通过裁剪将尺寸统一为28\*28。  
  参考文献：Lake B, Salakhutdinov R, Gross J, et al. One shot learning of simple visual concepts\[C\]//Proceedings of the annual meeting of the cognitive science society. 2011, 33(33).

## 9、miniImageNet数据集 ##

miniImageNet数据集是从ImageNet数据集中选择了60,000张图像构成的，共100个类别，每个类别有600张图像，每幅图像的尺寸为84\*84。使用中通常选择其中80个类别的图像作为训练集，剩余的20个类别的图像作为验证集。也有的文章将其分为基础集（Base Class，64种），验证集（Validation Class，16种）和新类别集（Novel Class，20种）。  
  参考文献：Vinyals O, Blundell C, Lillicrap T, et al. Matching networks for one shot learning\[C\]//Advances in neural information processing systems. 2016: 3630-3638.

## 10、tieredImageNet ##

tieredImageNet数据集也是从ImageNet数据集中选取的，包含34个大类（Categories），每个大类有包含10-30个小类（Classes），每个类别有数量不等的多个图像样本，共计608个类别，779,165张图像（平均每个类别包含1281张图片）。34个大类可划分为训练集（20大类），验证集（6大类）和测试集（8大类），数据集划分情况如下图。

参考文献：Ren M, Triantafillou E, Ravi S, et al. Meta-learning for semi-supervised few-shot classification\[J\]. arXiv preprint arXiv:1803.00676, 2018.

## 附录 ##

1、细粒度分类数据集汇总

[https://zhuanlan.zhihu.com/p/101158631][https_zhuanlan.zhihu.com_p_101158631]

2、常用小样本数据集介绍与下载汇总

[https://blog.csdn.net/qq\_36104364/article/details/107508592][https_blog.csdn.net_qq_36104364_article_details_107508592]

3、揭秘AI 公司盈利“生意经”，竹间智能CEO简仁贤的AI产品化和工程化

[https://blog.csdn.net/weixin\_39640818/article/details/110944223][https_blog.csdn.net_weixin_39640818_article_details_110944223]

[https_zhuanlan.zhihu.com_p_101158631]: https://zhuanlan.zhihu.com/p/101158631
[http_www.vision.caltech.edu_visipedia_CUB-200-2011.html]: https://link.zhihu.com/?target=http%3A//www.vision.caltech.edu/visipedia/CUB-200-2011.html
[http_vision.stanford.edu_aditya86_ImageNetDogs]: https://link.zhihu.com/?target=http%3A//vision.stanford.edu/aditya86/ImageNetDogs/
[https]: https://link.zhihu.com/?target=https%3A//www.kaggle.com/c/dog-breed-identification
[https_ai.stanford.edu_jkrause_cars_car_dataset.html]: https://link.zhihu.com/?target=https%3A//ai.stanford.edu/~jkrause/cars/car_dataset.html
[3D Object Representations for Fine-Grained Categorization]: https://link.zhihu.com/?target=https%3A//ai.stanford.edu/~jkrause/papers/3drr13.pdf
[http_www.robots.ox.ac.uk_vgg_data_flowers_102_index.html]: https://link.zhihu.com/?target=http%3A//www.robots.ox.ac.uk/~vgg/data/flowers/102/index.html
[https_www.kaggle.com_wassimseifed]: https://link.zhihu.com/?target=https%3A//www.kaggle.com/wassimseifeddine/102flowersdataset
[http_www.robots.ox.ac.uk_vgg_data_fgvc-aircraft]: https://link.zhihu.com/?target=http%3A//www.robots.ox.ac.uk/~vgg/data/fgvc-aircraft/
[https_arxiv.org_abs_1306.5151]: https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1306.5151
[http_mmlab.ie.cuhk.edu.hk_pr]: https://link.zhihu.com/?target=http%3A//mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html
[https_rpc-dataset.github.io]: https://link.zhihu.com/?target=https%3A//rpc-dataset.github.io/
[https_zhuanlan.zhihu.com_p_55]: https://zhuanlan.zhihu.com/p/55627416
[https_blog.csdn.net_qq_36104364_article_details_107508592]: https://blog.csdn.net/qq_36104364/article/details/107508592
[https_blog.csdn.net_weixin_39640818_article_details_110944223]: https://blog.csdn.net/weixin_39640818/article/details/110944223