图像标注工具调研

╰+攻爆jí腚メ 2023-08-17 15:31 125阅读 0赞

## 工具参考链接 ##

工具参考链接里有各大工具的名字，诸位可以一个一个测试

1.  论文与标注工具合集:[awesome-semantic-segmentation\#annotation-tools][awesome-semantic-segmentation_annotation-tools]
2.  2010-2019标注工具(推荐):[Annotation tools for building datasets][]
3.  补充2:[24 Best Image Annotation Tools for Computer Vision][]

--------------------

## 数据集链接 ##

[Pascal Voc 2012][]  
[MS COCO][]  
[BDD][]  
[Mapillary Vistas][]  
[Cityscapes][]  
[KITTI][]  
[ApolloScape][]

--------------------

## 目标模型 ##

1.  前后帧标的数据可以复制或保留(要继承属性)，最好支持 等比例放大/缩小
2.  提供两种解决方案。一个是传统的 polygon 标注，另一个是类似 魔术棒 的快速选择 或 自动识别
3.  修改方便，点多的情况下，修改起来不是很容易，容易多点。解决方案：两个点之间不提供中间点，可以按Alt 增加 点。
4.  两个有重复区域的车辆，最好能共享边界，这样能提高效率
5.  源代码是否开源，可否二次开发

--------------------

## 标注工具 ##

### VGG Image Annotator (VIA) ###

一款开源的图像标注工具，由Visual Geometry Group开发。可以在线和离线使用，可标注矩形、圆、椭圆、多边形、点和线。标注完成后，可以导出为csv和json文件格式。

##### 使用： #####

【可以直接使用】  
标注网站：[VIA][]  
VIA 工具下载：[GitHub][]

##### 优点： #####

1.  网页源代码开源，可离线使用还可进行二次开发，比如增加鼠标十字线
2.  标框可以复制（可前后帧复制），同样大小可直接复制 且 继承属性，属性面板较为清晰

##### 缺点： #####

1.  多边形工具，一旦绘制完多边形无法增加锚点，只能调节点的位置

![VIA][VIA 1]

--------------------

### CVAT ###

可用来为计算机视觉算法标注视频和图像。它受到Vatic免费在线交互式视频标注工具的启发。 CVAT具有许多强大的功能：关键帧之间的边界框插值，使用TensorFlow OD API的自动标注，大多数关键操作的快捷方式，带有标注任务列表的仪表板，LDAP和基本授权等等…

##### 使用： #####

【需要部署,部署后需创建账号登录】  
【Win7、win10都部署失败，Ubuntu部署成功】  
CVAT 工具下载：[GitHub][GitHub 1]  
文档： [markdown][]  
[推荐参考][Link 1]

##### 优点： #####

1.  使用插值模式，上一帧标过的图片下一帧会保留（属性和框都保留），前后帧关联性较大的做起来会很快
2.  可以链接轨道，让同一个实例拥有相同的ID

##### 缺点： #####

1.  没有 贝塞尔曲线，只能一个一个点

![CVAT][]

--------------------

### PixelAnnotationTool ###

图像语义分割与实例分割标注神器，交互式标注算法思想是基于OpenCV中分水岭算法实现。

##### 使用： #####

【需下载使用】  
PixelAnnotationTool 工具下载：[GitHub][GitHub 2]

##### 优点： #####

1.  快捷，半自动化，类似PS蒙版，基于OpenCV中分水岭算法实现
2.  可以返回上一步

##### 缺点： #####

1.  车体颜色分布不均匀，软件无法识别
2.  如果识别出来，大概率覆盖掉周围物体，很难修改

![PixelAnnotationTool][]

--------------------

### Makesense ###

开启很快。进入网站，拖放你的图片，即可开始标注。

##### 使用： #####

【可以直接使用】  
标注网站：[Makesense ][Makesense]

##### 优点： #####

1.  修改很便利，如果是节点或中点，会放大鼠标选项，不容易误点
2.  有类似PS图层功能，能清晰显示当前框
3.  该网站不允许更改字体大小，不会让界面字体变大

##### 缺点： #####

1.  只能一个一个标，上下帧有强关联性的无法很快勾画

![Makesense][Makesense 1]

--------------------

### Supervisely ###

一款的可以多人协作标注的管理平台，可以在其中找到在单个环境中构建深度学习解决方案所需的一切。

##### 使用： #####

【可以直接使用】  
标注网站：[Supervisely ][Supervisely]  
视频：[操作指导][Link 2]

##### 优点： #####

1.  AI Mark 识别，只需要点2个点(矩形框的两个对角点)就可以生成识别区域
2.  有图层概念，每个识别区域都可以很方便修改

##### 缺点： #####

1.  车距离较远 或 两个颜色相近的车有重叠区域，需要对边缘进行处理

![Supervisely][Supervisely 1]

--------------------

### Scalabel ###

CVPR 2018，Fisher Yu,Dequan Wang 等人在发布 Deep Layer Aggregation（特征聚合体系）论文的同时 开源了这个数据标签工具 (含 BSD 许可证)。[论文下载][Link 3]

##### 使用： #####

【需要自己部署服务】  
Scalabel 工具下载：[GitHub][GitHub 3]

##### 优点： #####

1.  共享边界（Ctrl+D）
2.  链接两个单独的标注对象（Ctrl+L）
3.  提供贝塞尔曲线（C）

##### 缺点： #####

1.  没有提供快速标注
2.  点很密集的情况下，不能返回上一步（Ctrl+Z）
3.  停车时，前后帧一样，需要重复绘制

![Scalabel][]

--------------------

### Semantic-segmentation-editor ###

该工具是为自动驾驶研究开发的，但也也已用于标注其他类型的语义目标数据库。它不仅支持普通相机拍摄的2D图像（.jpg和.png文件）还支持LIDAR生成的3D点云（.pcd文件）中目标的标注。

##### 使用： #####

【可以直接下载使用】  
Semantic-segmentation-editor 工具下载：[GitHub ][GitHub 4]  
视频：[操作指导][Link 4]

##### 优点： #####

1.  类似画笔，一直按鼠标左键 或 shift 勾形即可，操作比较快。
2.  支持切割和扩展，可以修改边缘。有PS魔棒功能，
3.  支持HSB，图片不清晰可以调节

##### 缺点： #####

1.  因为可操作性比较高，学习成本有点高
2.  只能一个一个标，上下帧有强关联性的无法很快勾画

![Semantic-segmentation-editor][]

--------------------

### Labelme ###

MIT和CSAIL研发的图像标注工具，可对图像进行标注，包括多边形，矩形，线，点和图像级标注。

##### 使用： #####

【需要自己部署服务，可用Anaconda部署】  
GitHub 工具下载：[GitHub][GitHub 5]

![Labelme][]

--------------------

### 精灵标注助手（Colabeler） ###

一款免费的数据集标注软件，可扩展性插件设计，可以通过插件形式支持自定义标注。

##### 使用： #####

【可以直接下载使用】  
工具下载：[网站下载][Link 5]

针对语义分割 绘制较慢  
![Colabeler][]

--------------------

### VoTT ###

微软发布的基于WEB方式本地部署的视觉数据标注工具。

##### 使用： #####

【需要自己部署服务】  
VoTT 工具下载：[GitHub][GitHub 6]

针对语义分割 绘制较慢

![VoTT][]

--------------------

### LabelImg 和 LabelImgPlus ###

LabelImg 用Python写成，Qt是图形界面的接口。

##### 使用： #####

【可以直接下载使用】  
LabelImg 工具下载：[GitHub][GitHub 7]  
LabelImgPlus 工具下载：[GitHub][GitHub 8]

*  LabelImg 只能矩形框进行标注，无法进行语义分割
 *  labelImgPlus 有多边形工具，使用的时候出现问题

1.  界面显示位置错误问题，看不到界面，右击导航栏最大化可以解决。(电脑分辨率1980\*1080,软件左顶点位置坐标(1960,0))
2.  保存有问题，无法真正保存。做完save后，切换下一帧再返回刚做那帧，框消失，查保存目录，没有任何文件写入。无法定位原因。

![LabelImgPlus][]

--------------------

### EasyDL (百度) ###

是百度大脑推出的定制化AI训练及服务平台，支持面向各行各业有定制AI需求的企业用户及开发者使用。支持从数据管理与数据标注、模型训练、模型部署一站式AI开发流程。

##### 使用： #####

【训练模型来使用】  
[训练网址][Link 6]

百度已经有了语义分割模型，提供接口，训练出来的数据无法直接进行修改

*  步骤：

1.  创建数据集
2.  上传数据并框出目标物体（至少5个框，不方便绘制）
3.  训练模型  
    ![上传图片][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70]  
    ![标注示例][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70 1]  
    ![训练模型][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70 2]

## 其它文献 ##

### 超像素分割(superpixels segmentation) ###

超像素就是把一幅原本是像素级(pixel-level)的图，划分成区域级(district-level)的图。是一种对基本信息进行的抽象。

[环境下载][Link 7]

pip install scikit-image

代码文章：[文章][Link 8]

# import the necessary packages
    from skimage.segmentation import slic
    from skimage.segmentation import mark_boundaries
    from skimage.util import img_as_float
    from skimage import io
    import matplotlib.pyplot as plt
    import argparse
    
    # construct the argument parser and parse the arguments
    ap = argparse.ArgumentParser()
    ap.add_argument("-i", "--image", required = True, help = "Path to the image")
    args = vars(ap.parse_args())
    
    # load the image and convert it to a floating point data type
    image = img_as_float(io.imread(args["image"]))
    
    # loop over the number of segments
    for numSegments in (100, 200, 300):
    	# apply SLIC and extract (approximately) the supplied number
    	# of segments
    	segments = slic(image, n_segments = numSegments, sigma = 5)
    
    	# show the output of SLIC
    	fig = plt.figure("Superpixels -- %d segments" % (numSegments))
    	ax = fig.add_subplot(1, 1, 1)
    	ax.imshow(mark_boundaries(image, segments))
    	plt.axis("off")
    
    # show the plots
    plt.show()

论文1：[A First Derivative Potts Model for Segmentation and Denoising Using ILP][]  
论文2：[COCO-Stuff: Thing and Stuff Classes in Context][COCO-Stuff_ Thing and Stuff Classes in Context]  
![论文][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70 3]

1000 segments  
![1000 segments][]

5000 segments  
![5000 segments][]

--------------------

### PolygonRNN++ ###

采用了一种不同于像素标注的方法，而是将目标分割看做是一个多边形预测的问题（polygon prediction problem），然后基于深度学习实现“半自动化”目标事例的标注。

代码：[GitHub][GitHub 9]  
演示：[demo][]  
论文：[Efficient Interactive Annotation of Segmentation Datasets with Polygon-RNN++][Efficient Interactive Annotation of Segmentation Datasets with Polygon-RNN]

![PolygonRNN++][PolygonRNN]

--------------------

### Curve-GCN ###

Curve-GCN是一种高效交互式图像标注方法，其性能优于Polygon-RNN++。在自动模式下运行时间为29.3ms，在交互模式下运行时间为2.6ms，比Polygon-RNN ++分别快10倍和100倍。

代码：[GitHub][GitHub 10]  
论文1：[Fast Interactive Object Annotation with Curve-GCN][]

在Curve-GCN中，注释器会选择一个对象,然后选择多边形或样条轮廓。Curve-GCN自动地勾勒出对象的轮廓。  
![Curve-GCN][]  
Curve-GCN允许交互式更正,并且可以自动重新预测多边形/样条，与Polygon-RNN + +相比：

1.  Curve-GCN具有多边形或样条曲线参数
2.  Curve-GCN可同时预测控制点（更快）

### Faster RCNN ###

代码：[GitHub][GitHub 11]  
论文1：[Faster RCNN][]  
[参考文章][Link 9]  
![Faster RCNN][Faster RCNN 1]

1.  Conv layers。作为一种CNN网络目标检测方法，Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的feature maps。该feature maps被共享用于后续RPN层和全连接层
2.  Region Proposal Networks。RPN网络用于生成region proposals。该层通过softmax判断anchors属于positive或者negative，再利用bounding box regression修正anchors获得精确的proposals
3.  Roi Pooling。该层收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别
4.  Classification。利用proposal feature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的精确位置

[Sort][]  
SORT最大特点是基于Faster R-CNN的目标检测方法，并利用卡尔曼滤波算法+匈牙利算法，极大提高了多目标跟踪的速度，同时达到了SOTA的准确率

--------------------

## 数据集色号 ##

[Cityscapes][]  
![Cityscapes][Cityscapes 1]  
[KITTI][]  
![KITTI][KITTI 1]  
[ApolloScape][]  
![ApolloScape][ApolloScape 1]

## 数据颜色问题 ##

图片查看边缘有自动模糊(边缘虚化、过渡色)  
用 Win10 “照片” 和其它 部分 照片软件查看都有这样的情况  
示例如下(模糊)：  
![模糊][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70 4]

拿 Windows照片查看器(传统的)查看，则没有自动模糊(边缘虚化、过渡色)  
示例如下(清晰)：  
![清晰][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70 5]

win10默认不能选择(win7可以)Windows照片查看器，需要添加注册表(照片查看器.reg)

Windows Registry Editor Version 5.00
    
     ; Change Extension's File Type [HKEY_CURRENT_USER\Software\Classes\.jpg] @="PhotoViewer.FileAssoc.Tiff" ; Change Extension's File Type
    
     [HKEY_CURRENT_USER\Software\Classes\.jpeg]
    
     @="PhotoViewer.FileAssoc.Tiff"
    
     ; Change Extension's File Type [HKEY_CURRENT_USER\Software\Classes\.gif] @="PhotoViewer.FileAssoc.Tiff" ; Change Extension's File Type
    
     [HKEY_CURRENT_USER\Software\Classes\.png]
    
     @="PhotoViewer.FileAssoc.Tiff"
    
     ; Change Extension's File Type [HKEY_CURRENT_USER\Software\Classes\.bmp] @="PhotoViewer.FileAssoc.Tiff" ; Change Extension's File Type
    
     [HKEY_CURRENT_USER\Software\Classes\.tiff]
    
     @="PhotoViewer.FileAssoc.Tiff"
    
     ; Change Extension's File Type
    
     [HKEY_CURRENT_USER\Software\Classes\.ico]
    
     @="PhotoViewer.FileAssoc.Tiff"

--------------------

[awesome-semantic-segmentation_annotation-tools]: https://github.com/mrgloom/awesome-semantic-segmentation#annotation-tools
[Annotation tools for building datasets]: https://www.datasetlist.com/tools/
[24 Best Image Annotation Tools for Computer Vision]: https://lionbridge.ai/articles/image-annotation-tools-for-computer-vision/
[Pascal Voc 2012]: http://host.robots.ox.ac.uk/pascal/VOC/voc2012/index.html
[MS COCO]: http://cocodataset.org/#download
[BDD]: https://bdd-data.berkeley.edu/#video
[Mapillary Vistas]: https://www.mapillary.com/dataset
[Cityscapes]: https://www.cityscapes-dataset.com/dataset-overview/#features
[KITTI]: http://www.cvlibs.net/datasets/kitti/eval_instance_seg.php?benchmark=instanceSeg2015
[ApolloScape]: http://apolloscape.auto/scene.html
[VIA]: http://www.robots.ox.ac.uk/~vgg/software/via/via.html
[GitHub]: https://github.com/ox-vgg/via
[VIA 1]: /images/20230810/d1c6ef02d2bc4fba8611568dd0f8ba37.png
[GitHub 1]: https://github.com/opencv/cvat
[markdown]: https://github.com/opencv/cvat/blob/develop/cvat/apps/documentation/user_guide.md
[Link 1]: https://blog.csdn.net/cahesi/article/details/102957622
[CVAT]: /images/20230810/6d3e939ac5ad4c49a97f008bc298ef45.png
[GitHub 2]: https://github.com/abreheret/PixelAnnotationTool
[PixelAnnotationTool]: /images/20230810/d55ef5e005c040ae972da72b8cbd0bf9.png
[Makesense]: https://www.makesense.ai/
[Makesense 1]: /images/20230810/503db1c4724142239fccc3b48edc2cbb.png
[Supervisely]: https://supervise.ly/explore
[Link 2]: https://www.youtube.com/watch?v=VyUwHbqJ26g
[Supervisely 1]: /images/20230810/a28de0488e4641869c1fa541ffaab8f3.png
[Link 3]: https://arxiv.org/abs/1707.06484
[GitHub 3]: https://github.com/ucbdrive/scalabel
[Scalabel]: /images/20230810/b107621fbe0347a98fe8bc74dd386e83.png
[GitHub 4]: https://github.com/Hitachi-Automotive-And-Industry-Lab/semantic-segmentation-editor
[Link 4]: https://vimeo.com/282003466
[Semantic-segmentation-editor]: /images/20230810/37bf85b70c8848fea14200086853d3be.png
[GitHub 5]: https://github.com/wkentaro/labelme
[Labelme]: /images/20230810/2e061836724042d3adf4fc312daae274.png
[Link 5]: http://www.jinglingbiaozhu.com/
[Colabeler]: /images/20230810/bc753de8910c44c1a356ae2e2490598d.png
[GitHub 6]: https://github.com/microsoft/VoTT
[VoTT]: /images/20230810/0393f2e941664a71805a27ce83d7edd5.png
[GitHub 7]: https://github.com/tzutalin/labelImg
[GitHub 8]: https://github.com/lzx1413/labelImgPlus
[LabelImgPlus]: /images/20230810/a334e64d48c3472ab05cd0b7f77de5ad.png
[Link 6]: https://ai.baidu.com/easydl/app/6/models
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70]: /images/20230810/74119785a363495fb2749714fe8af95f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70 1]: /images/20230810/e17819bf312844de875169766646afba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70 2]: /images/20230810/b9d1bb4ce95a4cba9c4d87608f732ce8.png
[Link 7]: https://scikit-image.org/docs/dev/install.html
[Link 8]: https://www.pyimagesearch.com/2014/07/28/a-slic-superpixel-tutorial-using-python/
[A First Derivative Potts Model for Segmentation and Denoising Using ILP]: https://arxiv.org/pdf/1709.07212.pdf
[COCO-Stuff_ Thing and Stuff Classes in Context]: http://openaccess.thecvf.com/content_cvpr_2018/papers/Caesar_COCO-Stuff_Thing_and_CVPR_2018_paper.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70 3]: /images/20230810/de6421c15d6746dfb23ec13f9d23328f.png
[1000 segments]: /images/20230810/d7f8a7cbe9364d738d758b2e6c9eac04.png
[5000 segments]: /images/20230810/f75d4962d82841188c8268c30c5acd90.png
[GitHub 9]: https://github.com/fidler-lab/polyrnn-pp-pytorch
[demo]: http://www.cs.toronto.edu/~amlan/demo/
[Efficient Interactive Annotation of Segmentation Datasets with Polygon-RNN]: https://arxiv.org/pdf/1803.09693.pdf
[PolygonRNN]: /images/20230810/8e68af5d5175438eac7fa78a9679d3fb.png
[GitHub 10]: https://github.com/fidler-lab/curve-gcn
[Fast Interactive Object Annotation with Curve-GCN]: http://openaccess.thecvf.com/content_CVPR_2019/papers/Ling_Fast_Interactive_Object_Annotation_With_Curve-GCN_CVPR_2019_paper.pdf
[Curve-GCN]: /images/20230810/6595eb23368a42afbfbb5f14bced0469.png
[GitHub 11]: https://github.com/ShaoqingRen/faster_rcnn
[Faster RCNN]: https://arxiv.org/pdf/1504.08083.pdf
[Link 9]: https://senitco.github.io/2017/09/02/faster-rcnn/
[Faster RCNN 1]: /images/20230810/082381712ee04f24b43a3bfac910c552.png
[Sort]: https://github.com/nwojke/deep_sort
[Cityscapes 1]: /images/20230810/1018d31395454b59bc1838051768ced8.png
[KITTI 1]: /images/20230810/de6d2b5f97ab47ec95c5218c47aba8e8.png
[ApolloScape 1]: /images/20230810/e9461e02042840e3b0176e479f54bdc2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70 4]: /images/20230810/d62b043765c344a3bb02c2d57a665fd1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4Njg5Mzk1_size_16_color_FFFFFF_t_70 5]: /images/20230810/0f3ecfa920d54691baeef1d31a6b2970.png