【计算机视觉 | 目标检测】YOLO-NAS的介绍以及如何使用？（含源代码）

Dear 丶 2023-10-16 07:14 47阅读 0赞

#### 文章目录 ####

*  一、介绍
 *   *  1.1 亮点
     *  1.2 方案简介
     *  1.3 训练简介
 *  二、使用案例

## 一、介绍 ##

Github 仓库：

https://github.com/Deci-AI/super-gradients/blob/master/YOLONAS.md

### 1.1 亮点 ###

*  参考QARepVGG，该方案引入了QSP与QCI模块以同时利用重参数与8-bit量化的优化；
 *  该方案采用AutoNAC搜索最优尺寸、每个stage的结构，含模块类型、数量以及通道数；
 *  采用混合量化机制进行模型量化，既考虑了每一层对精度与延迟的影响，也考虑了8-bit与16-bit之间切换对整体延迟的影响；
 *  预训练方案：automatically labeled data, self-distillation, and large datasets

总而言之，YOLO-NAS达成目标检测任务新高度，取得了最佳的精度-延迟均衡。值得一提的事，YOLO-NAS与TensorRT推理引擎完全兼容，且支持INT8量化，达成前所未有的运行时性能。

![在这里插入图片描述][25962cffc8754070b68e21936e091eac.png]

### 1.2 方案简介 ###

受启发于YOLOv6、YOLOv7以及YOLOv8，DECI的研究人员采用AutoNAC搜索比YOLOv8更优的架构，即"We used machine learning to find a new deep learning architecture!"

为什么要用AutoNAC呢？ 这是因为手工寻找"正确"结构过于低效且乏味，因此DECI的研究人员采用AutoNAC搜索新的目标检测模型，同时最小化在NVIDIA T4上的推理延迟。

为构建YOLO-NAS，作者构建了一个深不可测的搜索空间(1014)以探索精度-延迟上限。最终，作者从中三样三个"前沿观察点"构建了YOLO-NAS-S，YOLO-NAS-M，YOLO-NAS-L。

### 1.3 训练简介 ###

YOLO-NAS采用了多阶段训练方式，包含：

1.  预训练：Object365+COCO伪标签数据
2.  知识蒸馏
3.  DFL，即Distribution Focal Loss

Deci 很高兴地宣布发布新的对象检测模型 YOLO-NAS - 对象检测领域的游戏规则改变者，提供卓越的实时对象检测功能和生产就绪性能。 Deci 的使命是为 AI 团队提供工具，以消除开发障碍并更快地获得高效的推理性能。

![在这里插入图片描述][ed2c75ef9b3e478798c82c50b5bb654f.png]  
在训练数据方面，作者基于RoboFlow100(由100个不同领域的数据集构成)进行训练以验证其处理复杂检测任务的能力。

我们展示了 YOLO-NAS 在下游任务上的出色性能。 在 Roboflow-100 上进行微调时，我们的 YOLO-NAS 模型比最接近的竞争对手实现了更高的 mAP：

![在这里插入图片描述][0a0231d22ce846de930bfd2fd4e2b4fa.png]  
YOLO-NAS 的架构采用量化感知块和选择性量化来优化性能。 当转换为 INT8 量化版本时，与在量化过程中损失 1-2 个 mAP 点的其他模型相比，YOLO-NAS 的精度下降较小（S、M 和 L 变体的 mAP 为 0.51、0.65 和 0.45 点）。 这些技术最终形成了具有卓越物体检测功能和一流性能的创新架构。

## 二、使用案例 ##

首先安装对应的包：

%%capture
    !pip install super-gradients==3.2.0
    !pip install imutils
    !pip install roboflow
    !pip install pytube --upgrade
    !pip install torchinfo

当运行%%capture之后，接下来的代码单元是用于安装一些Python库和依赖项的命令。这些命令通过pip（Python包管理器）来安装所需的库。以下是对每个命令的解释：

*  `!pip install super-gradients==3.2.0：`这是用于安装名为super-gradients的Python库的命令，同时指定了特定版本号3.2.0。
 *  `!pip install imutils：`这是用于安装名为imutils的Python库的命令，通常用于图像处理和计算机视觉任务。
 *  `!pip install roboflow：`这是用于安装名为roboflow的Python库的命令，通常用于机器学习和计算机视觉中的数据预处理和数据管理。
 *  `!pip install pytube --upgrade：`这是用于升级名为pytube的Python库的命令，pytube通常用于从YouTube上下载视频。
 *  `!pip install torchinfo：`这是用于安装名为torchinfo的Python库的命令，torchinfo通常用于查看PyTorch模型的详细信息。

from super_gradients.training import models
    
    yolo_nas_l = models.get("yolo_nas_l", pretrained_weights="coco")

这段代码使用了super\_gradients库中的training.models模块来获取一个名为yolo\_nas\_l的预训练模型，并加载了预训练权重。

`from super_gradients.training import models：`这行代码从super\_gradients库中的training.models模块中导入了models。

yolo\_nas\_l = models.get(“yolo\_nas\_l”, pretrained\_weights=“coco”)：这行代码调用models.get()函数，以获取名为yolo\_nas\_l的预训练模型。预训练模型的选择是通过传递字符串参数"yolo\_nas\_l"来完成的。此模型似乎是一个YOLO（You Only Look Once）目标检测模型的变体。

pretrained\_weights=“coco”：这是一个额外的参数，指定了要使用的预训练权重。"coco"表示该模型在COCO（Common Objects in Context）数据集上进行了预训练，该数据集包含各种对象的图像和标签。

最终，yolo\_nas\_l将包含加载的预训练模型，我们可以使用它进行目标检测任务，或在其基础上进行微调以适应特定任务或数据集。这个模型对象将具有预训练权重，这意味着它在COCO数据集上训练过，可以用于对象检测任务。

![在这里插入图片描述][e20a5b140cc64c27af3089d61d6ed946.png]

from torchinfo import summary
    
    summary(model=yolo_nas_l,
            input_size=(16, 3, 640, 640),
            col_names=["input_size", "output_size", "num_params", "trainable"],
            col_width=20,
            row_settings=["var_names"]
    )

这段代码使用了torchinfo库中的summary函数来生成关于模型结构和参数的摘要信息，并使用特定的参数来配置输出的格式。

`from torchinfo import summary：`这行代码导入了torchinfo库中的summary函数，该函数用于生成有关PyTorch模型的摘要信息。

`summary(model=yolo_nas_l, input_size=(16, 3, 640, 640), col_names=["input_size", "output_size", "num_params", "trainable"], col_width=20, row_settings=["var_names"])：`这是summary函数的调用，它接受多个参数来生成模型摘要：

`model=yolo_nas_l：`这指定要分析的模型是yolo\_nas\_l，即之前通过super\_gradients库加载的模型。

`input_size=(16, 3, 640, 640)：`这指定了输入张量的大小，其中(16, 3, 640, 640)表示批处理大小为16，通道数为3（RGB图像），图像大小为640x640。

`col_names=["input_size", "output_size", "num_params", "trainable"]：`这是一个字符串列表，指定了生成的摘要表格的列名称。摘要表格将包括输入大小、输出大小、参数数量和可训练参数数量等列。

`col_width=20：`这指定了表格中每列的宽度，以确保信息的可读性。

`row_settings=["var_names"]：`这是一个字符串列表，指定了在每行中显示的其他信息。在此示例中，它设置为\[“var\_names”\]，表示每行将显示变量的名称。

最终，该代码将生成一个表格，其中包含关于yolo\_nas\_l模型结构和参数的摘要信息。这个摘要信息包括输入和输出大小、总参数数量以及可训练参数数量，帮助我们更好地了解模型的结构和规模。

![在这里插入图片描述][fe9098e39e574a118dd1920f1eaaef39.png]

image_path = "D:/CodeProject/Yolov8/2.jpg"
    yolo_nas_l.predict(image_path, conf = 0.25).show()

这段代码使用了一个名为yolo\_nas\_l的模型来进行目标检测，并显示检测结果的图像。

`image_path = "D:/CodeProject/Yolov8/2.jpg"：`这行代码指定了要进行目标检测的输入图像的文件路径。图像的路径是"D:/CodeProject/Yolov8/2.jpg"。

`yolo_nas_l.predict(image_path, conf = 0.25)：`这是使用模型进行目标检测的部分。yolo\_nas\_l是之前加载的预训练目标检测模型。predict函数接受输入图像的路径以及一个conf参数，用于设置检测的置信度阈值。

image\_path：这是输入图像的路径，告诉模型要在哪个图像上执行目标检测。

conf=0.25：这个参数指定了置信度阈值，它控制了哪些检测框被保留。在这种情况下，只有置信度大于或等于0.25的检测结果才会被保留。

.show()：这是在目标检测后显示检测结果的方法。它将绘制检测框和类别标签等信息在输入图像上，并显示出来。

综合起来，这段代码的作用是使用yolo\_nas\_l模型对指定路径的图像进行目标检测，并显示出检测结果的图像，其中仅显示置信度大于等于0.25的检测结果。这是一个常见的用法，用于检测图像中的物体并可视化检测结果。

![在这里插入图片描述][fb156f21365a48cc86d1c76dc856c26c.png]

[25962cffc8754070b68e21936e091eac.png]: https://img-blog.csdnimg.cn/25962cffc8754070b68e21936e091eac.png
[ed2c75ef9b3e478798c82c50b5bb654f.png]: https://img-blog.csdnimg.cn/ed2c75ef9b3e478798c82c50b5bb654f.png
[0a0231d22ce846de930bfd2fd4e2b4fa.png]: https://img-blog.csdnimg.cn/0a0231d22ce846de930bfd2fd4e2b4fa.png
[e20a5b140cc64c27af3089d61d6ed946.png]: https://img-blog.csdnimg.cn/e20a5b140cc64c27af3089d61d6ed946.png
[fe9098e39e574a118dd1920f1eaaef39.png]: https://img-blog.csdnimg.cn/fe9098e39e574a118dd1920f1eaaef39.png
[fb156f21365a48cc86d1c76dc856c26c.png]: https://img-blog.csdnimg.cn/fb156f21365a48cc86d1c76dc856c26c.png