PhysGAN: Generating Physical-World-Resilient Adversarial Examples for Autonomous Driving

野性酷女 2023-01-15 02:19 141阅读 0赞

## PhysGAN: Generating Physical-World-Resilient Adversarial Examples for Autonomous Driving ##

`本文收录于CVPR 2020`

### 文章目录 ###

*   *  PhysGAN: Generating Physical-World-Resilient Adversarial Examples for Autonomous Driving
     *   *  背景
         *  以前的攻击方式
         *  physGAN
         *   *   *  流程
                 *   *  1、输入
                     *  2、符号定义
                     *  3、详细流程
                     *  4、损失函数定义
         *  实验
         *  总结

本文针对在现实场景中针对自动驾驶系统产生对抗性路标或广告牌导致自动驾驶系统故障。

### 背景 ###

本文将对抗攻击分为digital-attack和physical-attack

*  digital-attack:仅在像素级别上添加扰动。这种方式扰动能力强，但生成的对抗样本迁移到现实世界中其对抗性可能会无效。对于自动驾驶系统，这种方法将扰动添加到整个图片，包括背景信息（例如天空），这在现实中是无法实现的。
 *  physical-attack：生成的扰动样本可以打印出来，且打印出的样本依旧具有对抗性。

### 以前的攻击方式 ###

*  RP2： 在路标上直接粘贴黑白胶带，扰动太大，人眼易察觉
 *  physFGSM：既属于digital-attack也属于physical-attack，将扰动只添加在路标上，这会导致其在digital attack上的攻击能力下降，但在physical attack上的攻击能力增强

之前的扰动只考虑静态情况，即只将扰动添加在一张包含路标的静态图中，没有考虑实际场景中的动态性，即车是驶向路标的。所以本文作者提出了一种适用于实际动态场景下的物理对抗攻击方式physGAN。

### physGAN ###

##### 流程 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM2MDU5NjUz_size_16_color_FFFFFF_t_70]

###### 1、输入 ######

与以往输入的是单张图片不同的是，本方法的输入是包含多帧图像的动态视频片段，每个片段的第一帧中应包含完整的路标或广告标志，且其大小要超过400像素，直到最后一帧路标或广告标志才可以有部分缺失。

###### 2、符号定义 ######

χ \\chi χ = \{Xi\} sucn that  χ \\chi χ  ∈ \\in ∈ Rn \* w \* h  
 χ \\chi χ是视频片段集，Xi是集中的某个视频片段，n是视频片段中的帧数，w和h分别是每帧图片的宽和高

y = \{Yi\} such that y  ∈ \\in ∈ Rn  
Yi是某个视频片段的真实转向角（steering angle），n是视频片段中的帧数

\{Xi, Yi\}是数据集中的第 ith个样本集

f代表预训练好的自动驾驶的转向系统（例如NvidiaDave-2, Udacity Cg23和Rambo等），f:  χ \\chi χ  → \\rightarrow → y

encoder  ε \\varepsilon ε 代表自动驾驶模型 f 中的卷积层，用来提取视频中的特征（包括原始视频和添加扰动后的视频）

generator G  
discriminator D  
自动驾驶模型 f

###### 3、详细流程 ######

1） 输入一个原始视频片段Xorig, 通过目标自动驾驶模型 f 中的encoder  ε \\varepsilon ε 提取特征  
2) 将提取到的特征输入到生成器G去生成一个对抗路标 Sadv  
3）将生成器G生成的对抗路标 Sadv和 原始的路标 Sorig输送到判别器D中来训练，以便生成人眼不易察觉的对抗路标 Sadv  
4）将GAN最终生成的矩形的对抗路标 Sadv通过典型的透视映射法（perspective mapping method）替换原视频片段 Xorig每一帧中的原始路标Sorig以生成对抗视频片段 Xadv

###### 4、损失函数定义 ######

1）自动驾驶模型 f 的损失函数 LfADV =  β \\beta β exp ( - 1 β \\frac\{1\}\{\\beta\} β1 · lf ( f(Xorig), f(Xadv) ) )  
lf 是训练自动驾驶模型时的损失函数，  β \\beta β是锐度参数(sharpness parameter)，为了保证对抗的有效性，最小化 LfADV，即使生成对抗后的预测的结果与原始预测结果距离最大。  
2）最终损失函数 L = LGAN \+  λ \\lambda λ L fADV  
 λ \\lambda λ是一个平衡参数

### 实验 ###

1、自动驾驶模型  
NVIDIA Dave-2, Udacity Cg23, Udacity Rambo  
2、数据集  
Udacity automatic driving car challenge dataset  
DAVE-2 testing dataset  
Kitti  
custom datasets for physical-world  
3、评价指标  
steering angle MSE：转向角均方误差  
MASAE： 最大转向角误差  
4、digital-attack实验  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM2MDU5NjUz_size_16_color_FFFFFF_t_70 1]  
虽然FGSM的攻击力度最强，但其在物理世界中是无效的。除了FGSM之外，本文提出的physGAN的攻击效果最好。  
5、physical-attack实验  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM2MDU5NjUz_size_16_color_FFFFFF_t_70 2]  
本文提出的physGAN方法的攻击效果最好。

### 总结 ###

本文提出了一种用于生成物理世界攻击自动驾驶模型的对抗攻击方法physGAN，其生成的对抗样本可以持续误导自动驾驶模型的整个轨迹，并且生成的对抗样本对于人眼是不易察觉的，在digital和physical中的攻击效果都很好。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM2MDU5NjUz_size_16_color_FFFFFF_t_70]: /images/20221022/accd1e0cf29042699ae32e6b6b83bb7c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM2MDU5NjUz_size_16_color_FFFFFF_t_70 1]: /images/20221022/716205806fff4a57ae305ecdd832e193.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM2MDU5NjUz_size_16_color_FFFFFF_t_70 2]: /images/20221022/cdd1e98bf9ec4479852a7f3a2551ff9f.png