UE4中使用自动驾驶模拟——Carla

痛定思痛。 2022-11-26 08:45 1087阅读 0赞

### UE4中使用自动驾驶模拟——Carla ###

*  1.简述
 *  2.简单配置使用
 *  3.编译的步骤&坑
 *  4.深入理解
 *   *  Tips

# 1.简述 #

在之前的文章里，使用了Airsim来仿真模拟无人机飞行，[UE4中使用飞控仿真插件——AirSim][UE4_AirSim]  
，Airsim本身也是支持自动驾驶模拟的，使用方法无太大不同，为了学习探索这两者的区别，在这里记录一下carla的使用。  
Carla主要通过Server-Client方式使车辆与虚拟世界进行交互，这样就可以在本机运行，也可以部署多个客户端同时运行。Client API采用Python编写，Client向Server发送command和meta-command，command为控制车辆的转向、加速和刹车，meta-command，针对的是Server的行为，主要有重启模拟器、改变环境特征、修改传感器组等。  
CARLA包含三个模块的自动驾驶：① 经典的规则化无人驾驶 ② 端对端模仿学习无人驾驶 ③端对端强化学习无人驾驶,  
CARLA支持感知和控制两个模块，包含城市堵路（有汽车，建筑物，行人和道路指示标志）  
CARLA提供世界和智能体的接口，客户端API是python命令控制，以类似插槽（socket）的方式连接智能体和服务器。客户端client发送命令和下层指令，直接命令包括转向，加速和刹车，下层命令包括控制服务器的行为和重置仿真器，改变仿真环境和修改传感器参数。CARLA可以调整视觉信息质量和速度。CARLA有两个城镇，TOWN1用来训练，TOWN2用来测试。CARLA包含许多传感器，有RGB摄像头，提供深度信息的摄像头（该深度信息和语义分割，CARLA已经做好了，语义分割有12个种类：道路，道路线，交通灯，行人等等）GPS定位传感器，速度加速度传感器和碰撞传感器等等。  
[官方文档][Link 1]  
[Github地址][Github]

# 2.简单配置使用 #

下载和安装参考官方即可，把github上的clone到本地。

这里以windows为例，运行\\CarlaUE4.exe,再在cmd执行命令行程序CARLA\\PythonAPI\\examples\\ >python spawn\_npc.py -n 80，执行后可以看见车辆行人加载到地形之中。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4aDE1OTIwMDA_size_16_color_FFFFFF_t_70_pic_center]  
值得注意的是，想要完整的使用carla的功能，还需要下载安装python的其他完整模块，这里整理了完整的安装步骤，参考以下：  
[pygame module][]  
使用pip包管理工具更加方便，可以参考  
[numpy matplotlib scipy  
][numpy matplotlib scipy]  
还可以一次获得所有依赖项

pip install -r PythonClient/requirements.txt

进入CARLA\\PythonAPI\\examples\\ 可以尝试使用示例运行控制。  
截至目前为止，可以实现可执行程序ue的运行，python的所有示例功能控制，如果只需要改pythonAPI进行开发，那么到这里已经足够。但是想自己更换场景/模型/算法等，肯定要从源码从头编译了，想要深入肯定少不了自己编译一遍。

# 3.编译的步骤&坑 #

由于carla是C/S架构的，它分别支持并提供了[Linux构建][Linux]，[Windows构建][Windows].  
这里以windows为例（推荐ubantu），去官网安装好cmake，git，make等所需软件，发现按照官网操作还是一堆坑，要么编译缺CarlaDependencies模块要么不识别cmake，而且，翻遍了国内外的论坛文章等，这里记录一下减少大家的弯路：

*  首先要确保版本对上，我这里使用vs2017（把其他版本vs卸载干净），python3.7，carla0.9.10，UE4.24，Cmake3.9以上，并配好环境变量，自己测试确保能用
 *  彻底删除vs:`Program Files (x86)\Microsoft Visual Studio\Installer\resources\app\layout运行.\InstallCleanup.exe -full。`
 *  打开VS x64命令行工具 到根目录carla-master输入`make setup` （如果从网上下载过build文件夹，可以跳过此步）
 *  克隆最新资产库：`git clone https://bitbucket.org/carla-simulator/carla-content Unreal/CarlaUE4/Content/Carla`覆盖原content即可
 *  到工程根目录，按顺序 `make LibCarla` ，`make PythonAPI` 编译库文件-![在这里插入图片描述][20200819140840297.png_pic_center]
 *  右键点击CarlaUE4.uproject 菜单选项生成sln，用VS2017进行编译源码，如果遇到报错，找到Version.h.in这个文件，拷贝到Unreal\\CarlaUE4\\Plugins\\Carla\\CarlaDependencies\\include\\carla 下面，改名Version.h

<table> 
 <thead> 
  <tr> 
   <th>Command</th> 
   <th>Description</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td> <code>make help</code> </td> 
   <td>Prints all available commands.</td> 
  </tr> 
  <tr> 
   <td><code>make launch</code></td> 
   <td>Launches CARLA server in Editor window.</td> 
  </tr> 
  <tr> 
   <td><code>make PythonAPI</code></td> 
   <td>Builds the CARLA client.</td> 
  </tr> 
  <tr> 
   <td><code>make package</code></td> 
   <td>Builds CARLA and creates a packaged version for distribution.</td> 
  </tr> 
  <tr> 
   <td><code>make clean</code></td> 
   <td>Deletes all the binaries and temporals generated by the build system.</td> 
  </tr> 
  <tr> 
   <td><code>make rebuild</code></td> 
   <td>make clean and make launch both in one command.</td> 
  </tr> 
 </tbody> 
</table>

--------------------

*  编译成功最后会启动UE4，大功告成：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4aDE1OTIwMDA_size_16_color_FFFFFF_t_70_pic_center 1]

# 4.深入理解 #

**简单记录一些架构**  
对于UE4而言，carla中的actor包括了：

*  汽车。
 *  路人。
 *  传感器。
 *  观察者。
 *  交通标志和交通灯。

传感器包括了：

*  相机（RGB，深度和语义分割）。
 *  碰撞检测器。
 *  Gnss传感器。
 *  IMU传感器。
 *  激光雷达雷射。
 *  车道入侵检测器。
 *  障碍物检测器。
 *  雷达。
 *  RSS。

道路，车道和路口由Python API管理，可从客户端访问。它们与航路点类一起使用，为车辆提供导航路径。  
交通标志和交通灯可作为carla.Landmark对象使用，其中包含有关其OpenDRIVE定义的信息。此外，在运行时，模拟器会使用OpenDRIVE文件上的信息自动生成停止，屈服和交通信号灯对象。这些在道路上放置了边界框。一旦进入边界框，车辆就会意识到它们。

所以，由此而知运行架构如下图，传感器运行在UE4内部，并将数据一直发送到Python客户端，。![在这里插入图片描述][20200821150845857.png_pic_center]  
传感器actor  
负责测量和/或模拟数据的actor：使用UE4框架在Carla插件中运行。用户可以作为Sensor actor访问。

串行器  
对象包含用于对传感器生成的数据进行序列化和反序列化的方法。在LibCarla中运行，服务器和客户端均如此。

传感器数据  
代表传感器生成的数据的对象。这是将在C ++和Python API中传递给最终用户的对象。

知道了架构，可以更清晰的阅读源码和各个模块的功能联系。  
—————————————————————————————————  
**思考一下如何更换验证算法？我们以汽车动力学算法模型为例：**  
阅读源码，内部的汽车动力学模型都是UE内集成的，可以通过代码找到，PxVehicleWheels.cpp这个文件，是NVIDIA提供给UE内部汽车使用的。并在UE里暴露一些变量，Carla中的PythonAPI也是如此，通过控制这些变量来达到不同车辆的效果：  
![在这里插入图片描述][20200825151211275.png_pic_center]  
![在这里插入图片描述][20200825151221630.png_pic_center]  
如此，我们可以参照汽车模板的链接方式，再集成其他各式各样的动力学模型进UE中，例如飞机坦克等等。

**思考一下如何在carla框架里自定义API**  
同理，在carla的架构中，想要添加PythonAPI也参考代码自定义API即可。注意上面server和client端的联系图，自行补充默认参数设置和头文件的相关声明。可以参考源码自己来增改，[或参考这篇博文][Link 2]的步骤。

--------------------

## Tips ##

如果默认vs是2017版本的，其他项目（比如Airsim使用2019），这时如何强制ue选择版本呢？

1.  Edit -> Editor preferences -> General -> Source code ； Edit -> Project Settings -> Platforms -> Windows -> Toolchain ->CompilerVersion
2.  如果默认update\_from\_git.bat文件生成了VS 2017项目，则可能需要C:\\Program Files\\Epic Games\\UE\_4.24\\Engine\\Binaries\\DotNET\\UnrealBuildTool.exe使用命令行选项手动运行该工具-projectfiles -project=<your.uproject> -game -rocket -progress -2019。

--------------------

如果pip超时，可以使用代理

`pip install --index-url https://pypi.douban.com/simple 库名`  
和之前命令比较，中间加了`--index-url https://pypi.douban.com/simple`

--------------------

[UE4_AirSim]: https://blog.csdn.net/zxh1592000/article/details/105528324
[Link 1]: https://carla.readthedocs.io/en/latest/
[Github]: https://github.com/carla-simulator/carla
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4aDE1OTIwMDA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/e09cca55037a44568a1e84e27fc84dd0.png
[pygame module]: https://www.jb51.net/article/166872.htm
[numpy matplotlib scipy]: https://www.runoob.com/numpy/numpy-install.html
[Linux]: https://carla.readthedocs.io/en/latest/build_linux/
[Windows]: https://carla.readthedocs.io/en/latest/build_windows/
[20200819140840297.png_pic_center]: /images/20221124/b65ce5bcc0c44ba1a04d00dcbbd480c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4aDE1OTIwMDA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/f7137d735a154b1f9a3abf4e03cf0c08.png
[20200821150845857.png_pic_center]: /images/20221124/afe1d007cd43402e9f442b82ca0ead4e.png
[20200825151211275.png_pic_center]: /images/20221124/0bbec01daf0741e78b38f8c9b9d34b77.png
[20200825151221630.png_pic_center]: /images/20221124/63d1796dfa3e40ca9687207ca684d2ec.png
[Link 2]: https://blog.csdn.net/zxh1592000/article/details/109095605