V-rep机器人仿真(Win10)：UR5+RG2+Kinect+YOLOV3+DDPG+Pytorch(第一部分：Vrep基本操作)

缺乏、安全感 2022-11-25 13:18 245阅读 0赞

### 声明：作为V-rep机器人仿真的初学者，看到博主[Ianlande][] 的相关博客，故转载。 ###

--------------------

这是一个V-rep机器人仿真实验，较为简单，适合初学者在入门图像识别、机器学习、机器人学的内容时进行学习与训练。  
  
实验涉及的内容有：V-rep机器人仿真，YOLOV3图像识别，强化学习DDPG，UR5机械臂及RG2机械手，Kinect摄像头。  
  
使用环境：Win10，Pytorch0.4，V-rep  
  
整个实验一共由多篇文章组成，本文是第一部分。

# 第一部分：在V-rep中搭建环境 #

## V-rep基本操作 ##

本文使用的是V-rep Windows版，界面如下：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70][]  
只需要在左边列表`Model browser`中找到需要的机械臂UR5和RG2并拖入场景便可，可以移动或旋转物体到自己想要的位置。  
在`Scene hierarchy`中将`RG2`放入`UR5_connection`目录下，如图：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 1][]

## 修改摄像头外观 ##

我们也可以设计自己的摄像头，我们在这里使用`Kinect`摄像头，但是我们给摄像头换一个外观：  
我们先从`Model browser`中找到`Kinect`和一个普通的摄像头`blobDetectionCamera`，我们接下来将`Kinect`的外观修改成`blobDetectionCamera`的外观。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 2][]  
将下图圈起来的三个组件，组合成一个新的摄像头，如下图：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 3][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 4][]  
这依然是`Kinect`摄像头，只不过使用了另一个摄像头的外观，`blobDectectionCamera_body`便是外观，移动`kinect_depth`和`kinect_rgb`到合适的位置便可。仅仅这样还不够，还需要程序，右键`blobDectectionCamera_body`，按照下图所示，创建程序：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 5][]  
程序：

function sysCall_init() 
        depthCam=sim.getObjectHandle('kinect_depth')
        depthView=sim.floatingViewAdd(0.9,0.9,0.2,0.2,0)
        sim.adjustView(depthView,depthCam,64)
    
        colorCam=sim.getObjectHandle('kinect_rgb')
        colorView=sim.floatingViewAdd(0.69,0.9,0.2,0.2,0)
        sim.adjustView(colorView,colorCam,64)
    end
    
    function sysCall_cleanup() 
     
    end

最后效果是：  
  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 6][]  
  
启动仿真便可以看到摄像头的图像  
  
![20191231192149803.jpg][]  
  
如果深度图想修改成黑白的，可以如下操作：  
  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 7][]  
  
然后深度图被修改成黑白：  
  
![20191231192311874.jpg][]

## 最后结果 ##

然后随便添加些物体，得到最后的结果，如下图。摄像头是固定在RG2上方的，注意`Scene hierarchy`中的级别，`RG2`在`UR5_connection`目录下，摄像头在`RG2`目录下。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 8][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 9][]

[Ianlande]: https://blog.csdn.net/weixin_42158966/article/details/103784171
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70]: /images/20221124/e1b9ce017d914d929a75106e7ed2a0c6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 1]: /images/20221124/3cc22bec08874064b843169a4930fdee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 2]: /images/20221124/fc9caae1460541368fd60d70b8be44ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 3]: /images/20221124/14dd5fed0db34c2599c056a43c3f9a0d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 4]: /images/20221124/5543a7fb102c459a9e203cce2aaa9a5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 5]: /images/20221124/377693c269d043b19c3ae6a9d31eaebb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 6]: /images/20221124/175195671cab4d87ba95621320cc1c78.png
[20191231192149803.jpg]: /images/20221124/0c2e49d79a6844379e99364067f01fe5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 7]: /images/20221124/d1d2655cf01b49beba620ff33af6376e.png
[20191231192311874.jpg]: /images/20221124/402d4f9de1544343873102b4e7845487.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 8]: /images/20221124/ddfbf795cdaf405b9a8ec6a599b065df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 9]: /images/20221124/04c740711e6341a6aa5335eb0fb7f5b4.png