Kinect开发遇到的问题

傷城~ 2023-02-18 08:22 20阅读 0赞

# 获取数据 #

首先说一下背景：

*  获取方法：用官方的SDK获取彩色图像和深度图像，同样用官方的对齐函数（m\_pCoordinateMapper）将两幅图像对齐，然后生成点云（用自己对齐的方法也试了，虽然没有重影，但是能明显看到颜色移位，说明没有对齐，我用的别人的参数，没有自己标定，所以这个方法暂时放下。PS：去年用了这个方法就是别人的参数，效果也很好，不懂为啥过了一年啥都变了）
 *  环境：正常屋内，白炽灯  
    去年做的时候没有问题（或者说问题不明显），今年拍的时候特别大的问题。  
    去年拍的：彩色图映射到深度图上，可以看到下面也会有重影移位的现象，但是植物部分基本没什么问题  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70]  
    深度图像：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 1]

## 重影问题（未解决） ##

今年再次拍的结果：彩色图像映射到深度图像的彩色图片，重影严重  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 2]  
彩色图像：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 3]  
深度图像：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 4]  
上面生成点云后看到植物本身的颜色对齐的很好，想着去除背景后应该也没什么影响，反正重影只是在背景上，但是直通滤波去除背景后，发现有部分点云多出来，而且离群点滤波去除不掉，正面看形状很像植物点云，不知道是不是噪声还是其他原因。所以还是尽量获取没有重影的点云。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 6]  
初步怀疑是光线的问题，于是有了一下几种实验：

*  只开一边的灯：没啥改变，还是重影很多
 *  所有灯都关掉：看不出问题
 *  换地方：基本都和上面图片一样，但是靠墙（如去年拍的图片）就会好很多，还是会有一些白边，如下图：（彩色图像映射到深度图像）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 7]  
    后来又发现后面背景复杂就会有很大重影，但是加上平面就会好很多。

## 颜色偏移问题（未解决） ##

上节最后一张图片可以看到感觉采集的差不多了，没有重影，但是发现有颜色移位现象，变成点云之后植物叶片部分会有白边，儿墙上会有部分叶片的绿色  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 9]  
离群点去除之后，更加明显看到墙上部分绿色叶片（这样使用基于颜色特征的算法处理点云就会有误差，不太好啊），不知道是不是Kienct开发包里对齐函数不是很精准？但是去年也没有这个问题啊？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 10]  
为啥用官方SDK对齐结果居然是这样的？关键是一年前我用还好的，效果没这么差，这是咋回事？希望路过的大神可以指导一下~ 谢谢啦~

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200616193254588.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200616193234873.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2020061619470726.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200616194756263.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200616194722828.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/2020061620002730.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200616200146291.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/2020061619511536.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200616201531160.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200616201721313.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200616202012120.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzkxMDk5,size_16,color_FFFFFF,t_70