Hololens2 初入——获取彩色和深度图像数据流，并传递到程序中（不是网页浏览）

亦凉 2022-11-13 12:24 425阅读 0赞

### 文章目录 ###

*  Hololens2 初入——获取彩色和深度图像数据流，并传递到程序中（不是网页浏览）
 *   *  前言
     *  基础环境
     *  配置过程
     *   *  下载github上的工程
         *  编译 HoloLens2-Unity-ResearchModeStreamer
         *  配置Unity项目
     *  配置package文件中的兼容性
     *  在VS中编译与部署
     *  修改PC端接收文件
     *  程序运行
     *  实时性问题的解决和深度图数据问题的解决
     *  发布到Hololens2 后 找不到.dll文件

# Hololens2 初入——获取彩色和深度图像数据流，并传递到程序中（不是网页浏览） #

## 前言 ##

HoloLen2 设备内集成了多种不同类型的传感器。软件上也提供了研究者模式，便于开发者们访问传感器的原始数据，进行科研开发。  
但是由于设备较新，其官方文档并没有过多的介绍这部分的内容.旧的Hololens1代码又不能直接用在新的Hololens2 上， 官方的github工程也较少，大都只停留在真机上可以获取数据而已。  
本文的配置将实现把设备上的图像数据通过wifi实时地传递到电脑端，方便用深度学习算法对图像进行处理。  
PS 这个工程是github上的， 目前仍然达不到实时传输的效果，延迟很高，尚未解决。但是可以在线获得图像数据便是。

## 基础环境 ##

1.  WIN10 专业版
2.  VS2019社区版
3.  Unity2019.3.4版本
4.  WIN SDK 最新
5.  HoloLens2处于研究者模式(见我另外一篇博客)
6.  [参考出处][Link 1]
7.  关掉两边的防火墙

## 配置过程 ##

### 下载github上的工程 ###

[地址传送门][Link 1]

### 编译 HoloLens2-Unity-ResearchModeStreamer ###

1.  用VS打开该项目中插件工程  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70]
2.  设置项目属性为release 和arm64  
    ![在这里插入图片描述][20210326214745287.png]
3.  生成解决方案  
    ![在这里插入图片描述][20210326214855555.png]  
    ![在这里插入图片描述][20210326214911202.png]

### 配置Unity项目 ###

1.  新建一个Unity的3D项目
2.  将项目切换到Universal windows patform
3.  新建如下路径"Assets/Plugins/"
4.  将前面编译好的文件拷贝到新建的文件夹下  
    文件位置![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 1]  
    拷贝过去后![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 2]
5.  新建一个StreamerHL2.cs（名称注意一致，或者自己在代码中对应修改类名称），复制下面代码到脚本里面（清空原本的代码）

using System.Collections;
    using System.Collections.Generic;
    using UnityEngine;
    using System;
    using System.Runtime.InteropServices;
    
    public class StreamerHL2 : MonoBehaviour
    { 
        // Start is called before the first frame update
        // [DllImport("HL2RmStreamUnityPlugin", EntryPoint = "StartStreaming", CallingConvention = CallingConvention.StdCall)];
        [DllImport("HL2RmStreamUnityPlugin", EntryPoint = "StartStreaming", CallingConvention = CallingConvention.StdCall)]
        private static extern void StartDll();
        void Start()
        { 
    
            StartDll();
        }
    
        // Update is called once per frame
        void Update()
        { 
            
        }
    }

6.将脚本随便挂在在一个对象上，我挂载的是主相机  
7.设置Unity 项目的兼容性，根据下图指引，勾选  
InternetClient, InternetClientServer, PrivateNetworkClientServer, WebCam, SpatialPerception. 5个位置![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 3]![在这里插入图片描述][20210329105028718.png]![在这里插入图片描述][20210329105037877.png]  
8. 编译unity工程，注意架构选择的是ARM64.  
*ps. 不需要在unity中运行工程，因为我们添加的是ARM64的动态链接库，在PC端运行的话会报加载不了的错误。*  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 4]

## 配置package文件中的兼容性 ##

1.  用记事本的方式打开编译好的Unity工程文件夹中的“Package.appxmanifest”文件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 5]
2.  将如下代码添加到 Package 中。注意前后各有一个空格

xmlns:rescap="http://schemas.microsoft.com/appx/manifest/foundation/windows10/restrictedcapabilities"

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 6]  
3.仍然在Package这一行中,找到"IgnorableNamespaces"的属性，添加“rescap”字段，如下图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 7]  
4. 在 Capabilityes添加如下代码

<rescap:Capability Name="perceptionSensorsExperimental" />

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 8]  
5.保存文件退出

## 在VS中编译与部署 ##

见我博客中的另外文章[Unity项目部署到HL2上][Unity_HL2]

## 修改PC端接收文件 ##

1.  打开前面下载好的github工程中的hololens2\_simpleclient.py文件，路径如下  
    ![在这里插入图片描述][20210401105919733.png]
2.  修改文件中的HOST参数。 （电脑和HoloLens 2同在一个局域网的时候,查看HL中的IP地址，这个HOST参数就是IP地址）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 9]

## 程序运行 ##

1.  将电脑和HL连接到同一个局域网中
2.  在HL中运行部署好的APP应用，然后运行hololens2\_simpleclient.py文件  
    3.![在这里插入图片描述][20210401121014679.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 10]

## 实时性问题的解决和深度图数据问题的解决 ##

见另外一个博文[Hololens2初入——解决HL真机到PC图像传输的实时性问题][Hololens2_HL_PC]

## 发布到Hololens2 后 找不到.dll文件 ##

把拷贝到unity中的dll设置一下参数  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATGFuY2VfU2hhbw_size_20_color_FFFFFF_t_70_g_se_x_16]

[Link 1]: https://github.com/cgsaxner/HoloLens2-Unity-ResearchModeStreamer
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70]: /images/20221022/66f70d9040a34104a53847a3e444c996.png
[20210326214745287.png]: https://img-blog.csdnimg.cn/20210326214745287.png
[20210326214855555.png]: https://img-blog.csdnimg.cn/20210326214855555.png
[20210326214911202.png]: https://img-blog.csdnimg.cn/20210326214911202.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2021040110283857.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210401102937508.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210329104922157.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg==,size_16,color_FFFFFF,t_70
[20210329105028718.png]: https://img-blog.csdnimg.cn/20210329105028718.png
[20210329105037877.png]: https://img-blog.csdnimg.cn/20210329105037877.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/2021040110370310.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/2021040110461739.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20210401104844898.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20210401105040677.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20210520205529430.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg==,size_16,color_FFFFFF,t_70
[Unity_HL2]: https://blog.csdn.net/scy261983626/article/details/111840585
[20210401105919733.png]: https://img-blog.csdnimg.cn/20210401105919733.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20210401105751648.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg==,size_16,color_FFFFFF,t_70
[20210401121014679.png]: https://img-blog.csdnimg.cn/20210401121014679.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20210401120946477.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg==,size_16,color_FFFFFF,t_70
[Hololens2_HL_PC]: https://blog.csdn.net/scy261983626/article/details/116381193
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATGFuY2VfU2hhbw_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/963f74ab096240c99b78d3ac0c030fd3.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBATGFuY2VfU2hhbw==,size_20,color_FFFFFF,t_70,g_se,x_16