HoloLens2初入——PC端的Unity运行，全息投影到HL2设备中

川长思鸟来 2022-12-10 03:59 488阅读 0赞

### 文章目录 ###

*  HoloLens2初入——全息投影
 *   *  本机环境
     *  初始设置
     *  HoloLens 2 的MRTK相关的配置
     *  通过USB连接实现远程全息投影
     *  demo效果
     *  不能实现手部关节和眼动的追踪的解决途径
     *  补充

# HoloLens2初入——全息投影 #

## 本机环境 ##

时间 ：2020-09-23 21.47  
PC系统版本： Win10 专业版  
VS版本： 2019社区版  
头盔机型：Hololens2  
HoloLens2系统版本： 内部体验版  
Unity 版本：2019.3.x  
WIN SDK ：19041.1.191206  
MRTK版本：2.4  
CUDA版本：10.2

*  备注  
    为了方便，下面称 HoloLens2 为HL2  
    [参考官网文档][Link 1]

## 初始设置 ##

Unity中确认是否使用了最新的远程组件

*  Window>Package Manager > 确保 Windows Mixed Reality 的包是否安装 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center]\- 确保在HL2设备中下载了最新的 Holographic Remoting 应用。可以在应用商店里面直接下载

## HoloLens 2 的MRTK相关的配置 ##

*  运行 MARK的 配置  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 1]
 *  切换平台  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 2]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 3]
 *  Window>Package Manager  
    如果没有使用XR SDK 确保 Windows XR插件没有安装， 因为 Windows Mixed Reality 包 不能和他一起工作。
 *  确保 Virtual Reality Supported 已选中，然后 Windows Mixed Reality 在 Virtual Reality SDKs 中  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 4]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 5]
 *  添加MRTK的场景和配置，添加后的目录如右侧所示

![在这里插入图片描述][20200924215253484.png_pic_center]

## 通过USB连接实现远程全息投影 ##

*  USB的连接方式比Wifi的方式稳定，渲染效果更好，个人建议前期入门还是使用USB来的好，因为WIFI为了稳定有一些使用的技巧。
 *  第一次连接的时候需要先把WIFI关闭  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 6]
 *  然后在HL2中打开 Holographic Remoting Player 的应用。将会显示 以169开头的地址。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 7]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 8]
 *  在Unity中输入该地址，进行连接。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 10]

*  连接成功确认  
    ![在这里插入图片描述][20200924214115568.png_pic_center]  
    并且HL2中的地址画面消失了
 *  连接后可以重新连接上WIFI。
 *  WIFI的连接过程相似，就是在第一步不需要关闭WIFI就可以。在Unity中把USB的地址换成WIFI的地址就可以

## demo效果 ##

*  Unity画面  
    黑色在HL2中是不显示的。 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 11]
 *  前置摄像头的画面（叠加了全息的效果）  
    可以看到一条一条是检测到的网格。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 12]

## 不能实现手部关节和眼动的追踪的解决途径 ##

见博客中另外一篇文章（2020-09-29 14.47）  
[远程投影条件下开启眼动追踪][Link 2]  
这部分的内容是对于一些在远程过程中发现 手部关节功能和眼动功能不好使的情况的 调式记录。  
因为我的没有问题，所以如果有出现相关问题的自己查阅下原文档  
[原文档][Link 1]

## 补充 ##

*  如果采用WIIFI连接的方式，要求在PC端能跑到60hz左右。 电脑主机与网络的连接如果采用有线连接，可以提高连接的稳定性，减少掉包的情况。（官网推荐，个人使用无线wifi确实掉包很严重，但是没有试过有限网络）（2020-09-26 19.35）
 *  遇到的一个神奇的事情，发现Unity的刷新率好像和Cpu关系很大。在工作站上跑（CPU 为 i7-4790， 4核八线程 GPU 为GTX1050）只能跑到50Hz左右，且无论我降低画面质量也好，取消与电脑屏幕不同步也好，都无法加速。但是在自己新买的轻薄笔记本上（R7 4800H ，集显，8核16线程） 却能稳定跑到120Hz。CPU核心和线程差一半，频率也差了一半多？。（2020-11-14 17.09）
 *  我擦，换了个电脑竟然连连接不稳定，掉帧，关闭Unity播放后，得重新连接远程投影的问题都一并解决了。这新的笔记本买的有价值啊。 现在用 Yoga14s 的热点作为远程连接的方式，频率为5Ghz 波段，十分流畅，纵享丝滑。（2020-11-14 17.11）
 *  好像更新了Hololens的系统后，远程连接的时候会跳出诊断信息， 是纯文字的那种类型，不是有滚动条的那种。 需要关闭的话在应用的主界面上（Holoelns上开了远程软件，但是还没有用Unity远程连接的时候）说出 disable Diagnostic 即可，注意，说的是英语，不是普通话！！（2020/12/11 15:17）

[Link 1]: https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Tools/HolographicRemoting.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/15da5d3083234c418bfc2376140ea515.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/2c4a87bbcf3c46f298b0e13564221dc0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/3b4b47bf409f421494eeaf366ca08b47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/95cb00a0fc2745b1b93515f9d50bc8e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/e462aa9bda5a4e8cb044d1c1d49b029d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/b7bb5addca12436d9290d425679a4015.png
[20200924215253484.png_pic_center]: /images/20221123/4382f433167d4aaa8ba18d09043928f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/84bdf632edef46a7b6880f0a01b38a2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/4f55eca25b094703bacaa54fe8b105ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221123/740af26fdaf348709160a7a952889c44.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221123/460e55393e2e477facc16e3fb139e526.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221123/ee403498a6204b43b8a7ed05f7b78bde.png
[20200924214115568.png_pic_center]: /images/20221123/93cf539fdce549b49dda1fe5efb7cb8a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221123/d890a6c1a3c4460bacac6f0eac26d66d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221123/601d63077993469a91063504ad810183.png
[Link 2]: https://blog.csdn.net/scy261983626/article/details/108799736