【深度剖析】小米CyberDog四足机器人的AI运动系统的实现

亦凉 2022-09-08 11:34 686阅读 0赞

2021年8月10日，雷军进行继宣布造车之后的第二次演讲。

在这场以“我的梦想，我的选择”为主题的演讲上，雷军详细讲述了创业后的故事，发布了一系列全新产品。其中，给人最大惊喜同时也给人带来诸多疑问的就是我们这篇推文的主角——**“CyberDog”**，中文名 **“铁蛋”**。

在现场的展示中，这只**“人类高质量宠物”**可以行走、站立、小碎步跳舞等等。

![4fcfe3e98210bfffe2a4b9b94e249ce0.gif][]

CyberDog拜年

![4c0e5a09767ff0ce134a9296e2731fc7.gif][]

CyberDog行走

在官方给出的运动性能参数中，介绍到，除了这些，CyberDog还支持恢复站立、姿态展示、缓慢趴下、缓跑、小跑、奔跑、跳跑、跳跃、倒地恢复、打滚、握手、跳舞、转圈、作揖、坐下等一系列功能动作。

![ee09f53e25edf29ad1965646e1451760.png][]

此物一出，各大论坛上也是众说纷纭，有人惊叹于他的外观，有人惊叹于他的智能，也有人惊叹于他在不同指令下不同行为的体现。**可是这只全新的物种，到底是如何做到这些复杂的动作的？它的出现，又能为人类做些什么呢？**相信绝大多数人看到这只机器狗的第一反应都如下面的表情包一样，**“我不理解”**。

![2fe21a4670607633e620953304379e20.png][]

这只看起来像小狗的机器人其实是当前业内备受关注的新产品形态——**仿生四足机器人**。CyberDog全身拥有11组高精度传感器时刻待命，可主动探测外部细微变化，它搭载了AI超级计算机——NVIDIA JETSON XAVIER NX平台，可处理来自多个传感器的海量数据。于此同时，CyberDog使用了自研的高性能伺服电机，通过全志MR813芯片对全身的运动模块进行控制。

**如果把传感器组比作CyberDog的“眼睛”，那NVIDIA JETSON XAVIER NX就是它的“大脑”，伺服电机就是它的“肌肉”，Allwinner MR813就是“小脑”。**

下面就来了解一下铁蛋的各个**“器官”**是如何组成它的运动系统的。

**\#01**

**大脑-英伟达主控**

CyberDog 的“大脑”是英伟达的 Jetson Xavier NX 平台，这是一台用于嵌入式和边缘系统的 AI 超级计算机。它集成了6个core NVIDIA Carmel ARM v8.2 64-bit CPU、搭载 384 NVIDIA CUDA cores 和 48 Tensor cores的GPU、2个 NVDLA 引擎深度学习加速器、7路VLIW视觉处理器。可以提供最高21T的算力。这保证了 CyberDog 可以毫无障碍地处理从传感器系统捕获的大量数据，准确领会主人的意图。同时支持2个 MIPI CSI-2 D-PHY lanes、以太网、WIFI/BT、HDMI、多路USB等。

有了这个大脑，这台机械狗甚至可以直接外接显示输入设备变身一台“电脑”，当然并不是我们传统意义上使用的那种个人用电脑，而是用于开发等用途。

![bf694921987c90fbce38f04bb8306227.png][]

Nvidia Jetson Xavier NX

**\#02**

**眼睛-11组高精度传感器**

为了让铁蛋真的像一条狗，小米为其配备了超过11组高精密传感器，包括Intel Realsense D450深度摄像头、AI交互相机、双目超广角相机、TOF传感器、环境光传感器、超声波传感器、惯性测量单元、GPS模组、地磁传感器、光流计、6MIC环型阵列、触摸传感器等。有了这些丰富的传感器，CyberDog就像一个拥有白眼的“感知型忍者”，可以敏锐地感觉都周围流动的“查克拉”，并做出避障、预警等行为。

不仅仅是堆砌硬件，小米手机影像部门还亲自介入，将自己在手机方面深耕多年影像的技术运用至四足机器人领域，将硬件的性能发挥到极致。比如CyberDog的自主跟随能力就是源自人脸识别技术的衍生，以及SLAM建图和导航避障功能都来自影像技术的延伸的视觉探知技术，CyberDog通过影像技术感知环境后，通过算法创建出地图并导航，最终规划出最优路线。

![9328ad28816f1d4cd583a64172429d26.gif][]

**\#03**

**肌肉-自研伺服电机**

CyberDog全身的自由度是12，单腿的自由度是3，即每只脚大腿关节处有两个电机，小腿关节处有一个电机，共12个电机。12个电机的组合让CyberDog可以自由地做出奔跑、跳跃、空翻等高难度动作。据悉，这12个伺服电机均由小米自研，单个最大扭矩达32N·m，最大转速为220rpm，可以让这只14KG重的CyberDog以11.5km/h的速度前进，这个速度大概和一个普通人晨跑的速度相当，让主人带着CyberDog跑步遛狗成为可能。

![dfd51f0e11be257e94bd6f414f9584cc.gif][]

![be413f536b86a332a4780e70699b9920.png][]

**伺服电机性能参数**

**\#04**

**小脑-全志MR813**

CyberDog“小脑”使用的国内知名芯片设计厂商全志科技的**Allwinner MR813**。MR813将负责MPC算法的执行、运动控制、电源系统管理和OTA系统管理等工作。即CyberDog的四只脚以及上面的12个伺服电机，都将在MR813的控制下有序地行动，让CyberDog不会出现顺拐或者“扑街”。

**MR813**是全志针对运动机器人市场推出的高性能SoC，4核A53架构，主频高达1.6GHz，拥有丰富的音视频接口和运动驱动接口。

据悉，MR系列芯片已经在在扫地机器人产品上被广泛应用，其中包括小米、石头、追觅等知名厂商。本次CyberDog使用MR813也是复用追觅已经成熟的运动驱动模块，**这样可以保证产品的性价比、稳定性和可量产性。**

也就是说，MR813在其它产品上都是作为“大脑”，而在CyberDog中只用作“小脑”，可见MR813性能的强大，也透露出小米对CyberDog用料选项的踏实和良心。

CyberDog的MPC算法使用的则是知名开源四足MPC算法 MIT Mini Cheetah。对于仿生四足机器人MPC算法的研究一直是近年的热点。MIT这套算法广受开发者欢迎，许多DIY开发者甚至专业厂商，都会基于这套算法进行开发。MR813则是为算法的运行提供了一个高效稳定的环境。

![3366501fcb0e340c501dfed3ddc26a3d.png][]

MR813系统框图

![e59ea2c9d94a624c11919f76584ebd96.png][]

米家扫地机器人1T，使用MR813作为“大脑”

**\#05**

**神经系统-系统整合**

在整体系统框架方面，CyberDog使用的是主流的机器人开源架构ROS 2，它提供一系列程序库和工具以帮助软件开发者创建机器人应用软件，同时提供了硬件抽象、设备驱动、库函数、可视化、消息传递和软件包管理等诸多功能。

其中，Jetson Xavier NX 运行的是Ubuntu 18.04操作系统，11组高性能传感器获取到的环境信息传到Jetson Xavier NX后，由Jetson Xavier NX进行处理，并将运动信息通过千兆网口下发到MR813，由MR813进行运动总控制，分别控制一个MCU进行OTA和电池包的管理和另一个MCU进行电机的控制，与12个高性能伺服电机通过CAN 2.0进行通信。

![9c56171c7780042e4ba540621ae1bca6.png][]

小米CyberDog系统框图

**\#市场前瞻**

目前仿生领域四足机器人的研究比较成熟，世界上最有名的四足仿生机器人研发团队当属波士顿动力，旗下研发的“大狗”系列仿生机器人已经有十几个产品型号分支，**但售价却达到了惊人的7.5万美元（约合人民币48万），**这个价格让很多普通消费者都望而却步**。**

![efd50a2943a4d38f82d4a53062e309d1.gif][]

今年 6 月，国内的宇树科技发布了 Unitree GO1，共有三个版本：**售价 2700 美元的 G01 Air base 型号、售价 3500 美元的 G01 和售价 8500 美元的 G01 Edu**，这个价格可以说率先打开了四足机器人在普通消费人群中的市场，不过碍于功能的不足，依然难以进入大众眼界。

![e05ddc5d15e4f7fab13b22a6d1699747.png][]

也就是说，**Unitree GO1 起步价仅需 1.6 万元人民币**，然而这个价格纪录目前已被小米**9999**的CyberDog打破了。

但是从目前供应链获取到的信息来看，**Jetson Xavier NX核心模块的市场报为3000+元，Intel Realsense D450深度摄像头的市场报价约为1500元**，这两个关键元器件的成本，就已经接近CyberDog硬件成本的一半。**全志的芯片虽然一直以高性价比著称，但是作为一个扫地机器人大脑级别的芯片，再加上12个伺服电机、电池、金属外壳等材料，CyberDog 卖9999元的价格，真的是“交个朋友”了**。截止2021年8月底，CyberDog 产品虽然未交货，但是已经有人以数倍的价格收购名额了。

小米副总裁常程在微博对于**“为什么要做这样一个机器人”**的问题是这样回应的：

**“这还是一项投资未来的决策。**

一方面仿生机器人未来在服务、工程、安防、医疗等诸多领域蕴含着巨大的市场潜力。另一方面小米作为全球化的科技公司，有必要尽早在前沿领域进行几乎布局，夯实专利储备。探索仿生机器人的过程也是在做技术预研，其中机器视觉、导航避障、人机交互、AI语音算法等技术可以反哺手机、智能家居等产品。**”**

与此同时，我们在这个产品中看到了小米强大的模块整合能力，在项目中，分别调动了核心的手机影像部门、小爱同学AI部门、语音算法部门、生态链公司追觅、芯片原厂全志科技等众多部门、合作伙伴，从概念设计到机械结构设计、BSP、算法移植、系统联调到最终产品交付，只用了10个月的时间。

上一次我们看到这样集全集团之力去做一个玩具的场景，是《四驱兄弟》里的三国藤吉集合三国重工最高科技而打造他的疾速眼镜蛇。而这些模块其实也是自动驾驶会用到的技术热点，结合之前宣布造车的消息，**外界猜测，CyberDog其实是在为小米汽车的团队搭建和技术预研做准备**。

![1351d994f5e4956070d901c36d5622c3.png][]

**-End-**

编辑：李泽禧

作者：DOT小文哥

技术顾问：Kirin 、Peng

--------------------

**推荐阅读：**

[专辑|Linux文章汇总][Linux]

[专辑|程序人生][Link 1]

[专辑|C语言][C]

[我的知识小密圈][Link 2]

关注公众号，后台回复「**1024**」获取学习资料网盘链接。

**欢迎点赞，关注，转发，在看，您的每一次鼓励，我都将铭记于心~**

![c3ecd8346d5f4ab697439a23629d05d7.png][]

嵌入式Linux

微信扫描二维码，关注我的公众号

[4fcfe3e98210bfffe2a4b9b94e249ce0.gif]: /images/20220829/b36f4118953d44079da244684dd475a3.png
[4c0e5a09767ff0ce134a9296e2731fc7.gif]: /images/20220829/e812062729f247f482dcb81e54b33c79.png
[ee09f53e25edf29ad1965646e1451760.png]: /images/20220829/c5b5371c861a4dc3846dcc842cef2b3f.png
[2fe21a4670607633e620953304379e20.png]: /images/20220829/185e7139a8814ac2a8735511aa523bf3.png
[bf694921987c90fbce38f04bb8306227.png]: /images/20220829/972ae6e622bd4f01a2cd85b9ffe25164.png
[9328ad28816f1d4cd583a64172429d26.gif]: /images/20220829/95ec85bcf65b46e8865919afe024543e.png
[dfd51f0e11be257e94bd6f414f9584cc.gif]: /images/20220829/4838e9c6a844411fa2244cee2267e5af.png
[be413f536b86a332a4780e70699b9920.png]: /images/20220829/4528a2140a01455f83dcb733a8084af0.png
[3366501fcb0e340c501dfed3ddc26a3d.png]: /images/20220829/d07a117b122c433ba5bd596647c849bc.png
[e59ea2c9d94a624c11919f76584ebd96.png]: /images/20220829/240cc298639c425785ac3489615b4bc2.png
[9c56171c7780042e4ba540621ae1bca6.png]: /images/20220829/186c07b470aa4ceb8713577e02a3cf1d.png
[efd50a2943a4d38f82d4a53062e309d1.gif]: /images/20220829/91eb3d1aca754db2abbd3692fc1e68d2.png
[e05ddc5d15e4f7fab13b22a6d1699747.png]: /images/20220829/2cf8edd404b64a88ac85568664ad075b.png
[1351d994f5e4956070d901c36d5622c3.png]: /images/20220829/cc86c7a861144ed3aafd2ffabb0f6cb3.png
[Linux]: https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzA5NTM3MjIxMw%3D%3D&action=getalbum&album_id=1319528681890709506#wechat_redirect
[Link 1]: https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzA5NTM3MjIxMw%3D%3D&action=getalbum&album_id=1351786687592202240#wechat_redirect
[C]: https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzA5NTM3MjIxMw%3D%3D&action=getalbum&album_id=1377857816341577728#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzA5NTM3MjIxMw%3D%3D&chksm=9042f716a7357e003fc6c87cfacb76508df6c06e14fb9f01c54aca3801f456b9ff5b6ce71ef3&idx=2&mid=2247492044&scene=21&sn=695b9297a39bf2d5a4548a161892d182#wechat_redirect
[c3ecd8346d5f4ab697439a23629d05d7.png]: /images/20220829/6c252deeb42d439ab253c98210493e94.png