清华大学朱军：发展安全可靠的AI，为什么依旧任重道远？

今天药忘吃喽~ 2022-09-03 07:30 265阅读 0赞

> 让更多的优秀青年科学家齐聚一堂，实现「启迪、探索、突破」的目标，这正是「青年科学家50²论坛」举办的初衷。

8 月 1 日，「青年科学家50²论坛」开幕，数十位院士与知名高校校长、百余名「科学探索奖」获得者与青年科学家在这一天齐聚深圳。

「科学探索奖」是目前国内金额最高的青年科技人才资助计划之一。自 2018 年设立起，「科学探索奖」已经评选出了共 100 位来自各领域的优秀青年科学家，每位均获得由腾讯基金会资助的 300 万元奖金，并且能够自由支配。

**昨日举办的「青年科学家50²论坛」，正是为所有「科学探索奖」获奖者提供的高水平、跨学科学术交流平台，今年是首次举办，此后每年也将举办一次。**每位「科学探索奖」的获奖者在受资助的 5 年期间，都将来到这个论坛分享至少一次自己的 big idea 和最新探索。

清华大学教授朱军是 2020 年第二届「科学探索奖」信息电子领域的获奖者之一。正如当时的获奖理由所写，朱军教授在贝叶斯人工智能基础理论、高效算法和概率编程方面，都拥有一流的研究成果。今年不到 40 岁的朱军教授，已经是国内机器学习领域首屈一指的人物。

![清华大学朱军：发展安全可靠的AI，为什么依旧任重道远？][AI]

获奖之后，朱军教授决定将「科学探索奖」的奖金继续投入到人工智能的研究上来。**在这场论坛上，朱军教授分享了一些关于「安全可靠人工智能」的思考**，这也是他未来多年笃定的研究方向。

**今天的人工智能，距离安全可靠还有多远？**

人工智能的概念产生最早可追溯到 1956 年的达特茅斯会议，但直到近十年来的第三波人工智能发展浪潮，这一领域才真正地深刻改变了大众生活，甚至攻克了多种人类世界的顶级挑战，比如战胜围棋顶级选手、预测蛋白质结构、击败人类飞行员等等。

![清华大学朱军：发展安全可靠的AI，为什么依旧任重道远？][AI 1]

但当人工智能的发展进入瓶颈期，学界开始思考下一步的方向。来自清华大学的张钹、朱军、苏航三位学者提出了「第三代人工智能」，并在《迈向第三代人工智能》这篇署名文章中首次全面阐述了第三代人工智能的理念。文章提出，第三代人工智能的发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能， 同时利用知识、数据、算法和算力等 4 个要素， 建立新的可解释和鲁棒的 AI 理论与方法，发展**安全、可信、可靠和可扩展的 AI 技术**。这篇综述引发了学界和业界的讨论热潮。

「安全可靠」作为下一代人工智能的核心发展目标逐渐成为共识，数据与算法安全也成为学界和业界人士重点关注的研究主题之一。

在朱军看来，今天的人工智能远远算不上完美。首先是深度学习仍然面临着鲁棒性差的问题，比如很多手机都会配备人脸识别方案，但通过一副打印了特殊纹理图案的眼镜，就能轻松解锁很多手机；再说到安全需求更高的自动驾驶系统，黑客们只需要在标识牌上加上特定图案，就能让系统将限速标识识别为停止标识，导致致命事故的发生；就连 1750 亿参数的 GPT-3，虽然一贯被誉为全科优秀生，但答起题来也有驴唇不对马嘴的时候……

![清华大学朱军：发展安全可靠的AI，为什么依旧任重道远？][AI 2]

AI 为什么出错？如何防止 AI 出错？如果不能解决这些问题，那么 AI 就算不上是安全、可靠。

迄今为止，人类对深度神经网络等 AI 算法的出错机制知之甚少。一方面，数据的不确定性是广泛存在的，一旦遇到对抗样本攻击，哪怕是在一张图片中加上少量的噪音，虽然展示效果对人眼没有影响，但足以让人工神经网络产生误判。另一方面，数据中有用信息量的增长没跟上模型体量的增长，就会造成模型的不确定性。

朱军认为，这些问题都会造成「AI 不知道自己不知道」，而贝叶斯方法恰好能提供一种自然、严谨的不确定性计算方法。

**贝叶斯与深度学习的结合**

对于任何 AI 模型来说，无论开发过程如何，在现实世界中落地的过程一定是极具不确定性的。面对诸多未知，用贝叶斯方法建模是一种解决方法。图灵奖得主、贝叶斯之父 Judea Pearl 是朱军一直以来最崇拜的学者之一，而朱军的工作则推动了贝叶斯方法的「深度」变革，将这一方法在人工智能领域的应用发扬光大。

深度学习本身属于机器学习的一端，它会用到大量的训练样本和计算资源，再加上网络结构的人为调整，在特定环境、特定数据集上得到非常高的准确度。另外一端则是贝叶斯的学习方法，贝叶斯程序可以用少量的训练样本学习非常精确的模型，在数据的利用上更高效，而且对抗鲁棒性好、可解释性强。

![清华大学朱军：发展安全可靠的AI，为什么依旧任重道远？][AI 3]

这种结合贝叶斯方法和深度学习各自优势的研究方向被称为贝叶斯深度学习（Bayesian Deep Learning /BDL），它包括传统的贝叶斯方法、以概率推断（probabilistic inference）为主的深度学习方法，以及二者的交叉，因此它既有贝叶斯本身的可解释性，可以从少量数据中学习，又有深度学习强大的拟合能力。

近年来，朱军重点关注对抗攻击鲁棒性以及不完全信息下的决策问题，在探索的过程中，仍有三个问题要解决：

*  如何融合二者的互补优点，发展统一的概率模型框架？
 *  如何应对高度非线性变换，发展高效准确的推断算法？
 *  如何自动 / 半自动地对模型进行可微分的概率编程？

从 2014 年起，机器学习界开始进行一些探索，朱军团队开发的「珠算」是最早的深度概率编程库之一。和现有的主要为监督式任务设计的深度学习库不同，珠算的特点是其在很大程度上根基于贝叶斯推理，因此支持各种生成模型：既包括传统的分层贝叶斯模型，也有最近的深度生成模型。

2017 年 5 月，朱军团队正式开源了「珠算」，研究者可以利用珠算强大的拟合能力和多 GPU 训练进行深度学习，同时可以用概率模型为复杂世界建模，开发无标注数据，根据贝叶斯推断的原则处理不确定性。「珠算」是首个与 TensorFlow 无缝衔接的概率编程库，全面支持 MindSpore、飞桨、Jittor、OneFlow 等国产平台。

目前，珠算已经支持变分和蒙特卡洛两大类的方法，包括了现在最主流的推理算法。珠算里也有很多已经实现的模型，比如像比较经典的 topic model、矩阵分解、贝叶斯高斯过程、卷积操作等等。新版本的珠算平台还加入了更多的模型实例，主题模型、概率矩阵分解；变分自编码器、贝叶斯神经网络、深度信念网络以及高斯过程。开发者和研究者们可以在珠算平台上使用已有的实现模型，并在此基础上开发新的模型。

朱军总结说，安全可靠的人工智能还需要从技术上进行突破，但也需要关注数据安全、系统安全。要想打造负责任的人工智能技术和应用，仍需群策群力和产学研用的深度合作。

[AI]: /images/20220829/7a2f454daad54fb2aa789eade96990f6.png
[AI 1]: /images/20220829/6717fafb549d44a69a6fec55a121541d.png
[AI 2]: /images/20220829/35a06af3bfaf4fa2b34e332c449d7675.png
[AI 3]: /images/20220829/1dd9ee35fb3a417cabe5fadd0cbd4e4e.png