快手Y-tech：短视频智能创作的CV技术和发展趋势

﹏ヽ暗。殇╰゛Y 2022-10-07 07:54 350阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

文章来源 快手Ytech

近日，2021全球人工智能技术大会在杭州召开。本次大会汇集来自世界各地的人工智能领域专家，共同为人工智能的未来发展建言献策。在6月5日召开的计算机视觉专题论坛上，快手Y-tech部门AI技术平台负责人万鹏飞受邀发表了题为《短视频UGC智能创作中的计算机视觉技术》的演讲，从产业的角度分享了计算机视觉技术在短视频智能创作方向的应用和发展趋势。

![736352fc1b28835ca2a97706e30be52d.png][]

**快手深耕短视频内容创作生态，UGC智能创作降本增效**

作为国民短视频社区，快手用户日均使用时长99.3分钟，整体日活达3.792亿。在庞大的用户与流量基础上，快手形成了富有活力的内容创作生态，平台内有300亿+原创视频库存，每月新增创作者1000w+。其中大部分内容是广大普通用户创作的，即UGC（User Generated Content）。据万鹏飞介绍，UGC强调人机协同，内容创作的主体是人，技术辅助人做创作；智能创作则强调技术有一定的自动化能力，可在内容创作中起到“降本增效”的作用。对应到实际产品中，快手系产品的UGC智能创作主要涵盖了三大类功能：人像美化功能、影音特效功能和独立创作工具。

人像美化功能：快手的人像美化功能包括美颜、美型、美体、美妆、滤镜、画质增强等。除经典的基于图形图像处理的技术方案外，快手将基于深度学习的CV技术融入到了人像美化中，大幅提升了用户体验。例如用神经网络来提高人像照片的画质或让照片中的人更年轻，以及通过环境光照估计使美妆效果在实际场景中更加自然等。

![a1235bc9edcfd1b7b2a8430de255effb.png][]

影音特效功能：除了常见的各种人脸AR装饰外，特效功能的含义非常广泛，包括但不限于各种玩法道具、贴纸动效、视频模板和小游戏等。例如万物AR玩法是用摄像头扫描通用物体并触发效果（如让湿纸巾跳舞），活照片玩法可以使一张图按照特定方式动起来（如前阵子很火的“蚂蚁呀嘿”），这些都是特效技术的范围。

![7fb846d58d8c3558d960eab37be06676.png][]

独立创作工具：快手此前已经推出“快影”和“一甜相机”等多款受欢迎的工具产品帮助用户进行视频和图像的专业创作，最近还刚发布了一款主打高清修图的“原片”app。除这些产品外，此次大会上万鹏飞重点介绍了另外两个比较特别的独立创作工具。

第一个是虚拟偶像创建和开播工具—A站面捕助手，用户能以很低的成本创造自己的虚拟形象，并让虚拟形象跟着自己动起来，进行直播互动和内容生产。大大降低了普通人或商家拥有和运营属于自己的虚拟偶像的门槛。

![8c7151349b42c22ba4d010f0d2ed5539.png][]

第二个是快手特效开放平台—必扬特效平台，在这个平台上，人们可以设计和创造自己的特效玩法，发布到快手让更多人体验，并可获得平台激励。通过这个方式，短视频平台、特效创作者、特效消费者形成了一个互利共赢的生态。

![6fd80d77576813cdfc9ff0ab979e6347.png][]

**CV****技术助力快手短视频智能创作，五大变化传达技术发展趋势**

短视频UGC智能创作各种功能的实现大多依托于（但不仅限于）计算机视觉技术，即CV技术。在演讲中，万鹏飞从产业应用的角度，按照人体感知与重建技术、环境感知与重建技术、像素级语义分析、生成式技术和多模态技术这五个技术方向进行了介绍。

人体/环境感知与重建技术：感知和重建是智能创作的重要前提，也是CV领域的重要课题。主要包括点/框检测、物体/场景识别、动作捕捉、VO/SLAM、3D重建等，这些基础CV技术有力保障了快手用户的创作体验。

![ad62eee6204a1907c00f7bc35e7d163d.png][]

![e00d13ec4031d205dc83b26a8ba92974.png][]

像素级语义分析：这方面用途最广的是分割技术，俗称抠图。除了比较常见的人像分割外，万鹏飞展示了一个快手实时天空分割的案例，不论是窗户的遮挡，还是建筑与天空的连接处，都分割得非常细腻。除各种分割抠图外，有时候也需要对画面中的其他语义信息进行分析，如深度和法线等。

![e8c7d6cbeec15e5b354e62555e5ddcd9.png][]

生成式技术：以生成判别网络（GAN）为代表的生成式技术是近几年非常火热的课题。生成式技术除了可以做各种好玩的特效外（如“童话脸”特效），其应用已深入到智能内容创作的方方面面。例如传统的染发效果是在头发上叠加一层颜色，效果很假。用生成式技术染出来的头发，则更像是现实中实际染上去的效果。

![8ad3f68e3341e25d8c86a7890b8ba207.png][]

多模态技术：现实世界中人们感受和表达信息大多是多模态的。一个短视频，不只有画面，还有声音、文本信息等，因此UGC智能创作也应该对多模态信息进行联合建模。在智能创作方面，多模态技术的落地场景有很多，包括为短视频配乐、配文案，图文转视频，以及文字生成画面等。

以上这些技术在实际落地中会面临很多挑战，包括如何保证算法在各种不同的机型上都能发挥最好的算法效果且保证运行流畅。如何保证用户在各种使用场景中能保证算法的鲁棒性等。这些都是CV技术在实际业务落地时必须考虑和解决的问题。

![329c179249fbd6c300e93a5499147d74.png][]

在演讲的最后，万鹏飞展望了短视频UGC智能创作技术未来发展的五大趋势：“首先是从单模态到多模态，利用多模态信息进行智能创作；第二，生成模型会越来越强大。生成的内容更加逼真，且生成的过程更加稳定可控；第三，内容形态走向虚实融合。虚拟与现实的边界变得模糊，混合现实技术很有前景；第四，从辅助制作到辅助创意，技术需要帮助人们解决内容创作中的创意瓶颈问题；最后，计算模式将走向云边端联合计算，强大的计算能力将为用户解锁更多更智能的创作体验” 。

**快手Y-tech 介绍**

Y-tech团队是快手公司在人工智能领域的探索者和先行者，致力于计算机视觉、计算机图形学、机器学习、AR/VR等领域的技术创新和业务落地，不断探索新技术与新用户体验的最佳结合点。Y-tech在北京、深圳、杭州、Palo Alto有研发团队，成员来自于国际知名高校和公司。

长期招聘（全职和实习生）：计算机视觉、计算机图形学、多模态技术、机器学习、AI工程架构、美颜技术、特效技术、性能优化、平台开发、工具开发、技术美术、产品经理等方向的优秀人才。如果你对我们做的事情感兴趣，欢迎联系并加入我们，一起做酷炫的东西，创造更大的价值。联系方式：ytechservice@kuaishou.com

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![c7d9d90c9f3b12b93ef55b3d1ed95475.png][]

[736352fc1b28835ca2a97706e30be52d.png]: /images/20221005/20fa828d5a1640da86e0523b9b321a5b.png
[a1235bc9edcfd1b7b2a8430de255effb.png]: /images/20221005/ef60c41e92f74590aa6fdd1d3efbf7e7.png
[7fb846d58d8c3558d960eab37be06676.png]: /images/20221005/5696d52420164c2ca57c354e9912e5e0.png
[8c7151349b42c22ba4d010f0d2ed5539.png]: /images/20221005/edd062f1a9d64217a8548d00af8ad37c.png
[6fd80d77576813cdfc9ff0ab979e6347.png]: /images/20221005/f7134aa8016349fcb07d89f51a3111d1.png
[ad62eee6204a1907c00f7bc35e7d163d.png]: /images/20221005/88c69840e28347438a0a4dbf299d55f6.png
[e00d13ec4031d205dc83b26a8ba92974.png]: /images/20221005/f716fa3e4fba4a1cb3acf809ebc1e7d4.png
[e8c7d6cbeec15e5b354e62555e5ddcd9.png]: /images/20221005/9aa123fd8b49446fb68971aa172c3cd7.png
[8ad3f68e3341e25d8c86a7890b8ba207.png]: /images/20221005/3af56d1f3f334a4f99109935ca28eddf.png
[329c179249fbd6c300e93a5499147d74.png]: /images/20221005/f99601bee7384f45934660e7e07f8ad4.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[c7d9d90c9f3b12b93ef55b3d1ed95475.png]: /images/20221005/3e6fb0f9cfe7495f8fd925b5d922a7cc.png