处处是“垃圾”：人工智能太缺高质量数据了！

短命女 2022-12-25 12:57 151阅读 0赞

![format_png][]

全文共**2611**字，预计学习时长**7**分钟

#     #

![format_png 1][]

图源：blazent

某种程度上讲，人工智能已经超越了我们过去最大胆的想象；但再看实际中，Siri甚至无法告诉用户今天天气如何。

问题在于什么呢？创建高质量的数据库来训练和测量我们的模型仍然是件无比困难的事情。我们本应能在一天内收集到20000个标签来训练Reddit分类器，但实际相反，我们等待了三个月并得到了一个满是垃圾邮件的训练集。

四年前，AlphaGo打败了世界围棋专家们，大型科技公司们对每一个能接触到的机器学习创业公司进行了人才收购，《纽约时报》宣称道“机器学习将对计算机技术进行彻底改造”。

![format_png 2][]

2016年，DeepMind开始建造一个人工智能来玩《星际争霸2》，到2019年底，名为“AlphaStar”的人工智能程序达到了大师级成就。

好像不用几年，Alexa就将会占领我们的家园，而Netflix会比我们的朋友更好地提出电影建议。

在那之后发生了什么？

更快的GPU放弃了训练神经网络的消耗，并允许越来越大的模型得到训练。新型工具们使基础建设工作更加的简单。

能够学习运行更主观的任务的新型神经网络结构也得到了发展。比如说OpenAi的GPT-3模型，这是一个语言生产器，能够撰写博客文章且拿下黑客新闻网站的头条。

![format_png 3][]

一个关于生产效率的GPT-3写的博文拿下了黑客新闻的头条。

那么改革发生在何处？

所以为什么人工智能还没占领世界？为何人们虽然能用GPT-3来生成博文，但是社交媒体公司很难将煽动性的内容从订阅源中剔除?为何有了超人类的星际争霸算法，但电商们仍在推荐我再买一个吐司机？为何模型们能够合成现实的图片（和电影）但却无法面目识别？

![format_png 4][]

模型正在进步，而数据仍止步不前。模型们在数据集上受到训练，而这些数据集仍存在有错误，且和创作者真正想表达的鲜少相符。

现在的数据怎么了？来也垃圾，去也垃圾

在某些情况下，数据是在基于类如链接和用户协议的代理商上进行训练。

![format_png 5][]

比如说，社交媒体推文不是为了提供用户最佳体验而得到训练；相反，它们只是对链接和协议充分利用，这是最简单的数据获取途径。

但是点赞量与数量无关，骇人听闻的阴谋论非常捉人眼球，但是你真的想在你的推文中看到他们吗？这样的错误匹配导致了许多意料之外的副作用，包括有点击诱饵的激增，政治上的虚假信息广泛传播，充满恶意的、煽动性的内容广泛存在。

在另一些时候，模型在这样的数据集上进行训练：由非母语使用者或由那些知道低质量的结果永远不会被检测到的工作者创立的数据集。以下面推文为例：

![format_png 6][]

一个典型的标记器会识别到“bitches”，“fucking”和“shit”并将此推文标记为有害的，不管这些谩骂其实是基于一个正向的，向上的态度。在训练集中这样的情况出现过无数次。数据定义模型。如果数据是错误标记的垃圾，没有一位机器学习专家能够防止模型也同样无用无效。

我们需要怎样的进步？

数据集问题引起了一大堆问题。

当遇到运行不佳的模型时，工程师们花费数月的时间来修补产品特征和新的算法，未曾意识到问题存在于他们的数据当中。本应用来凝聚亲情和友情的算法，相反之下，带来了炽热的情绪和愤怒的评论。如何解决这些问题呢？

·        熟练且高质量的，能够理解你正尝试去解决的问题的标记器

虽然AI系统越来越复杂，我们需要先进巧妙的人类标记系统来教导和测量它们的性能。想想那些对世界有足够了解的模型，可以对误导的信息进行分类，或者那些可以增加时间而不是点击的算法。

这种复杂程度不会因为多用低技能工人而提高。为了让我们的机器了解仇恨言论，并识别算法的偏见，我们需要高质量的、它们自己也了解这些问题的标签力量。

·        给机器学习小组和识别器交流的空间

机器学习模型在不断变化着。今日被识别为垃圾邮件的信息明天可能不会如此，而我们永不可能对标记口令的每一个边边角角都有所掌握。

正如构建产品是用户和工程师之间反馈驱动的过程一样，创建数据集也应该如此。当数一张图片中的脸时，卡通人物算吗？当标记仇恨言论时，引号在哪里？标记器在浏览了成千上万的例子后发现了歧义和见解，为了最大化数据质量，我们需要双方进行沟通。

·        目标功能与人类价值观一致

模型常常是在数据集上训练的，而这些数据集仅仅是它们真实目标的近似值，从而导致了意想不到的分歧。

例如，在人工智能安全的辩论中，人们担心机器智能发展到威胁世界的程度。另一些人则反驳说，这是一个在遥远的未来才会出现的问题——然而，看看今天科技平台面临的最大问题，这不是已经发生了吗?

例如，Facebook的使命不是获得“赞”，而是将我们与朋友和家人联系起来。但是通过训练其模型来增加喜好和互动，他们学会了传播那些高度吸引人的内容，但也会带来伤害和误导。

如果Facebook能将人类价值观注入到其培训目标中会怎样？这并不是一个幻想：谷歌搜索已经在其实验过程中使用了人类评估，我们正在构建的人工智能系统也致力于这样做。

![format_png 7][]

一个数据驱动的AI未来

从核心而言，机器学习是关于教导计算机按照我们所想的方式工作，而我们通过示以正例的方法来实现目标。所以为了构建高质量的模型，一个机器学习工程师需要掌握的最重要技能不应该是构建高质量的数据集，并确保他们与手头的问题相符吗？

最终，我们关心的是AI能否解决人类的需求，而不是它是否超过了人工基准。

如果你在处理内容调节，你的数据集是检测到了恶意言论，还是也捕捉到积极向上、振奋人心的谩骂？

如果你正在建设下一代的搜索和推荐系统，你的数据集是在设置模型的相关性和质量，——还是令人入迷的误导和引诱点击？

创建数据集不是学校里教的东西，对于那些花了数年时间研究算法的工程师来说，专注于arXiv中最花哨的模型是很容易的。但如果希望人工智能能够解决自己的现实需求，我们需要对定义模型的数据集进行深度思考，并赋予它们一定的人文色彩。

![format_png 8][]

**推荐阅读专题**

[![format_png 9][]][format_png 9 1]

[![format_png 10][]][format_png 10 1]

[![format_png 11][]][format_png 11 1]

[![format_png 12][]][format_png 12 1]

![format_png 13][]

**留言点赞发个朋友圈**

**我们一起分享AI学习与发展的干货**

编译组：欧舒蔓、周婷

相关链接：

https://medium.com/swlh/we-need-new-infrastructure-for-the-next-ai-revolution-e1879f72550f

如转载，请后台留言，遵守转载规范

**推荐文章阅读**

[ACL2018论文集50篇解读][ACL2018_50]

[EMNLP2017论文集28篇论文解读][EMNLP2017_28]

[2018年AI三大顶会中国学术成果全链接][2018_AI]

[ACL2017论文集：34篇解读干货全在这里][ACL2017_34]

[10篇AAAI2017经典论文回顾][10_AAAI2017]

**长按识别二维码可添加关注**

**读芯君爱你**

![format_png 14][]

[format_png]: /images/20221120/5dad091523824f3182c95baacf0f76e5.png
[format_png 1]: /images/20221120/db0cdfa043254e28929bdb839d0fb4fb.png
[format_png 2]: /images/20221120/ab6cde42f9ab491cae13900cf5288562.png
[format_png 3]: /images/20221120/8a09513d73774b8792321c90f1825b48.png
[format_png 4]: /images/20221120/d48070ad8cbb4cdb88284369fb6720d7.png
[format_png 5]: /images/20221120/b551a44a3b1b4037a30acf6bd46530e3.png
[format_png 6]: /images/20221120/03012468a45141d5b3abec0f9f7d810d.png
[format_png 7]: /images/20221120/a7d13fe4be5f4ffab39fb607b3136110.png
[format_png 8]: /images/20221120/1e3747b66e4b4e9a9678d58b0ad27e81.png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4a0czZ0ExUVNleW1zeGduNVdpYmJSeHNOSGdVbmhOWkZDU3ZZdm4wM0s3TXRnV2xoYUJXU214Y29mamxNbmljZ1Bud2p0R0QwbGFiZGxnLzY0MA?x-oss-process=image/format,png
[format_png 9 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d2bb194670056d7ed973cf4349656e20d98bd139d8a5d99526a799fb243f8d&idx=1&mid=2247493138&scene=21&sn=d2fa895e71260f2576fa952cf2487522#wechat_redirect
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4azV1aWJCSWpWWkR3MGhqY1ZQTVNtQU5Ld1RwOXJ0VzhSSVA5WjNPalpPV0x5cWxiTm1tSWRQdGNETWlhRzlHUzAxSUN6UmVMaWNYTElpYWcvNjQw?x-oss-process=image/format,png
[format_png 10 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cf9a7136dfb1352cf9fb1127b3061293cf716f8ee95b4560e694fce20a1e24&idx=2&mid=2247493135&scene=21&sn=5711dc1074411b7e45b40eb34fecc648#wechat_redirect
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4bE9NdXV6UHFKcmlidkNQekNWWVV4VHRSMWljNVBpYnhKaWJXaWNlTm1DZDVNdm1pYzFWcHgzSWdyODFHUmlhbk9pYmFZcUN0N1FkaHl0eWhpYkNSZy82NDA?x-oss-process=image/format,png
[format_png 11 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d28ed77a111732be52384c9be414e0aad59c570ada6b29278755d066ae2090&idx=2&mid=2247493138&scene=21&sn=e45fe93b00342ba9eac222f24369d036#wechat_redirect
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4blZ2QTBrSmdXbTVqR1JBbXhSYUw5amx4SmFDQnhvMTdjeDU3OXdWVWNPRUxlNEZrUGt4YXVQRGVCUHdSSWZMM2xLaWFhQ3VwNWZOaWNRLzY0MA?x-oss-process=image/format,png
[format_png 12 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cfbc27f47a160ee926a706f1b3151c53f707c8f221fde0ea51446aabe2148d&idx=1&mid=2247493135&scene=21&sn=cce4cc400933c960a3200fd0dfa4d0a7#wechat_redirect
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9QTFNBaHVFbEZ4bXl1ZjA0ckNGWE8walI5MGNTdnNUaWFsZkNpY3duUGhoRExrajJKdmFNVHEzRHNaN25ZZ1gyNWxueGd2THh5WWhDMktMNmlheUJjUHpsdy82NDA?x-oss-process=image/format,png
[ACL2018_50]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87ee2addf0673cae27c598a097f5addad5d81b2ed766e570f20fc0fb12b77c5cf34098022e&idx=1&lang=zh_CN&mid=2247489276&scene=21&sn=98e22e2b69478303f1f1a0a51e712570&token=192322725#wechat_redirect
[EMNLP2017_28]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87eaadddf063bb3ab4ec5af616612a45f8d4fe9a5ad558f66278478296060253c1564bd05c&idx=1&lang=zh_CN&mid=2247488123&scene=21&sn=a55185f3a693f7a5d85b1abe3dd36177&token=140500370#wechat_redirect
[2018_AI]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f6ebddf07ffd8e84bcc18d7122f894b6cf5dc967daad9c2e122edb22968fd6f589d6852f&idx=1&mid=2247487037&scene=21&sn=37cd38b305aa874c29d764361c88a202#wechat_redirect
[ACL2017_34]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f59addf07c8c2480dd46784a431612d099d3d0531449aa8e64f68b3ba340363578d95659&idx=1&mid=2247486796&scene=21&sn=a8ae95efbf16985a259c4cd66bf919f2#wechat_redirect
[10_AAAI2017]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&idx=1&lang=zh_CN&mid=2247487100&scene=21&sn=3bd640ec4f00c5104664687194dd9a51&token=77118319#wechat_redirect
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9RR2o3V0YzbFIwUnhhOU42aEo4eFFwdnNaR2ljR09LSXBpYWtCOXlQQjl3RlFvMWliYVB3ZU9qcDFkYndpYWUzdXg4OERXRWg1dExFcHo2S0pqemNVSDVwOWcvNjQw?x-oss-process=image/format,png