能直接编辑对话的软件运用机器学习技术打造逼真影片

迷南。 2022-01-12 00:57 125阅读 0赞

对于电视和电影录制，演员的表现非常重要。到目前为止，如果演员错过了一个关键字，解决方案是重新录制或接受结果，但如果它像文本记录，声音图像你能简单地从中间修改吗？美国研究小组创建了这种编辑会话电影的算法。从电影片段使用相关的声音和嘴巴形状更自然，然后使用机器学习更自然地调整它。即使是编辑过的图像也没有看到太多的缺陷。

你对刚刚说的话不满意吗？然后用软件编辑它。斯坦福大学，普林斯顿大学和马克斯普朗克计算机科学研究所以及Adobe研究团队创建的算法将使未来的电影系统更加简单。如果演员或演讲者说错字或发音错误，程序将收集电影其他部分的各种单词或单词并重新组合单词 - 就像写错字或使用不恰当的单词和修改一样简单它。

在编辑图像的副本时，算法还会查找可以连接在一起的动画片段，以便从原始电影的其他部分生成新素材，但当然，所组装的电影将有大量的时间跳跃和一些视觉缺陷的顺序使电影看起来更自然地，该算法将智慧平滑应用于运动参数，呈现3D动画嘴形状，然后使用神经渲染的机器学习技术将3D模型转换为逼真的，唇形同步的逼真电影。

为了测试系统功能，研究人员进行了一系列复杂的编辑，包括添加，删除或修改单词，甚至翻译成不同语言或创建完整的句子，在对138名参与者的研究中，团队编辑了近60％的内容被评为“真实”，即电影的质量非常接近原作。

本文的第二作者，德国马克斯普朗克计算机科学研究所的学生Ayush Tewari是第一个提出“不需要重新拍摄和修复对话”的可能性的人。 Tewari认为，这种技术对后期制作系统有很大的影响，比如教学电影。根据不同的语言或文化背景进行微调。确实可以想象，这种类型的编辑对于可以节省的成本和时间非常有价值，但它也提出了重要的道德问题。

尽管对非法使用存有疑虑，斯坦福大学博士后研究员Ohad Fried认为值得一试。就像照片编辑软件一样，但最终，人们仍然希望生活在一个照片编辑软件的世界里。

补救措施是，Fried认为研究人员可以开发选择加入水印以识别所有编辑过的内容并提供完整的分类，或开发更好的验证方法以确认该影片用于其他目的。然而，虽然相关研究人员提出了许多措施来避免这种情况，但弗里德强调，没有解决方案可以解决所有问题，观众必须继续保持警惕和谨慎。目前，该算法仍然有限。至少需要40分钟才能将角色的原始对话用作参考。短片不起作用。[fun88公益][fun88]团队继续努力改进系统，但因为还有很多其他方法，所以很容易。为了修改这部电影，弗里德认为现在最迫切的需要是让公众了解电影的编辑，这样每个人都可以考虑和质疑合成内容的真实性。

转载于:https://juejin.im/post/5d08a52ee51d4577555508e2

[fun88]: https://link.juejin.im?target=http%3A%2F%2Fopenbsd.org.tw%2F