让GAN随音乐律动

拼搏现实的明天。 2023-01-16 04:54 95阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

##### 子豪 发自 凹非寺 量子位 报道 | 公众号 QbitAI #####

用GAN生成画作已经不是新鲜事了，不过你见过“懂音乐”的GAN吗？

一位外国小哥开发的Python工具，能**让GAN生成的图像随音乐律动**，几个小时内就在reddit上收获了**1.5k**个赞。

![a819ab8c9aaceda1aacb1fa5a6ac8518.png][]

这个工具名叫**Lucid Sonic Dreams**，先来感受一下它炫酷的效果：

从它的名字**清晰的声波梦**就能感受到一种梦幻色彩，正如网友所说：

> 这就像海市蜃楼，好像能看出描绘的物体或场景，但是下一分钟，你又会意识到它们并不存在。

![d7d62b4b9fd1c40b47c5eb7718c0b6ed.png][]

而这样的音乐视效，只需几行代码就可以实现，还支持各种自定义，一起来了解一下吧～

## 在输入向量中加入音乐特征 ##

Lucid Sonic Dreams默认使用**StyleGAN2-ADA架构**，并且使用Justin Pinkney的存储库awesome-pretrained-stylegan2中的预训练模型。

根据指定风格的图像数据集进行训练，得到与其风格相似的大量图像。

![d3e878585788c23d11391e2c0e4077e1.png][]

模型首先**从向量生成图像**，图像再通过动态效果来展现音乐。

在图像生成过程中，向模型中输入包含512个数值的向量来决定输出图像，而向量的细微变化，在输出图像中也会产生相应地细微的变化。

因此，Lucid Sonic Dreams将**从音乐的声波中提取**的数值（例如：振幅），添加到输入向量中。对视频中的每一帧都执行此操作，创造出随音乐跳动和变化的艺术效果。

作者开发这一工具的灵感，来自Matt Siegelman的Deep Music Visualizer项目——BigGAN，它能够使其生成的图像与音乐同步变化。

###### ![b34855f71fabd97d351860a195d092d3.gif][] ######

###### **△**图源：Matt Siegelman ######

虽然以前也有一些类似的项目，但Lucid Sonic Dreams与众不同的地方在于，它是能够**实现自定义**的**Python软件包**。

## 可简可繁，满足不同需求 ##

Lucid Sonic Dreams的安装十分简单，只需要运行pip install lucidsonicdreams进行**安装**就可以了。

首先要实现**基本可视化**，代码是这样的：

from lucidsonicdreams import LucidSonicDream
    L = LucidSonicDream(song = 'song.mp3',
                        style = 'abstract photos')
    L.hallucinate(file_name = 'song.mp4')

由此就可以生成抽象风格的视频：

![2221468a64898505e5ee08501182318c.gif][]

如果想要**改变风格**、查看可用风格的列表，可以运行命令：

from lucidsonicdreams import show_styles
    
    
    show_styles()

此外，也可以使用其他风格，只需要将参数值style设为相应的pkl文件路径，就像这样：

L = LucidSonicDream(song = 'raspberry.mp3', style = 'VisionaryArt.pkl')
      L.hallucinate(file_name = 'raspberry.mp4', 
                    pulse_react = 1.2, 
                    motion_react = 0.7, 
                    contrast_strength = 0.5, 
                    flash_strength = 0.5)

例如，使用Jeremy Torman训练的模型生成的效果：

![17abdfae476043cd626cc6a0dfdde97a.gif][]

Lucid Sonic Dreams的默认设置使它用起来十分容易，但除此在外，它也有很多**可调的参数**，作者在Colab上详细地罗列了这些参数。

例如，参数pulse\_react、motion\_react和class\_react，分别控制着3个主要视觉组件：Pulse（脉冲）、Motion（运动）和Class（种类）。

Pulse组件，是指视音乐中打击乐元素的视觉效果。从数学上讲，脉冲是声波振幅临时添加到输入向量的结果，而在下一帧视频中，向量则恢复正常。

![8a4e7ea07d5e4cd4815c60d453dff6f3.gif][]

Motion，指的是视觉效果变形的速度，是将振幅累加到输入向量中的结果。

![9f44f597a7bd37d56a2bc4e745595845.gif][]

Class，则是指生成的图像中对象的标签。例如，利用WikiArt图像训练的样式，共有167个种类，包括：梵高、达芬奇、抽象绘画等。

![55e743f4fa330e1c302e7aa9881131b0.png][]

这些类别由音调控制，具体来说，就是将12个音高映射到12个类别。而这些音高的不同振幅，会影响第二输入向量（类向量）的数值，该向量则决定了模型生成的对象。

此外，参数speed\_fpm控制该运动的速度，该参数为0时，则使图像在歌曲的无声的部分静止。FPM代表每分钟帧数，也就是每分钟初始化的向量数。

在默认情况下，程序还带有与音频中打击乐元素同步的**“对比”和“闪光”效果**，分别通过contrast\_strength和flash\_strength参数进行设置。

调整参数的代码就像这样：

L = LucidSonicDream('pancake_feet.mp3', style = 'modern art')
      L.hallucinate(file_name = 'pancake_feet.mp4', 
                    speed_fpm = 0, 
                    motion_react = 0.8, 
                    contrast_strength = 0.5, 
                    flash_strength = 0.7)

除了这些内置的效果外，Lucid Sonic Dreams还支持**创建自定义效果**。只需创建一个函数，其中至少包含3个参数：

array用来指示应用效果的图像；strength决定对音乐的反应程度；amplitude则是指音乐在任何给定时间点的音量。

然后，将此自定义函数传递给EffectsGenerator对象。比如，利用scikit-image生成旋流效果的代码：

import numpy as np 
      from skimage.transform import swirl
      from lucidsonicdreams import EffectsGenerator  
      def swirl_func(array, strength, amplitude):
        swirled_image = swirl(array, 
                              rotation = 0, 
                              strength = 100 * strength * amplitude,
                              radius=650)
        return (swirled_image*255).astype(np.uint8)  
      swirl_effect = EffectsGenerator(swirl_func,
                                      audio = 'unfaith.mp3', 
                                      strength = 0.2, 
                                      percussive = False)

生成的旋流效果示例：

![778c9bdcdf85b7ff8d08dd4febf7c711.gif][]

如果想要使用其他的GAN架构，只需定义一个函数，将噪声向量和类向量（NumPy数组）作为输入，从而输出图像。

实际上，这个函数可以是将输入向量转换为图像的任何函数，甚至不需要使用GAN。

除此之外，Lucid Sonic Dreams支持**上传分离后的音轨**来控制参数，音乐制作者可以用它作为音乐可视化程序。

例如，使用分离后的打击乐音轨来控制Pulse，同时用一个分离后的“合成和弦”音轨来控制Class：

L = LucidSonicDream(song = 'lucidsonicdreams_main.mp3',
                          pulse_audio = 'lucidsonicdreams_pulse.mp3',
                          class_audio = 'lucidsonicdreams_class.mp3',
                          style = 'wikiart')

既有简便易用的默认模式，又支持各种自定义素材，难怪网友们对它大加赞赏。

> OMG，我认为这是我见过的GAN的最佳用法。

![cae084f8a7ebb4509a2a8e4437bd4cf5.png][]

还有网友想体验一下VR版本：

![68999e20c8191d167fdc190016404c6c.png][]

也有部分“密恐”患者表示：对它又爱又恨！

![d70df4d7c12fb582f66d7a719079ae3e.png][]

Lucid Sonic Dreams在GitHub上开源，感兴趣的小伙伴，快去听个音乐感受一下吧～

相关链接：  
\[1\]https://www.reddit.com/r/MachineLearning/comments/m554cq/project\_new\_python\_package\_sync\_gan\_art\_to\_music/  
\[2\]https://towardsdatascience.com/introducing-lucid-sonic-dreams-sync-gan-art-to-music-with-a-few-lines-of-python-code-b04f88722de1  
\[3\]https://github.com/mikaelalafriz/lucid-sonic-dreams

— **完** —

![0e7a19d6971a66bfce6e7bb9097ed718.png][]

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![1608b73370f92adbfaa98c8960e83e27.png][]

[a819ab8c9aaceda1aacb1fa5a6ac8518.png]: /images/20221022/73c1dfbbc1b14da5ad9095b46799ef35.png
[d7d62b4b9fd1c40b47c5eb7718c0b6ed.png]: /images/20221022/e18dd4e3ade54e678b5f52ab06bb587c.png
[d3e878585788c23d11391e2c0e4077e1.png]: /images/20221022/a0246b7078594b27a337e12e24ddd602.png
[b34855f71fabd97d351860a195d092d3.gif]: /images/20221022/6a7d8d8139a04a6db30ca40aab5bb46c.png
[2221468a64898505e5ee08501182318c.gif]: /images/20221022/40bc2c3c24c147d7ab0b07ac77bd819c.png
[17abdfae476043cd626cc6a0dfdde97a.gif]: /images/20221022/8bf62bf063104b4ebe4f5419e7663523.png
[8a4e7ea07d5e4cd4815c60d453dff6f3.gif]: /images/20221022/503760c237244e61b6b12232bac6fb9f.png
[9f44f597a7bd37d56a2bc4e745595845.gif]: /images/20221022/24a5d6d2ac80484eb6202e55a0715b29.png
[55e743f4fa330e1c302e7aa9881131b0.png]: /images/20221022/e5fcab03ba3f4493bdbff0cfb0b6e82e.png
[778c9bdcdf85b7ff8d08dd4febf7c711.gif]: /images/20221022/5babbe8459054fa884b5c45c0a4581d8.png
[cae084f8a7ebb4509a2a8e4437bd4cf5.png]: /images/20221022/e46835366ec2426aa28c4872438bb33f.png
[68999e20c8191d167fdc190016404c6c.png]: /images/20221022/2ba7cc1b868347878adc3a402664f79a.png
[d70df4d7c12fb582f66d7a719079ae3e.png]: /images/20221022/7aec46956e504bd59a3e1244cd4255a9.png
[0e7a19d6971a66bfce6e7bb9097ed718.png]: /images/20221022/395583d98c8747a992a358b1e40f226f.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[1608b73370f92adbfaa98c8960e83e27.png]: /images/20221022/ee0c49ebe5064167b48ec50391dd0a48.png