【文献学习】Complex-Valued Convolutions for Modulation Recognition using Deep Learning

川长思鸟来 2023-01-08 12:30 136阅读 0赞

### 目录 ###

*  1 简介和创新点
 *   *  1.1 DL中复数的处理综述
     *  1.2 DL对于调制分类的综述
 *  2 系统模型
 *   *  2.1 二维实数卷积
     *  2.2 整合到现有的DL架构中
 *  3 模型参数
 *  4 实验分析
 *  5 思考和收获哦
 *  6 源码和数据集下载

# 1 简介和创新点 #

（1）在文献《Convolutional radio modulation recognition networks》的CNN2模型进行了修改，增加了一个线性变换，提升了调制分类的效果。

（2）使用更简单的卷积模型，通过使体系结构直接计算复数的卷积来提高性能。 未来的工作将研究更复杂的架构，替代的激活功能，批处理规范化等。

（3）主要技术点是将复数数据作为两列实数数组与实值二维卷积和线性组合内核相结合的方法使神经网络能够计算复数的卷积。提出的修改是线性组合运算，因此不需要对现有的卷积架构进行大量更改，因此只需将其放置在传统的卷积层之后。

## 1.1 DL中复数的处理综述 ##

（1）在复合信道中学习特征的方法：（数据包括复数或RGB图片比如频谱图）

*  《Going deeper with convolutions》：减少输入维度到，通过1\*1的卷积，然后学习特征
 *  每个信道学习一组特征
 *  《Convolutional radio modulation recognition networks》：对于所有的信道学习一组特征

（2）《Unitary evolution recurrent neural networks》  
探索了使用复数值对实值正交矩阵进行参数化以稳定RNN训练的方法。 引入了modReLU的激活函数，表示取复数的绝对值

（3）《Better than real: Complex valued neural nets for mri fifingerprinting》  
提出了另一个复数激活函数，该函数在保留信号相位的同时，将幅值的S型信号称为complex cardiod

（4）《Deep Complex Network》  
提出了复数卷积、复数的batch-normalization、复数激活、复数的权重初始化等技术点。但是作者评价该技术无法使网络无缝地计算复数值数据的复数卷积。

（5）Fcnn: 《Fourier convolutional neural networks》  
开发了傅立叶卷积神经网络，该网络利用将输入转换为傅立叶域，从而通过使用Hadamard产品代替计算卷积来加快计算速度。 计算复杂度的降低使得可以将更大的图像输入到网络中，并且能够在更大的内核尺寸上学习特征，但是不能解决无法计算具有复数值输入的卷积的问题。

## 1.2 DL对于调制分类的综述 ##

更好应用于调制分类的神经网络及参考文献如下

*  ResNets:Over-the-air deep learning based radio signal classifification
 *  Fast deep learning for automatic modulation classifification
 *  AlexNet和GooleNet的测试：Modulation classifification based on signal constellation diagrams and deep learning

总结：ResNet 和 LSTM 在不同的信噪比下性能更佳  
《Fast deep learning for automatic modulation classifification》提出使用更复杂的体系结构会带来更好的性能，因为这些方法使用更多的参数，并在学习的映射中引入了新的非线性关系。 但是，尚不清楚它们的优越性能是仅由于参数化的增加还是由于该方法能够学习利用数据中固有结构的特征表示而导致的，尚不清楚。（作者围绕证明这个问题去做出的对比实验）

# 2 系统模型 #

## 2.1 二维实数卷积 ##

作者通过公式证明了：  
2D实值卷积的运算然后与常数矩阵相乘会实现一维复数卷积，其中权重，输入和输出都采用两列复数格式.反过来说，一维的复数卷积可以用二维的实数卷积实现。  
![在这里插入图片描述][20210120112602653.png_pic_center]

其中X表示一维的复数卷积， X D L X\_\{DL\} XDL表示二维的实数卷积。

## 2.2 整合到现有的DL架构中 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center]

采用的是文献《Convolutional radio modulation recognition networks》的CNN2模型。以上图(b)才是作者创新的模型。具体参数见下表  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 1]

对输入进行零填充并执行不带激活函数的标准卷积后，线性变换将通过线性组合更改尺寸为三的张量，从而产生输出，从而保留I和Q结构。  
线性变换增加了学习表示的强度，因为它允许原始I / Q结构在网络中传递，允许增加滤波器大小以更好地处理I和Q分量，并了解实部和虚部之间的关系。  
为了对比实验，作者想要验证复数的神经网络到底优秀在哪，是不是因为复数神经网络的参数变多了，就实现了更好的效果，作者就创建了一个CNN2-260神经网络.该网络的Dense层包含260个节点而不是256个，去对比复数神经网络。在后面的实现分析部分，得出结论，复数神经网络并不是仅仅因为具有更多的参数而表现更好，而是利用了数据的复数结构以及把实数和复数联系起来的学习特征。

# 3 模型参数 #

数据集：[RML2016.10a.tar.bz2][]  
该数据集包含了11中调制方式，8中数字调制，3中模拟调制，信噪比范围【-20，20，2】，22万的样本

50%的训练集，50% 的测试集

# 4 实验分析 #

（1）最大的性能提升在SNR低于-5dB,CNN\_260相对于CNN2效果提升了30%  
（2）复数网络在区分QAM16和QAM64调制时会有更多错误，因为这两个调制具有非常相似的结构  
（3）通过对比验证。得出结论，复数神经网络并不是仅仅因为具有更多的参数而表现更好，而是利用了数据的复数结构以及把实数和复数联系起来的学习特征。

# 5 思考和收获哦 #

（1）作者的思路很新奇，通过修改了已提出的一个模型实现调制分类，这个模型是把复数转成二维的实数去操作的，虽然比原模型的效果更优，但是作者在这过程中并没有从各方面一直介绍自己的模型由多优秀。反而踩自己一脚说，还是不敌复数神经网络。就为了验证“《Fast deep learning for automatic modulation classifification》提出使用更复杂的体系结构会带来更好的性能，因为这些方法使用更多的参数，并在学习的映射中引入了新的非线性关系。 但是，尚不清楚它们的优越性能是仅由于参数化的增加还是由于该方法能够学习利用数据中固有结构的特征表示而导致的，尚不清楚。”  
（2）在调制分类上，因为复数结构的特殊性，复数神经网络相比较实数的神经网络有更优的效果。

# 6 源码和数据集下载 #

[源码下载][Link 1]  
[数据集下载][RML2016.10a.tar.bz2]

[20210120112602653.png_pic_center]: /images/20221119/9f7e4cc526924ac4a3d3fa924344bcb9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/65b079e0f8994d13af3baf6d123d7ad1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221119/6ced8e6ffced45df84a0c724d341dd84.png
[RML2016.10a.tar.bz2]: https://www.deepsig.ai/datasets
[Link 1]: https://github.com/JakobKrzyston/Complex_Convolutions