Python实现基于卷积神经网络的恶意代码分类系统

港控/mmm° 2023-10-15 20:22 48阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88324878  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88324878

### 主要思路 ###

目前针对恶意代码图像进行的分类研究在恶意代码领域总体而言较少，因此本文使用恶意代码样本的反汇编机器码文件，将 B2M 算法改进，生成长宽相同的正方形恶意代码图像，这样就将对恶意代码的分类转为对图片种类的识别。随后对图像进行标准化，归一化等预处理。把预处理完成后的图像利用 Gist 算法，调用 Matlab 软件的接口对其进行特征提取。随后采用搭建好的卷积神经网络模型进行训练，模型中采用了优化卷积核方法，退化学习率方法，批量归一化算法等进行优化处理。训练好模型后，在测试集进行测试，同时使用图形化窗口将其做成系统，可根据所上传恶意代码样本文件进行检测，并返回检测结果。利用预测系统，可大大提高用户对恶意代码文件的防范能力与警觉性。

### 具体实现方法 ###

#### 利用 IDA 实现恶意代码样本反汇编获得其机器码 ####

具体操作步骤：首先打开 IDA 反汇编软件，在软件中打开 exe 可执行文件。

![1f7b4221709ab5b61e9b52202860a757.png][]

可以看见在整个 IDA 窗口里面，存在很多小窗口，有 IDA View-A， Hex View-A，Structures 等等很多窗口，在这么多窗口中，需要的是反汇编生成的汇编码文件以及机器码文件。单击菜单栏 File->Produce file->Create ASM file 即可生成该二进制可执行文件的汇编码文件。

![869cd4064c008b1b61f917c3cdd88a00.png][]

生成机器码文件的过程比较复杂，在 Hex View1 窗口中，可以看到二进制文件的机器码，而后在窗口里单击右键->Text->Show（将 Show 前面的对号取消），则在窗口内显示的就变成了纯机器码。

![82bd3e9f02c6330d3c53c1150747559e.png][]

随后单击菜单栏 Edit， 选择 Select all，就会将所有的机器码选中，这时复制，在一个固定的文件夹下新创建一个名为该 exe 文件原名的 bytes 文件，并将其粘贴进去即可完成机器码文件的生成。或者可以采用其他十六进制文件进行操作，在这里就不一一赘述了。

#### 恶意代码图像的生成 ####

在恶意代码可视化方面，我国的研究人员也取得了一定的成果。早在 2014 年，北京科技大学的韩晓光博士与北京启明星辰研究院合作在通信学报上发表了一篇论文名为《基于纹理指纹的恶意代码变种检测方法研究》，在这篇文章中，韩博士利用 B2M 算法，针对 PE 文件以二进制的形式读取，而后每 8bit 作为一个单位，这样每个单位的范围控制在 0-255 之间，也就是每个像素的实际单位大小，给定固定的宽，而图像的高度选择，为整个文件大小与宽度的比值，使整个文件生成一个固定宽的灰度图的形式，通过上述方法绘制灰度图，恶意代码样本的纹理特征就清晰的可视化表现出来了。

同理，利用上述步骤生成的机器码文件也可以生成该恶意代码样本的灰度图，机器码为十六进制表示，十六进制的字符范围在 0x00-0xff 之间，而其转化为十进制范围同样在 0-255 之间，与二进制文件转化成的恶意代码图像原理完全相同。生成的灰度图如下图所示。

![c9ed01d14f38e197f6b42c9ea9b4cde7.png][]

#### 聚类存放 ####

使用上述步骤将恶意代码样本转为恶意代码图像后，对近万个样本生成的恶意代码图像进行聚类存放，相同家族放在一起。可以观察出其在纹理、色泽等特征方面具有明显的相似之处。下图所示为 Ramnit 家族图像：

![74e192287a6edf5d9a1ed2a3e1ee547d.png][]

下图所示为 Kelihos\_ver1 家族图像：

![433a0423f422c2438f80f64e5d5d5d0a.png][]

#### 图像标准化处理 ####

由于恶意代码样本文件大小不一，而后需要进行特征提取等方面的工作，需故要将所有的图片进行调整图片大小，标准化，归一化等操作。只有在图片大小相同的情况下，标准化，归一化操作进行完成后，对后续的操作即特征提取，作为网络的输入等才会有意义，图像标准化处理算法如下图所示：

![dbb425cc4dbcb52b6473ec1e2a8efe3d.png][]

其中 μ 是图像像素点的均值，x 表示图像矩阵，其中 adjust\_stddev 的值：

![ea55aa7b06a5fa0c23d87548d435c9d5.png][]

其中"α" 表示标准方差，N 表示图像的像素数量。如下图是经过标准化处理后的图片与原始图片的对比。

![51ba079ebfd5f11b11af3d4dee71bad6.png][]

#### 图像归一化处理 ####

图像归一化最常用的方法为最大最小值归一方法，图像归一化处理算法：

norm=  (x_i-min(x))/(max(x)-min(x)).

其中 x\_i 表示图像在第 i 个点处的像素点值，max(x), min(x)分别表示图像像素的最大值和最小值。经过图像归一化处理后，图像的像素点范围由\[0, 255\]转为\[0,1\]之间的实数，这样做有利于后续神经网络对于数据的处理，有助于快速收敛和反向传播。

#### 图像特征提取 ####

图像特征主要有图像的颜色特征，纹理特征，形状特征和空间关系特征。颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。显然，前文中指出的使用 B2M 算法生成的恶意代码图像属于灰度图，并不具备颜色特征。纹理特征也是一种全局特征，它也描述了图像或图像区域所对应的景物的表面性质。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。

Gist 算法作为一种针对图片的宏观特征提取方式，忽略图片的局部特点。其又称为全局特征信息，为场景的低维签名向量。采用全局特征信息对场景进行识别和分类，不需要对图像进行分割和局部特征提取，可以实现快速场景识别和分类。

具体方法为：假设待提取特征的恶意代码图像为 f(x,y)。首先，将其划分为 n×n 的网格，每个网格表示一个子区域，用 c 个通道的滤波器对子区域进行卷积滤波，其中 c 等于滤波尺度和方向数的乘积。然后在每个网格内计算每个通道的平均能量得到特征。将每个网格的特征级联，就得到恶意代码图像的全局 Gist 特征。

![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传][20230724024159.png_origin_url_https_3A_2F_2Fwww.writebug.com_2Fmyres_2Fstatic_2Fuploads_2F2021_2F12_2F31_2F8ff835605e4e146a132f485a5c880b6a.writebug_pos_id_img-nkGdbfCu-1694393523067]

首先 32 个 Gabor 滤波在 4 个尺度，8 个方向上进行卷积，得到 32 个 feature map，大小和输入图像一致。然后把每个 map 分成 4*4=16 个区域，计算每个区域内的均值。得到均值后，就获得了 4*4\*32=512 维向量特征。这个 512 维向量特征作为恶意代码图像的全局特征指纹。

将一幅预处理好的恶意代码图像作为输入，Matlab 中有已经实现好的 Gist 算法，可以直接调用 Matlab 软件的接口，并将输出保存在文件中。下图为算法输出。

![d93f0944358a70cfb64159fb79042113.png][]

MATLAB 代码如下：

function  get_gist(imgname)
    % Load image
    img = imread(imgname);
    % GIST Parameters:
    clear param
    param.orientationsPerScale = [8 8 8 8]; 
    % number of orientations per scale (from HF to LF)
    param.numberBlocks = 4;
    param.fc_prefilt = 4;
    % Computing gist:
    gist = LMgist(img, '', param);
    
    %disp(gist);
    %length(gist)
    %resultName = 'C:\Users\49627\Desktop\two_eight\test_file\gist_pic\';
    
    resultName = './test_file/gist_pic/';
    imgname = regexp(imgname,'/','split');
    imgname = imgname(4);
    resultName = strcat(resultName,imgname);
    resultName =regexprep(resultName,'.tif','.gist');
    resultName = char(resultName);
    fid = fopen(resultName,'w');
    for i=1:512
       fprintf(fid,'%d ',gist(i));
    end
    fclose(fid);
    end

之后使用 python 批量化提取 Gist 特征：

def call_matlab(AllImg):  #  利用os.system() 执行cmd中的命令。
        cmmd = 'matlab -nojvm -nosplash -r "'
        get_gist = "get_gist"
        i = 0
        for img in AllImg:
            cmmd += get_gist +"('"+img+"');"
            if i==10:
                cmmd +='exit"'
                os.system(cmmd)
                print(cmmd)
                time.sleep(4)
                i = 0
                cmmd = 'matlab -nojvm -nosplash -r "'
            i += 1

#### 卷积网络结构 ####

上文使用 Matlab 软件进行 Gist 特征提取，提取结果为\[1, 512\]的二维数组，调整数据形状为\[32, 16\]，输入形状为 32×16×1，第一层卷积核为 5×5，将输入的 1 通道转为 32 通道，第二层使用批量归一化（BN 算法），最大限度的保证输出在同一分布上，第三层为 Relu 激励层，第四层是卷积核形状为 2×2 的最大池化层。第五层为两个卷积核并行的卷积层，两个卷积核形状分别为 3×3，5×5，第六层分别对上一层两个卷积操作进行批量归一化处理，第七层为两个卷积的 Relu 激励层，第八层使用 concat 函数将两个卷积操作后的输出拼合在一起。第九层是卷积核形状为 2×2 的最大池化层。第十层输出 1024 节点的全连接层，第十一层为 Relu 激励层，第十二层为 dropout 层，随机的选择一些数据进行丢弃，降低对小概率异常数据的学习机会。第十三层为 9 个节点的全连接层，最后归为 9 类。第十四层为 softmax 层。网络层次结构如下图所示：

![11bbc1e3032a06a7ed5021fcf79de830.png][]

### 数据集、训练设备及结果说明 ###

#### 数据集 ####

本项目所采用的数据集为 2015 年微软公司在 kaggle 上发布的一个项目，项目地址为：[https://www.kaggle.com/c/malware-classification/][https_www.kaggle.com_c_malware-classification]。

数据集解压后为 400G 大小，包括训练样本，测试样本，以及训练样本的标签，标签为一个 CSV 文件，其中详细的标注了训练样本中每一个恶意代码样本的名称以及它所对应的家族种类。

系统样本库中所使用的九类恶意代码家族种类为：Ramnit，Lollipop，Kelihos\_ver3，Vundo，Simda，Tracur，Kelihos\_ver1，Obfuscator.ACY，Gatak。  
以下是每个家族的详细介绍：

*  Ramnit 家族所具备的危害为感染 Windows 可执行文件和 HTML 文件并尝试允许远程访问的病毒的检测。
 *  Lollipop 家族所具备的危害为此广告软件程序会在您浏览网页时显示广告。它还可以重定向搜索引擎结果，监控您在 PC 上执行的操作，下载应用程序以及将有关 PC 的信息发送给黑客。
 *  Kelihos\_ver3 家族所具备的危害为可以分发垃圾邮件，其中可能包含自身安装程序的 Web 链接。它还可以连接到远程计算机以交换配置数据以及下载和执行任意文件。
 *  Vundo 所具备的危害为提供“脱离上下文”的弹出式广告，下载和运行文件，经常作为 DLL 文件传播，并在未经您同意的情况下作为浏览器帮助对象（BHO）安装在您的 PC 上。
 *  Simda 所具备的危害为威胁可以为您的 PC 提供恶意黑客后门访问和控制。然后，他们可以窃取您的密码并收集有关您 PC 的信息。
 *  Tracur 所具备的危害为运行时，此脚本会将“ explorer.exe ”进程添加到 Windows 防火墙例外列表中，以故意降低系统安全设置。
 *  Kelihos\_ver1 所具备的危害为可以分发垃圾邮件，其中可能包含自身安装程序的 Web 链接。它还可以连接到远程计算机以交换配置数据以及下载和执行任意文件。
 *  Obfuscator.ACY 所具备的危害为这种威胁一直是“obfuscated“，这意味着它试图隐藏其目的，因此您的安全软件无法检测到它。混淆之下的恶意软件几乎可以用于任何目的。
 *  Gatak 所具备的危害为收集有关您的 PC 的信息并将其发送给黑客。它可以作为密钥生成器应用程序的一部分到达您的 PC，或者看起来是合法应用程序的更新。

**样本数据共 10860 个，本实验采取随机抽样来分割训练样本和测试样本，即在任意类别中以 4：1 进行切分数据。训练样本共有 8686 个，测试样本有 2174 个。**

#### 训练设备环境配置 ####

*  CPU 40 核
 *  内存 256G
 *  Ubuntu 系统；
 *  python3.6；
 *  python 装有以下库：numpy， tensorflow， pyqt5， cv2；

#### 结果 ####

在测试集上准确率表现为 98.758%，交叉熵表现为 0.0858844。训练与测试如下图所示：

![0c6a55f29bbb7b8c561fdd1307374f32.png][]

#### TensorBoard 可视化 ####

在训练网络的代码中添加 TensorBoard 模块的 API，生成日志文件，随后使用日志文件观测训练是否正常，准确率 accuracy，交叉熵 loss 如图所示：

![64573a69adb32e40ac46467ba85e984c.png][]

![81d7807140c58faec34f26ecd67ff5ad.png][]

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88324878  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88324878

[Link 1]: https://download.csdn.net/download/sheziqiong/88324878
[1f7b4221709ab5b61e9b52202860a757.png]: https://img-blog.csdnimg.cn/img_convert/1f7b4221709ab5b61e9b52202860a757.png
[869cd4064c008b1b61f917c3cdd88a00.png]: https://img-blog.csdnimg.cn/img_convert/869cd4064c008b1b61f917c3cdd88a00.png
[82bd3e9f02c6330d3c53c1150747559e.png]: https://img-blog.csdnimg.cn/img_convert/82bd3e9f02c6330d3c53c1150747559e.png
[c9ed01d14f38e197f6b42c9ea9b4cde7.png]: https://img-blog.csdnimg.cn/img_convert/c9ed01d14f38e197f6b42c9ea9b4cde7.png
[74e192287a6edf5d9a1ed2a3e1ee547d.png]: https://img-blog.csdnimg.cn/img_convert/74e192287a6edf5d9a1ed2a3e1ee547d.png
[433a0423f422c2438f80f64e5d5d5d0a.png]: https://img-blog.csdnimg.cn/img_convert/433a0423f422c2438f80f64e5d5d5d0a.png
[dbb425cc4dbcb52b6473ec1e2a8efe3d.png]: https://img-blog.csdnimg.cn/img_convert/dbb425cc4dbcb52b6473ec1e2a8efe3d.png
[ea55aa7b06a5fa0c23d87548d435c9d5.png]: https://img-blog.csdnimg.cn/img_convert/ea55aa7b06a5fa0c23d87548d435c9d5.png
[51ba079ebfd5f11b11af3d4dee71bad6.png]: https://img-blog.csdnimg.cn/img_convert/51ba079ebfd5f11b11af3d4dee71bad6.png
[20230724024159.png_origin_url_https_3A_2F_2Fwww.writebug.com_2Fmyres_2Fstatic_2Fuploads_2F2021_2F12_2F31_2F8ff835605e4e146a132f485a5c880b6a.writebug_pos_id_img-nkGdbfCu-1694393523067]: https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=https%3A%2F%2Fwww.writebug.com%2Fmyres%2Fstatic%2Fuploads%2F2021%2F12%2F31%2F8ff835605e4e146a132f485a5c880b6a.writebug&pos_id=img-nkGdbfCu-1694393523067
[d93f0944358a70cfb64159fb79042113.png]: https://img-blog.csdnimg.cn/img_convert/d93f0944358a70cfb64159fb79042113.png
[11bbc1e3032a06a7ed5021fcf79de830.png]: https://img-blog.csdnimg.cn/img_convert/11bbc1e3032a06a7ed5021fcf79de830.png
[https_www.kaggle.com_c_malware-classification]: https://www.kaggle.com/c/malware-classification/
[0c6a55f29bbb7b8c561fdd1307374f32.png]: https://img-blog.csdnimg.cn/img_convert/0c6a55f29bbb7b8c561fdd1307374f32.png
[64573a69adb32e40ac46467ba85e984c.png]: https://img-blog.csdnimg.cn/img_convert/64573a69adb32e40ac46467ba85e984c.png
[81d7807140c58faec34f26ecd67ff5ad.png]: https://img-blog.csdnimg.cn/img_convert/81d7807140c58faec34f26ecd67ff5ad.png