Robust Network Traffic Classification

阳光穿透心脏的1/2处 2022-05-14 00:21 158阅读 0赞

## 摘要 ##

*  提出RTC（Robust statistical Traffic Classficiation）模型解决zero-day应用问题。
 *  提出用于RTC模型参数自动优化的方法。

## Introduction ##

*  三种主流流量分类问题的解决方案

基于端口（port-based）
        - 依赖于检测标准端口，     - 缺点：不使用标准端口和端口混淆 
        基于payload（payload-based）
        - 在IP包的payload中寻找签名信息     - 最普遍的，但处理不了加密流量 
        基于流统计（flow statistics-based）
        - 与机器学习结合     - 使用流的统计特征，不需要深入检测pcap包

*  zero-day app：previously unknown in traffic.
 *  传统分类方法将zero-day app误分为已知类，导致分类精度低。
 *  这篇论文主要为了解决这个问题，贡献有以下三点：

1.提出RTC模型解决zero-day问题，用到了监督学习和无监督学习方法。
    
    2.提出了从无标签流量中提取zero-day流量的方法。
    
    3.提出用于RTC模型参数自动优化的方法。

论文其他章节概述：

第二章，基于统计特征的流量分类方法的评论；
    第三章，阐述RTC方法；
    第四章，参数优化方法；
    第五章，实验评估；
    第六章，对提出的RTC模型的讨论；
    第七章，总结；

## Related Work： ##

*  当前检测流量分类的主流研究方向是基于统计学习的方法，可以绕过基于端口和基于payload方法存在的一些问题，比如动态端口、混淆端口和加密流量等。
 *  ip ——-> \[ source IP, source port, destination IP, destination port, transport protocol \]

## RTC模型: ##

*  如何获取有效的zero-day traffic samples是解决这个问题的关键？基于一个观察——无标签的网络流量中包含zero-day 流量。  
    ![RTC framework][]  
    RTC包含三个模块：

1.Unknown Discovery
    在无标签的网络流量中自动发现zero-day流量
    
    2.“bag of flows” (BoF)
    用标签数据和zero-day流量构建分类器
    
    3.system update
    自动构建新的类来补充系统的知识

### A. Unknown Discovery ###

*  从没有标签的网络流量中提取zero-day流量  
    ![算法1][1]  
    
    
    *T**l*集合:表示打好标签的已知类;*T**u*集合:表示没有打标签的类，直接从网络流量中抓取，既包括已知类，也包括*z**e**r**o*−*d**a**y*流量  T l 集 合 : 表 示 打 好 标 签 的 已 知 类 ; T u 集 合 : 表 示 没 有 打 标 签 的 类 ， 直 接 从 网 络 流 量 中 抓 取 ， 既 包 括 已 知 类 ， 也 包 括 z e r o − d a y 流 量 
 *  第一步：将上述两个集合合并为一个集合T，对合并后的T集合用K-means聚类（选择较大的K，最后获得的类的纯度更高）。如果聚类之后的一个cluster中不包含任何带标签的样本，就将这个cluster暂时的划分为zero-day traffic。
 *  第二步：
    
    用上一步获取的*c**l**u**s**t**e**r*构造一个通用的*z**e**r**o*−*d**a**y*类，与原来的带标签的*T**l*（*N*类）数据集训练一个随机森林分类器，变成一个多分类（*N*\+1分类）任务。用训练好的分类器预测*T**u*集合,将分类器预测为*z**e**r**o*−*d**a**y*的放入集合*U*  用 上 一 步 获 取 的 c l u s t e r 构 造 一 个 通 用 的 z e r o − d a y 类 ， 与 原 来 的 带 标 签 的 T l （ N 类 ） 数 据 集 训 练 一 个 随 机 森 林 分 类 器 ， 变 成 一 个 多 分 类 （ N + 1 分 类 ） 任 务 。 用 训 练 好 的 分 类 器 预 测 T u 集 合 , 将 分 类 器 预 测 为 z e r o − d a y 的 放 入 集 合 U 
 *  到此，筛选出zero-day应用。

--------------------

### B. BoF-Based Traffic Classification ###

*  提高流量分类的准确率  
    ![算法二][70]
 *  Flow correlation: in a short period of time, the flows sharing the same destination IP, destination port, and transport protocol are generated by the same application/protocol.  
    在很短的一段时间里，目的IP、目的端口和传输协议相同的IP包被认为是有相关关系的流，这些相关关系的流合并到一起，构成“bag of flows”（类似自然语言处理的词袋模型）。
 *  提高测试集的分类准确率，一个测试集分为若干BoF，对每一个BoF执行算法2的步骤。
 *  *f**b**o**f*(*X*)=Ω*x*∈*X*(*f**c*2(*x*))*f**c*2表示随机森林分类器，Ω是联合投票方法  f b o f ( X ) = Ω x ∈ X ( f c 2 ( x ) ) f c 2 表 示 随 机 森 林 分 类 器 ， Ω 是 联 合 投 票 方 法 
 *  证明：  
    ![证明][70 1]

### C.System Update ###

![算法三][70 2]

## Parameter Optimization ##

![这里写图片描述][70 3]  
unknown discovery模块的目的是发现zero-day流量，就是想把预测为zero-day流量而实际不是的情况降到最低，因此不是选择准确率，而选择FPR作为评价标准。  
![这里写图片描述][70 4]  
\- 理想情况：to search for a maximum k that does not produce false positives. 寻找不产生负正例(实际为负，预测为正)的最大k值，也就是寻找的数据集中判的比较严（宁可不招这一批士兵，也不能让混进一个敌人，严格把关、筛选zero-day流量）。  
\- 此时对应图中FPR为0的情况，但是FPR为0的代价就是TPR值非常低。通过实验发现，当FPR为一个较小的值3%时候，对应TPR值较高。经过多次实验，选择3%作为基准FPR。  
\- 搜索聚类参数k，基于FPR随着k单调递增这个依据。用二分查找搜索最佳k值，找k值的标准是使FPR为3%。  
![这里写图片描述][70 5]

## 实验评估 ##

![这里写图片描述][70 6]

![这里写图片描述][70 7]

[RTC framework]: /images/20220514/1c87085da9c04caf8b3b5f62a294d44c.png
[1]: /images/20220514/131cf84389364242be58165746bcf226.png
[70]: /images/20220514/3aa82271290d4140a0c2f1579e9cddbe.png
[70 1]: /images/20220514/30e306a080f845448b25a41afd8f9a21.png
[70 2]: /images/20220514/929b4cce4fd74f028e63f7e5d18a04c3.png
[70 3]: /images/20220514/92fb49342b084a2cb683ee84009f2124.png
[70 4]: /images/20220514/acccccab9e5a47eba699065130dd80f3.png
[70 5]: /images/20220514/3bac64ee061b479e8fdf76f47bb25048.png
[70 6]: /images/20220514/35d33f6e0cc0489fb5d4640c5425b96e.png
[70 7]: /images/20220514/867f92981d404d078c382eff8eeca44a.png