《异常检测——从经典算法到深度学习》0 绪论

约定不等于承诺〃 2023-02-10 05:29 22阅读 0赞

# 《异常检测——从经典算法到深度学习》 #

*  [0 概论][0]
 *  [1 基于隔离森林的异常检测算法 ][1 _]
 *  [2 基于LOF的异常检测算法][2 _LOF]
 *  [3 基于One-Class SVM的异常检测算法][3 _One-Class SVM]
 *  [4 基于高斯概率密度异常检测算法][4]
 *  [5 Opprentice——异常检测经典算法最终篇][5 Opprentice]
 *  [6 基于重构概率的 VAE 异常检测][6 _ VAE]
 *  [7 基于条件VAE异常检测][7 _VAE]
 *  [8 Donut: 基于 VAE 的 Web 应用周期性 KPI 无监督异常检测][8 Donut_ _ VAE _ Web _ KPI]
 *  [9 异常检测资料汇总（持续更新&抛砖引玉）][9]
 *  [10 Bagel: 基于条件 VAE 的鲁棒无监督KPI异常检测][10 Bagel_ _ VAE _KPI]
 *  [11 ADS: 针对大量出现的KPI流快速部署异常检测模型][11 ADS_ _KPI]
 *  [12 Buzz: 对复杂 KPI 基于VAE对抗训练的非监督异常检测][12 Buzz_ _ KPI _VAE]
 *  [13 MAD: 基于GANs的时间序列数据多元异常检测][13 MAD_ _GANs]

相关：

*  [ VAE 模型基本原理简单介绍 ][VAE _]
 *  [ GAN 数学原理简单介绍以及代码实践 ][GAN _]  
    有时候异常检测是一件很无聊的事情，但更多的时候是一件很好玩的事情。

当然这其实是一种很不负责的说法，因为更加需要强调的是异常检测的意义，诸如一些对人们日常生活、工业生产等的多方面意义，但我实在不想再强调异常检测的重要性了，因为无论你读哪篇异常检测论文都重复过了。

所以这里只把这个任务当成好玩的事情来完成，如果也觉得好玩的话可以考虑 阅读、评论、关注。

您的 点赞 收藏 评论 与 关注 对我有很大的督促与促进作用，感谢！

# 0 绪论 #

此篇主要包括以下部分：

*  异常检测的定义
 *  异常检测的应用场景
 *  异常检测问题的特点
 *  异常检测算法的分类
 *  异常检测算法的发展状况

## 0.1 异常检测的定义 ##

**异常：** 异常是远离其他观测数据而被疑为不同机制产生的观测数据\[1\]。

在数据挖掘和统计中，异常也被称为异常、不一致、偏差或异常值\[2\]。

如图所示： N 1 N\_1 N1 和  N 2 N\_2 N2 是由大多数观测值组成的区域,因此视为正常数据实例地区,而区域  O 3 O\_3 O3 和数据点  O 1 O\_1 O1 和  O 2 O\_2 O2 是少数几个远离大量数据点的数据点，因此被认为是异常。出现的原因有几个，如恶意行为、系统故障、故意欺诈。这些异常揭示了关于数据的令人兴奋的洞见，并且经常传递关于数据的有价值的信息。因此，异常检测被认为是各种决策系统中必不可少的步骤\[3\]。

![在这里插入图片描述][20201118093725880.png_pic_center]

**异常检测：** 在数据挖掘中，异常检测（Anomaly Detection）即对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别。 —— 百度百科

**异常检测方法概述：** 目前的异常检测，一般均从已知的正常数据类数据中进行学习，建立正常行为的模型以进行异常检测，从而构建一个假设模型  h ( x ) h(x) h(x) 和一个阈值  ρ \\rho ρ ，当  h ( x ) ≥ ρ h(x) \\geq \\rho h(x)≥ρ 时判  x x x 为正常，否则为异常，而阈值  ρ \\rho ρ 的设定则根据训练集上所允许的经验误差  α \\alpha α 进行设定，使得  P ( h ( x ) ≥ ρ ) ≥ 1 − α P(h(x)\\geq\\rho)\\geq1-\\alpha P(h(x)≥ρ)≥1−α 其中 P ( x ) P(x) P(x) 为分布函数\[4\]。

## 0.2 异常检测的应用场景 ##

随着计算机广泛应用于各个场景，异常事件也层出不穷。因此异常检测技术用于各种领域，如入侵检测、欺诈检测、故障检测、系统健康监测、传感器网络事件检测和生态系统干扰检测等。

当然，对于做数据挖掘或者算法方面的人来说，数据预处理经常需要用到异常检测。因为去除异常数据的数据集往往会在统计上显著提升准确性。

还有最近很热的智能运维(AIOps)，异常检测是整个智能运维的核心工作。

## 0.3 异常检测问题的特点 ##

1.  异常样本少
2.  异常类型多
3.  异常的未知性

## 0.4 异常检测算法的分类 ##

根据异常检测方法数学模型分类：

*  基于统计学的方法
 *  基于邻近性的方法
 *  基于聚类的方法

根据训练集是否包含标注：

*  无监督异常检测
 *  有监督异常检测

## 0.5 异常检测算法的发展状况 ##

总体而言发展趋势如下：

*  经典算法 —— 神经网络（尤其是深度学习）
 *  监督学习 —— 非监督学习
 *  特定领域 —— 宏观领域

如果是数据预处理，一般不会有太复杂的异常检测；但对于以异常检测为核心的项目来说（比如智能运维），传统算法已经完全不能满足需求。现在看到的绝大多数相关论文都是基于神经网络的相关算法。

当然，不能因为这趋势就放弃学习经典算法，因为目前来说，以一盖全的算法是不存在的，再完美的神经网络也不能应用于所有异常检测场景，并且在一些特定的场景中经典算法的效果却往往更加好。

## 参考文献 ##

\[1\] Douglas M Hawkins. Identification of outliers, volume 11. Springer, 1980.  
\[2\] Charu C Aggarwal. An introduction to outlier analysis. In Outlier analysis, pages 1–40. Springer, 2013.  
\[3\] Chalapathy, Raghavendra，Chawla, Sanjay. Deep Learning for Anomaly Detection: A Survey, 2019.  
\[4\] 陈斌, 陈松灿, 潘志松,等. 异常检测综述\[J\]. 山东大学学报(工学版), 2009(06):17-27.

> Smileyan  
> 发布日期：2020.5.20  
> 最后修改：2020.11.18

感谢您的 点赞、 收藏、评论 与 关注

[0]: https://blog.csdn.net/smileyan9/article/details/106239187
[1 _]: https://blog.csdn.net/smileyan9/article/details/106249594
[2 _LOF]: https://blog.csdn.net/smileyan9/article/details/106296832
[3 _One-Class SVM]: https://blog.csdn.net/smileyan9/article/details/106351651
[4]: https://smileyan.blog.csdn.net/article/details/106398233
[5 Opprentice]: https://blog.csdn.net/smileyan9/article/details/106587227
[6 _ VAE]: https://blog.csdn.net/smileyan9/article/details/109255466
[7 _VAE]: https://blog.csdn.net/smileyan9/article/details/109508502
[8 Donut_ _ VAE _ Web _ KPI]: https://blog.csdn.net/smileyan9/article/details/112307506
[9]: https://smileyan.blog.csdn.net/article/details/113728611
[10 Bagel_ _ VAE _KPI]: https://smileyan.blog.csdn.net/article/details/113463339
[11 ADS_ _KPI]: https://smileyan.blog.csdn.net/article/details/114763060
[12 Buzz_ _ KPI _VAE]: https://smileyan.blog.csdn.net/article/details/116106826
[13 MAD_ _GANs]: https://smileyan.blog.csdn.net/article/details/118312582
[VAE _]: https://smileyan.blog.csdn.net/article/details/107362252
[GAN _]: https://smileyan.blog.csdn.net/article/details/115307274
[20201118093725880.png_pic_center]: https://img-blog.csdnimg.cn/20201118093725880.png#pic_center