复现 Splunk 框架中的账户异常登录检测案例

川长思鸟来 2024-03-24 08:38 48阅读 0赞

## 简介 ##

> [https://www.splunk.com/][https_www.splunk.com]

海外老牌的数据平台，数据收集、管理、分析、自动化、检测、响应、编排，主要面向安全业务。  
在 2022 年 Gartner® 安全信息和事件管理 (SIEM) 魔力象限™ 中，Splunk 连续第九年被评为“领导者”。Gartner® 将 SIEM 市场定义为支持用例，包括威胁检测、合规性、实时遥测、事件分析和事件调查  
全球成千上万的组织依靠 Splunk 作为其 SIEM 来获取数据驱动的见解，从而保护他们的业务并降低风险。由于能够执行广泛的安全分析和运营用例，例如安全监控、高级威胁检测和事件调查，组织可以在面对不断变化的威胁和业务需求时保持灵活性和敏捷性  
![\[图片\]][99fec8b942b4408c96fe5d3e6eeb3720.png]

在 Splunk 的产品矩阵中，Splunk Enterprise 是较早期的核心产品，定位为人工分析，Splunk UBA 更加场景化定位于机器学习驱动。  
Splunk Enterprise Security 则是融合人工分析和机器学习，面向市场企业安全需求推出的产品。  
Splunk SOAR 则是更高阶的产品，主打安全编排，自动化响应  
![在这里插入图片描述][2de7f9c46d15400faca56931b94b2254.png]

![\[图片\]][0e4f3576e06140c88d59436556b132cb.png]

## Splunk Enterprise 体验 ##

### 下载安装体验版 ###

[https://www.splunk.com/en\_us/download/splunk-enterprise.html?locale=en\_us][https_www.splunk.com_en_us_download_splunk-enterprise.html_locale_en_us]  
![\[图片\]][9285e6b64b0244b39900e4bb3183e2c5.png]

### 数据导入 ###

支持各种主流形式的数据来源，云厂商的、AD 的等等，还支持安装独立的转发器客户端来传输  
![在这里插入图片描述][f6ff79aca32a4c6faa09333382adcf96.png]  
![在这里插入图片描述][37df3671aaf54a959ba48ca62b86241e.png]

![在这里插入图片描述][1628c442d53a4e4786ffd1ecfcc78699.png]

### 数据分析 ###

有自己的分析语法 SPL，便于计算检索，转化表格和图表  
![在这里插入图片描述][e228eaeae120432185100a467774b906.png]  
![在这里插入图片描述][65b81a2c231f4653854f1f32add83939.png]

### 开放平台 ###

像一个应用市场一样，其他开发者在 Splunk 上开发 App 可以将自己想用的应用数据集成进来（比如 Auth0 的日志）。也可以去安装官方提供的应用，比如机器学习工具包  
![\[图片\]][5e1489863498460fbe134c303a2b9cef.png]

![\[图片\]][a7df29d21dfa4fb1825bb55dab93bf9c.png]

### 机器学习 ###

我们可以在应用里搜索到 Splunk Machine Learning Toolkit，根据提示来进行安装  
![\[图片\]][14cc528a65ff4398af894717b9293970.png]

![\[图片\]][2a0803aabb484359842e696e54403225.png]

![\[图片\]][6eed4aafcec24add9fba11749163d447.png]

官方文档  
[https://docs.splunk.com/Documentation/MLApp/5.3.3/User/Algorithms][https_docs.splunk.com_Documentation_MLApp_5.3.3_User_Algorithms]  
算法分类文档  
[https://docs.splunk.com/images/3/3f/Splunk-MLTK-QuickRefGuide-2019-web.pdf][https_docs.splunk.com_images_3_3f_Splunk-MLTK-QuickRefGuide-2019-web.pdf]  
![\[图片\]][2a5515ff396e4568a3e6f855a4e382df.png]

里面所提供的算法主要是 python 主流开源库  
[https://github.com/splunk/mltk-algo-contrib][https_github.com_splunk_mltk-algo-contrib]

*  [scikit-learn][]
 *  [statsmodels][]
 *  [scipy][]

## 账户异常登录检测 ##

账户登陆检测中最常见的场景就是攻击者暴力破解用户账户，或者多次使用账户进行 Dos 攻击，当登陆次数与历史以往数据有很大不同时，可能会产生异常登陆点，以及根据以往的访问走势，我们能不能预估近期的访问压力或者走势？回答这些问题之前，我们先来看一下我们的数据集 app\_usage.csv、login.csv：  
![在这里插入图片描述][8526f82d99644249aef2179fb8cfca7d.png]  
![在这里插入图片描述][bcf00b6c88654671b4dfcc2298a72c9e.png]

> 以上数据集展示了每一天统计的各个子系统的访问次数(app\_usage.csv) 以及一个时间戳内的总登陆次数(login.csv)。  
> 请读者思考这样一个问题，如果我们想借助机器学习的方法来训练模型，有一个自然而然的问题：我如何知道我的模型效果好坏？  
> 最直接的方法是将我们已有的数据分为训练数据(train data) 和 测试数据 (test data),  
> 训练数据训练完模型后，用测试数据来检验模型的效果。那训练数据和测试数据如何划分？ 最简单的办法是给一个比例数值，例如 test data /  
> all data = 0.3 这样一个比例，则使用原数据集 30% 作为测试集。  
> 当然还有更为合理的方法——交叉验证(CrossValidation, CV) 即将原数据分为若干份，交叉训练测试，最为经典的则为  
> K-fold，不再刻意划分训练数据和测试数据，充分利用好每一个数据。 本文为了方便起见，使用比例划分的方式，来检验模型效果。

### 回归预测 Regression Prediction ###

假设在一段时间内，我们的系统访问不会出现爆炸性增长（除了个例明星系统会这样，其他的在实际生活中都满足我们的假设），通过历史系统访问数据，想要预测近期的访问次数甚至访问压力的时候，我们应该怎么做？说到预测，首选回归或者神经网络，而回归是最易上手而实用的方法。  
我们先主要讲述一些用于回归的方法，目标值 y 是输入变量 x 的线性组合，数学概念表示为：如果 Y 是预测值，那么有：

![\[图片\]][2d23489a440b4eda99de69d51483c364.png]

在整个模块中，我们定义向量 w 作为 coef\_ ，w 数学表达式为：  
 w = ( w 1 , . . . , w p ) w = (w\_1,...,w\_p) w=(w1,...,wp)

拟合目标为：

定义 w 0 w\_0 w0作为 intercept\_

以上线性模型进行预测有很多模型可选，我们主要考虑四个：Lasso,Linear最小二乘回归,Ridge,KernelRidge ，以下会详细介绍这四种模型的使用方法和适用场景。如果要用线性模型进行分类，可以使用 logistic回归，logistic回归不在本文讨论范围中。

#### LinearRegrssion 线性回归 ####

适用于低维数据集（样本数量大于特征变量）线性回归  
对我们的数据集 app\_usage.csv 的 CRM, HR1, Webmail, CloudDrive 作为 x1, x2, x3, x4 去预测 RemoteAccess 作为 y，则我们构建的Linear最小二乘回归模型为：  
 y = w 0 + w 1 x 1 + w 2 x 2 + w 3 x 3 + w 4 x 4 y=w\_0 + w\_1x\_1 + w\_2x\_2 + w\_3x\_3 + w\_4x\_4 y=w0\+w1x1\+w2x2\+w3x3\+w4x4  
Python API范例代码：

data = pd.read_csv('app_usage.csv')
    X = pd.DataFrame()
    
    #使用 app_usage 的 CRM, HR1, Webmail, CloudDrive 字段作为 x, _time 主要用于时序分析
    for col in ['CRM', 'HR1', 'Webmail', 'CloudDrive', '_time']:
        X[col] = data[col]
    #使用 app_usage 的 RemoteAccess 作为 y
    y = data['RemoteAccess']
    linear_predict(X, y, 'LinearRegression', 0.3) # 0.3 表示 test_data / total_data = 0.3

#### Lasso Regression(拉索回归) ####

适用于低维数据集（样本数量大于特征变量）线性回归  
如果数据的集合矩阵（或设计矩阵，design matrix）存在多重线性时，则该最小二乘法会对噪音十分敏感，使得所得结果不稳定。为了解决这个问题，Ridge Regression（RR）就诞生了。如果能够限制参数的数值大小，使得它不会变的特别大，对噪音的敏感度降低，那就能解决问题了。而这就是 RR 或 Lasso 回归的基本思想。  
RR 和 Lasso 回归的限制方法是：在原来最小二乘法模型的基础上加一个惩罚项，这个过程也叫作正则化(Regularization)。如果惩罚项是参数  w w w 的  l 2 l\_2 l2 范数，则是RR；如果是参数  w w w 的  l 1 l\_1 l1 范数，则是 Lasso 回归。  
Lasso 回归，其拟合目标增加了惩罚项  α ∣ ∣ w ∣ ∣ 1 \\alpha||w||\_1 α∣∣w∣∣1 为：  
 m i n 1 2 n ∣ ∣ X w − y ∣ ∣ 2 2 + α ∣ ∣ w ∣ ∣ 1 min \\frac\{1\}\{2n\}||X\_w-y||^2\_2 + \\alpha||w||\_1 min2n1∣∣Xw−y∣∣22\+α∣∣w∣∣1

α \\alpha α 是一个常数(代码中我们可以调整这个常数， 默认值是 0.1 )，可以看到比我们的最小二乘线性回归多了一项  α ∣ ∣ w ∣ ∣ 1 \\alpha||w||\_1 α∣∣w∣∣1 可以简单把这一项理解为增大公式的普适性，而不仅仅限于样本数据集。  
Python API 范例代码：

data = pd.read_csv('app_usage.csv')
    X = pd.DataFrame()
    #使用 app_usage 的 CRM, HR1, Webmail, CloudDrive 字段作为 x, _time 主要用于时序分析
    for col in ['CRM', 'HR1', 'Webmail', 'CloudDrive', '_time']:
        X[col] = data[col]
    #使用 app_usage 的 RemoteAccess 作为 y
    y = data['RemoteAccess']
    linear_predict(X, y, 'Lasso', 0.3, 0.1) # 0.3 表示 test_data / total_data = 0.3

#### Ridge Regression (岭回归) ####

适用于低维数据集（样本数量大于特征变量）线性回归  
Ridge 回归的拟合目标：  
 m i n ∣ ∣ X w − y ∣ ∣ 2 2 + α ∣ ∣ w ∣ ∣ 2 2 min ||X\_w-y||^2\_2 + \\alpha||w||\_2^2 min∣∣Xw−y∣∣22\+α∣∣w∣∣22

Ridge 的惩罚项  α ∣ ∣ w ∣ ∣ 2 2 \\alpha||w||^2\_2 α∣∣w∣∣22 相对 Lasso 的惩罚项多了一个平方，机器学习中叫做 l2 正则化。  
Python API 范例代码：

data = pd.read_csv('app_usage.csv')
    X = pd.DataFrame()
    #使用 app_usage 的 CRM, HR1, Webmail, CloudDrive 字段作为 x, _time 主要用于时序分析
    for col in ['CRM', 'HR1', 'Webmail', 'CloudDrive', '_time']:
        X[col] = data[col]
    #使用 app_usage 的 RemoteAccess 作为 y
    y = data['RemoteAccess']
    linear_predict(X, y, 'Ridge', 0.3, 0.1) # 0.3 表示 test_data / total_data = 0.3

#### KernelRidge 回归（内核岭回归) ####

适用于中等数据规模  
RR 为什么需要引入一个 kernel ? 因为从实际来看，数据的分类可能是非线性的，RR 适用于数据服从线性关系，用线性模型来回归真实的非线性数据，效果势必不好。内核岭回归(Kernel ridge regression-KRR）由使用内核方法的 Ridge 回归（使用 l2 正则化的最小二乘法）所组成，能够处理非线性数据。KernelRidge 学习的模型的形式与支持向量回归（SVR）很类似，两者都使用 l2 regularization （l2 正则化），与 SVR 比较起来，中型数据集（小于 1000 个样本）的学习 KernelRidge 更快， 大型数据集则 SVR 更快。  
以一个实际的数据作为样例：  
![\[图片\]][48a17bd42ebe4645981f5695fec39012.png]

可以看出 KRR 使用的非线性内核对应了原始空间的非线性函数， 而且与 SVR 拟合预测类似。

### 时序预测 Time Series Prediction ###

Prophet 是 Facebook 开源的时间预测算法，可以有效处理节假日信息，并按周、月、年对时间序列数据的变化趋势进行拟合。根据官网介绍，Prophet 对具有强烈周期性特征的历史数据拟合效果很好，不仅可以处理时间序列存在一些异常值的情况，也可以处理部分缺失值的情形。  
Prophet 适用于具有明显的内在规律的商业行为数据,例如：有如下特征的业务问题：

*  有至少几个月（最好是一年）的每小时、每天或每周观察的历史数据；
 *  有多种人类规模级别的较强的季节性趋势：每周的一些天和每年的一些时间；
 *  有事先知道的以不定期的间隔发生的重要节假日（比如国庆节）；
 *  缺失的历史数据或较大的异常数据的数量在合理范围内；
 *  有历史趋势的变化（比如因为产品发布）；
 *  对于数据中蕴含的非线性增长的趋势都有一个自然极限或饱和状态。

与机器学习算法如 LGBM 相比，Prophet 作为一个时间序列的工具。  
优点：就是不需要特征工程就可以得到趋势，季节因素和节假日因素。  
缺点：它无法利用更多的信息（在样例数据 logins.csv 是一个优点，因为数据本身没有其他的信息可利用，通过周期等趋势来预测更加科学和方便），如在预测商品的销量时，无法利用商品的信息，门店的信息，促销的信息等。  
Python API 调用接口：

df = pd.read_csv("logins.csv")
    outlier_predict(df)

与 Splunk 的内置预测模块相比， prophet 检测更加灵敏，更容易发现一些可能的异常值，以下第一张图是 Splunk 对 logins.csv 的预测（61个异常点）， 第二张图是我们的预测模块对 logins.csv 的预测（79个异常点），图中红色外延标记的点则为可能的异常点，同时会输出异常点的统计信息和明细（第三、四图）：  
![\[图片\]][84b1313f0f0c4aed8663dfae354b1118.png]

![\[图片\]][e79782fc29c64f55a432acdf18302e13.png]

![\[图片\]][4b5794eef54f48cea48254d38ec522f3.png]

## 其他资料 ##

[Splunk入选Gartner 2020年安全信息和事件管理魔力象限，连续七次位居领导者][Splunk_Gartner 2020]

[https_www.splunk.com]: https://www.splunk.com/
[99fec8b942b4408c96fe5d3e6eeb3720.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/bbd221f44fdf4c26814f569a53be12eb.png
[2de7f9c46d15400faca56931b94b2254.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3ca45402570e4ca3ad84c5820b037925.png
[0e4f3576e06140c88d59436556b132cb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/4f655a54cb4a4a7baa827bde10012adf.png
[https_www.splunk.com_en_us_download_splunk-enterprise.html_locale_en_us]: https://www.splunk.com/en_us/download/splunk-enterprise.html?locale=en_us
[9285e6b64b0244b39900e4bb3183e2c5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/5db2cd3ee2e242a385c714916aa04a5e.png
[f6ff79aca32a4c6faa09333382adcf96.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/12b0bc19b49c410e98033084fa40c6c7.png
[37df3671aaf54a959ba48ca62b86241e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/2fd1ee9fe6c942648abe13fbd805f4f1.png
[1628c442d53a4e4786ffd1ecfcc78699.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/10d4a7bbf00c4024ac5f3ceb54f95ad7.png
[e228eaeae120432185100a467774b906.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/dfe5c55ca4d6487ba5cbd7e338d1024c.png
[65b81a2c231f4653854f1f32add83939.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/45c1495be8304768a45d391c46023253.png
[5e1489863498460fbe134c303a2b9cef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/844c190e2a8443e2a0ef949021be7132.png
[a7df29d21dfa4fb1825bb55dab93bf9c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/34ba38b6f2b04d8cb646b7464d6c7a02.png
[14cc528a65ff4398af894717b9293970.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/0f33f73897d0419cb03e3c6efff973d6.png
[2a0803aabb484359842e696e54403225.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/2a10cf81c57041669057ecd618a84dfe.png
[6eed4aafcec24add9fba11749163d447.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/f13382de2c934e51b48e19cfd250e815.png
[https_docs.splunk.com_Documentation_MLApp_5.3.3_User_Algorithms]: https://docs.splunk.com/Documentation/MLApp/5.3.3/User/Algorithms
[https_docs.splunk.com_images_3_3f_Splunk-MLTK-QuickRefGuide-2019-web.pdf]: https://docs.splunk.com/images/3/3f/Splunk-MLTK-QuickRefGuide-2019-web.pdf
[2a5515ff396e4568a3e6f855a4e382df.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/c0908fa45f5f423189ca3a28544b6403.png
[https_github.com_splunk_mltk-algo-contrib]: https://github.com/splunk/mltk-algo-contrib
[scikit-learn]: https://scikit-learn.org/stable/
[statsmodels]: http://www.statsmodels.org/
[scipy]: https://www.scipy.org/
[8526f82d99644249aef2179fb8cfca7d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/1dcf0a2a003c4da3858b632c83b9e189.png
[bcf00b6c88654671b4dfcc2298a72c9e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/7cb94af74c0946f7b9a8eb9ef247b5fb.png
[2d23489a440b4eda99de69d51483c364.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/fa2a5e9573e94cf79c0d299f08cfca19.png
[48a17bd42ebe4645981f5695fec39012.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/84f2b9fd3e5a48e5aa6bf16108cd7ec3.png
[84b1313f0f0c4aed8663dfae354b1118.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/a97bd2dd3e1447bd9f992c5ca0cc572f.png
[e79782fc29c64f55a432acdf18302e13.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/655e360b5b254ee29be2da0221f1f888.png
[4b5794eef54f48cea48254d38ec522f3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/5109652addc74930b7f26d24faa0bad4.png
[Splunk_Gartner 2020]: https://cn.chinadaily.com.cn/a/202003/09/WS5e661322a3107bb6b57a56a9.html