Flink CEP SQL 使用规则及案例介绍

淡淡的烟草味﹌ 2022-10-09 12:24 254阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODIwMTkzNg_size_16_color_FFFFFF_t_70][]

公众号文章链接：[Flink CEP SQL 使用规则及案例介绍][Flink CEP SQL]

![2021062419393285.png][]

由于Flink CEP SQL 语法与 Flink SQL语法不太相同，新增许多规则，所以在讲解时，我们通过一个完整的案例来分析具体包含的规则。

如下是通过Flink CEP SQL 写的关于金融场景 银行卡盗刷案例。

案例介绍：在金融场景中，有时会出现银行卡盗刷现象，犯罪分子利用互联网等技术，在间隔10分钟或者更短时间内，使一张银行卡在不同的两个地方出现多次刷卡记录，这从常规操作来说，在间隔时间很多的情况下，用户是无法同时在两个城市进行刷卡交易的，所以出现这种问题，就需要后台做出触发报警机制。

要求：当相同的cardId在十分钟内，从两个不同的Location发生刷卡现象，触发报警机制，以便检测信用卡盗刷现象。

![图片][fa4c816beab9aa5d28b57684b1f3e4c5.png]

（1）编写cep sql时，包含许多技巧，首先我们编写最基础的查询语句,从一张表中查询需要的字段。

select starttime,endtime,cardId,event from dataStream

（2）match\_recognize();

该字段是CEP SQL 的前提条件，用于生成一个追加表，所有的 CEP SQL都是书写在这里面。

（3）分区，排序

由于是对同一ID，所以需要使用 partition by,还要根据时间进行排序 order by

（4）理解CEP  SQL核心的编写顺序

如上图标的顺序

1、CEP SQL 的类为Pattern，检测在10分钟内两个地方出现刷卡现象，所以定义两个事件：

Pattern (e1 e2+) within interval  ‘10’minute

2、定义在Pattern中要求的判断语句，规定使用define

define
    
            e1 as a1.action = ''
    
            e2 as e2.action = '' and e2.location <> e1.location

3、根据上述的输入条件构建输出条件，规定使用 measures

measures
    
            e2.action as event
    
            e1.timestamp as starttime
    
            last(e2.timestamp) as endtime

4、输出条件匹配成功，输出一条，规定写法(这块根据不同的规则写不同的语句)

one row per match

5、匹配后跳转跳转到下一行（根据不同规则写不同语句）

after match skip to  next row

根据核心编写顺序进行理解，然后在按照书写正确的顺序进行编写。

![20210624194132645.png][]

针对上述的案例，对涉及到的语法规则进行介绍说明

![图片][41ecbd4583bfb778a68c2f55a7702b04.png]

**1、Pattern事件介绍**

（1）pattern(e1  e2+) within  interval‘10’minute   --定义两个事件， e1 和 e2

（2）pattern (A  B\{10\}) within interval ‘1’ minute

（3）pattern (A  B  C\* B  D\* B  E\*)within  interval ‘1’ minute

（4）pattern (A+  C) within interval ‘1’ minute

![图片][cad41de408c580be2fec00d73ee6cb97.png]

×不支持 ×

不支持可能产生空匹配的模式。此类模式的示例如

PATTERN(A\*)，PATTERN (A? B\*)，PATTERN (A\{0,\} B\{0,\}C\*) 等。

**2、输出模式介绍**

**输出模式（**每个找到的匹配项应该输出多少行）

Ø one  row  per  match

每次检测到完整的匹配后进行汇总输出

Øall  rows per match (flink暂不支持)

检测到完整的匹配后会把匹配过程中每条具体记录进行输出

**runningVS final语义**

Ø在计算中使用那些匹配的事件

running匹配中和final匹配结束

Ø define语句中只可以使用running,measure两者都可以

Ø输出结果区别

对于one row per match，输出没区别

对于all  rows  per match ，输出不同

![图片][15ada4a8532ff181f8edf90127b63f66.png]

![图片][dea82760e0bb7acc5a9795a2fcb08479.png]![图片][68d1cdbdf23d54e133ac2ca320208a42.png]![图片][96785008f6710909dbb6e202906e93fa.png]

**3、匹配后跳转模式介绍**

after  match（匹配后，从哪里开始重新匹配）

Ø skip to next row

从匹配成功的事件序列中的第一个事件的下一个事件开始进行下一次匹配

Ø skip  past last row

从匹配成功的事件序列中的最后一个事件的下一个事件开始进行下一次匹配

Ø skip  to first pattern  Item

从匹配成功的事件序列中第一个对应于patternItem的事件开始进行下一次匹配

Øskip  to last pattern  Item

从匹配成功的事件序列中最后一个对应于patternItem的事件开始进行下一次匹配

注意：

在使用skip to first/last patternItem容易出现循环匹配问题，需要慎重

针对上面的匹配后跳转模式分别介绍:

**（1）after  match   skip past  last  row 如下图**

![图片][e24c6d641412c5367c048311eb150075.png]

**（2）after  match   skip to  next  row 如下图**

![图片][dd1d10d6253b0fc1bd2c8eae91b0fd78.png]

**（3）after  match   skip to  last patternItem 如下图**

![图片][4fa317cc42c068da544a7fbfa47a05a1.png]

**（4）after  match   skip to  first  patternItem 如下图**

![图片][ef71376da3ccc01bb0bfe00f15052985.png]

**4、量词解释**

每一个量词可以是贪婪（默认行为）的或者 勉强 的。贪婪的量词尝试匹配尽可能多的行，而勉强的量词则尝试匹配尽可能少的行。  为了说明区别，可以通过查询查看以下示例，其中贪婪量词应用于 B 变量：

![图片][ca6fc177778c3414269cf901033ac7ef.png]

**5、CEP SQL 目前不支持的功能**

![图片][b8c51c22cf4cabdbb3393b5f64acd422.png]

**以上就是CEP  SQL的讲解内容！觉得好的，点赞，在看，分享三连击，谢谢！！！**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODIwMTkzNg_size_16_color_FFFFFF_t_70]: /images/20221005/63163bf9c8b2404abf08a1ca772cb645.png
[Flink CEP SQL]: https://mp.weixin.qq.com/s?__biz=MzU4NjY4NDU0MQ==&tempkey=MTExOV82YWFmZXg3MFBEZU1oMGZINDlZM2JuWTBqQkpuT2NVT3RreFgwUVhVX01Cbl9GZ3M0YXhVUUFIbXBzVEFRb3BKSi1TaE45Z09BbUlscW5WVkIzNzlSZnA5MGM1YnQ3cFlJX0dfRFpGcXVwbmJncm1ERWxtM1VnTWVmQXVEWHFtQXFkTEpjV1RyUkxDRG95ZDF1MTd6eUZyX2dPOWx4bG0wYzFJblR3fn4%3D&chksm=7df6c71f4a814e0983c960708fb21d9142f18725135a5a5ea64e9a97e10491e77bf1616aa5ac&__mpa_temp_link_flag=1&token=1660020721#rd
[2021062419393285.png]: /images/20221005/eb4066fb700945c9b186b1341ed56816.png
[fa4c816beab9aa5d28b57684b1f3e4c5.png]: /images/20221005/d83e035f1a2c4e4d8f1d18cd0bf5db29.png
[20210624194132645.png]: /images/20221005/ce6cb3991f244d0eb03400747749efc8.png
[41ecbd4583bfb778a68c2f55a7702b04.png]: /images/20221005/2997dede4b434efdbff0c30e8ee28792.png
[cad41de408c580be2fec00d73ee6cb97.png]: /images/20221005/bb522a332bd8423ba6106847046856f4.png
[15ada4a8532ff181f8edf90127b63f66.png]: /images/20221005/4274b355eac04ceab4d0e1deee1961f4.png
[dea82760e0bb7acc5a9795a2fcb08479.png]: https://img-blog.csdnimg.cn/img_convert/dea82760e0bb7acc5a9795a2fcb08479.png
[68d1cdbdf23d54e133ac2ca320208a42.png]: https://img-blog.csdnimg.cn/img_convert/68d1cdbdf23d54e133ac2ca320208a42.png
[96785008f6710909dbb6e202906e93fa.png]: /images/20221005/6345d7d0979f45358ffb9051900803f8.png
[e24c6d641412c5367c048311eb150075.png]: /images/20221005/18656d5dd6f14ac8ad3fb43a15ea1e20.png
[dd1d10d6253b0fc1bd2c8eae91b0fd78.png]: /images/20221005/489474b284764bc685282e246154f4e2.png
[4fa317cc42c068da544a7fbfa47a05a1.png]: /images/20221005/5cc4e9c329164ca28b32ff4cde882583.png
[ef71376da3ccc01bb0bfe00f15052985.png]: /images/20221005/87a479379f2b4ff88d9c646fb3485f48.png
[ca6fc177778c3414269cf901033ac7ef.png]: /images/20221005/ca84291f9ea74fd2ab9eada0af69cf39.png
[b8c51c22cf4cabdbb3393b5f64acd422.png]: /images/20221005/0ca75154ef9044f5908f0e8caf801e37.png