实际工作场景中数据数初步清洗逻辑使用数据过滤系列-Aviator表达式过滤主要讲解实现主页，配置数据过滤规则有什么用怎么用

ゞ浴缸里的玫瑰 2023-01-07 07:16 63阅读 0赞

** **

**目录**

实际场景的一个规则

第一个案例，正则相关

第二个案例不等于相关

第三个案例同时满足条件A和条件B 同时不满足条件C

第四个案例满足条件A或条件B 同时不满足条件C

过滤整个系列主要讲解了什么

表达式规则的前期工作，如何实现简单讲解

规则同时满足等于条件A且同时满足等于条件B，对数据进行过滤

规则包含使用分词和JDK自带流式stream处理效率对比

规则满足等于条件A，同时满足包含条件B，规则表达式

规则满足等于条件A【可配置变动的配置参数】，规则表达式

规则满足包含条件A【可配置变动的配置参数】，规则表达式

规则满足入参包含每一个字符串A【可配置变动的配置参数】，规则表达式

规则满足入参满足以条件A为结尾【A可配置变动的配置参数】，规则表达式

规则满足入参满足以条件A为开头首字符串【A可配置变动的配置参数】，规则表达式

规则满足符合其中一个正则表达式A【A可配置变动的配置参数】，规则表达式

表达式执行过程中需要注意的事项，实际工作中遇到的问题和异常

规则统一封装工具类进行调用，返回匹配结果符合【true】还是不符合【false】

规则不满足正则表达式条件A【A为可配置的正则列表】，表达式实现

规则过滤结果展示，实际工作场景初步清洗数据效果展示

规则其中的一些局限性，不能直接的获取到自定义表达式名称

--------------------

前言：

目前我们业务场景是每分钟可以入库数据60000+数据，这些数据，很多都是毫无价值的数据，那么进一步就需要我们进行数据的清洗，目前在这里我只讲解我们初步的过滤阶段后续的清洗后续课程看时间，等我整理好了有时间了就再来加更！其实可以通诺JDK的自带的方法或者正则表达式进行过滤数据，可是实际的业务需求是可以自配的，也就是说可以动态的进行配置，不断地修改规则，进行满足业务需求。那么在技术实现上，最开始的是使用JDK的过滤开发实现的，效率也还可以，但是随着入库数据的不断增加，业务需要更为复杂的规则进行过滤，java写死的代码就不能满足业务实际的生产过滤需要，所以经过我们几轮的商讨个每个人的采用的技术架构进行效率比较，最后采用了，Aviator表达式过滤，在效率上，灵活性上更为满足实际上的业务需求。所以最后拍板进行选择了Aviator表达式过滤的初步过滤方案。

# 实际场景的一个规则 #

## 第一个案例，正则相关 ##

\-- 条件 55 标题正则表达式  title not regexp ‘不达标|超标|不符合.\*安全标准|不合格|侵权|注销|失联|募集失败|质量黑榜|不能.\*(偿还|偿付)|并网|招标|项目.\*投运|遭查|获.\*资格|终止.\*协议|签约.\*项目|同业存单|减值.\*计提|计提.\*减值|发行.\*票据|合同.\*(公告|公示)|罚单’

这样的是不是java代码也可以进行开发，可是实际上可以变动的话，**java就需要重新开发一套逻辑来支持，灵活性太差劲**，所以，在这里需要进行观察。此时我自己建立的过滤直接可以配置数据库脚本局可以，还可以**配置与或非的关系组合**，用起来非常方便！

当然这个作为最简单的案例，我处理配置如下就可以实现：

INSERT INTO \`tbm\`.\`rule\_contant\` (\`id\`, \`parameter\`, \`replace\_parameter\`, \`contant\_type\`, \`update\_time\`, \`create\_time\`, \`desc\`) VALUES (null, '.\***(不达标|超标|不符合.\*安全标准|不合格|侵权|注销|失联|募集失败|质量黑榜|不能.\*(偿还|偿付)|并网|招标|项目.\*投运|遭查|获.\*资格|终止.\*协议|签约.\*项目|同业存单|减值.\*计提|计提.\*减值|发行.\*票据|合同.\*(公告|公示)|罚单).\***', NULL, 'PATTERNTITLE20201116\_1', '2021-01-16 20:01:50', '2021-01-16 23:18:46', '2021-01-16新增；反向过滤；条件 55 标题正则表达式表达式是：**patternfunction(\\'$TITLE$\\',\\'\#PATTERNTITLE20201116\_1\#\\')**');

## 第二个案例不等于相关 ##

\--条件 56 栏目不符合正则表达式  **code not in** (49940,47216,49935,53128,48314,49596,49934,49943,49931,50381,201942,48326,48429,49008,51139,48380,49829,49944,50903,51123,56112,47450,49940,50904,56123,48423,48493,48494,48510,48518,50020,50378,50379,50526,50722,50723,50725,50729,203566,48429,49596,49935,56112,201942,23348,33492,48316,48411,48495,48504,48507,48508,48512,48513,49603,50021,50022,50534,50726,50904,50905,51040,51059,51081,51097,56115,56118,56129,56194,58125,86141,92686,203563,47020,47073,47216,48494,48659,49943,50379,51139,55872,92686,49571,49572,49573,49574,49575,49576,49577,49578,49579,49580)

这里仅仅作为主页的简单介绍。至于在工作中使用的过滤规则详见下面链接：

## 第三个案例同时满足条件A和条件B 同时不满足条件C ##

## 第四个案例满足条件A或条件B 同时不满足条件C ##

类似下面的过滤需求。如何配置化实现呢？是不是看到之后有点迷糊？当条件很多，而且要支持动态变化的话，最好的方案就是配置表达式支持只有如此才会满足这样的数据过滤需求场景

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0ODgwMDk_size_16_color_FFFFFF_t_70][]

# 过滤整个系列主要讲解了什么 #

1.  ##  **[表达式规则的前期工作，如何实现简单讲解][Link 1]** ##
2.  ## **[规则同时满足等于条件A且同时满足等于条件B，对数据进行过滤][A_B]** ##
3.  ## [规则包含使用分词和JDK自带流式stream处理效率对比][JDK_stream] ##
4.  ## [规则满足等于条件A，同时满足包含条件B，规则表达式][A_B 1] ##
5.  ## [规则满足等于条件A【可配置变动的配置参数】，规则表达式][A] ##
6.  ## [规则满足包含条件A【可配置变动的配置参数】，规则表达式][A 1] ##
7.  ## [规则满足入参包含每一个字符串A【可配置变动的配置参数】，规则表达式][A 2] ##
8.  ## [规则满足入参满足以条件A为结尾【A可配置变动的配置参数】，规则表达式][A_A] ##
9.  ## [规则满足入参满足以条件A为开头首字符串【A可配置变动的配置参数】，规则表达式][A_A 1] ##
10. ## [规则满足符合其中一个正则表达式A【A可配置变动的配置参数】，规则表达式][A_A 2] ##
11. ## [表达式执行过程中需要注意的事项，实际工作中遇到的问题和异常][Link 2] ##
12. ## [规则统一封装工具类进行调用，返回匹配结果符合【true】还是不符合【false】][true_false] ##
13. ## [规则不满足正则表达式条件A【A为可配置的正则列表】，表达式实现][A_A 3] ##
14. ## [规则过滤结果展示，实际工作场景初步清洗数据效果展示][A_A 3] ##
15. ## [规则其中的一些局限性，不能直接的获取到自定义表达式名称][Link 3] ##

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0ODgwMDk_size_16_color_FFFFFF_t_70]: /images/20221119/bfed9f664a8e47f89198217f6bb77ef3.png
[Link 1]: https://junzizhibang.blog.csdn.net/article/details/107545711
[A_B]: https://junzizhibang.blog.csdn.net/article/details/108059715
[JDK_stream]: https://junzizhibang.blog.csdn.net/article/details/108319652
[A_B 1]: https://junzizhibang.blog.csdn.net/article/details/108370984
[A]: https://junzizhibang.blog.csdn.net/article/details/108371027
[A 1]: https://junzizhibang.blog.csdn.net/article/details/108371094
[A 2]: https://junzizhibang.blog.csdn.net/article/details/108375784
[A_A]: https://junzizhibang.blog.csdn.net/article/details/108375913
[A_A 1]: https://junzizhibang.blog.csdn.net/article/details/108377171
[A_A 2]: https://junzizhibang.blog.csdn.net/article/details/108376059
[Link 2]: https://junzizhibang.blog.csdn.net/article/details/108875591
[true_false]: https://junzizhibang.blog.csdn.net/article/details/108876194
[A_A 3]: https://junzizhibang.blog.csdn.net/article/details/109854294
[Link 3]: https://junzizhibang.blog.csdn.net/article/details/110947092