如何保证数据质量【重点】

古城微笑少年丶 2023-10-14 11:47 12阅读 0赞

**数据质量管理：**

数据质量问题指的是数据从产生到消亡这一过程中，可能会产生一系列的数据质量问题，这些问题包括数据的空值、超过极限范围、重复的数据等。数据质量管理实际上就是对这些问题进行实时地监控，及时地识别，并报警通知，然后我们根据报警信息进行改善数据质量。

数据质量管理是循环管理过程，最终的目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。

####  **一、数仓项目中数据质量怎么保证的，什么方案**  ####

数据质量管理的最终目标是改善，从而提高数据的可靠性并提升数据的使用价值。

**保证数据质量需要考虑五个方面，唯一性、完整性、精确度、合法性以及时效性。**

**唯一性：**  指主键保持唯一。需要对字段进行唯一性检查。

**完整性：**  包括记录缺失和字段值缺失等方面。需要对字段进行空值检查、记录数检查、枚举值检查等。

**精确度：**  指数据生成的正确性，数据在整个链路流转的正确性。需要对数据进行波动阀值检查。

**合法性：**  包括格式、类型、阈值的合法性。需要进行字段日期格式检查、字段长度检查、字段值阈检查等

**时效性：**  指数据处理的时效性。需要检查批处理是否按时完成等。

####  **针对上述这5个方面，总结出来两大检查点：**  ####

**（1）对于数据量：**  需要对数据进行每日环比、每周同比的值阈检查，如果数据量超过波动阀值则报警。

**（2）对于数据本身：**  需要对数据进行空值检查和重复值检查，如果出现异常，则报警通知。

**项目中，对于ODS层、DIM层和DWD层做了数据质量监控：**

**ODS层：**  对数据量进行每日环比和每周同比监控，数据量的变化不能超过一定阈值，否则报警。

**DIM层和DWD层：**  对数据id空值和重复值进行检查，出现异常则报警。

> 每日环比：拿今天的数据与昨天的数据进行比较。
> 
> 每周同比：拿这周一的数据与上周一的数据进行比较；这周二与上周二的数据进行比较，以此类推。

#### 保证数据质量的方案流程分为4个模块： ####

**1.首先是检测模块，**  对数仓的特定指标进行检测，然后将检测结果写入MySQL数据库中

**2.其次是告警模块，**  告警模块会从mysql数据库读取检测结果，出现异常则报警（使用第三方告警平台睿象云）

**3.还有个可视化模块，**  可视化模块从MySQL中读取检测结果，然后进行可视化显示（使用superset可视化工具）

**4.最后是调度模块，**  调度模块用来调度整个检测流程。（使用Azkaban全流程调度工具）

![up-1d7ca5ea383a2d7c6d937c2a99202b00f65.png][]

#### 项目中具体操作步骤： ####

**检测模块：**

1.先在MySQL中创建出需要监控指标的几张表

2.然后针对每个检查项目写一个单一规则的检查脚本，如空id检查脚本、重复id检查脚本、值域检查脚本、数据量环比检查脚本、数据量同比检查脚本等

3.再针对数仓各层写一个检查脚本，哪一层需要哪些检查项目，就将写好的单一规则检查脚本加入到检查脚本中。

**告警模块：**

该模块主要用于检查 MySQL 中的检测结果的异常，若有异常出现就发送警告。警告方式可选择邮件或者集成第三方告警平台睿象云。

（项目中是集成第三方告警平台睿象云，使用其提供的通知媒介发送告警信息。）

**调度模块：**

写一个脚本进行调度。但数据质量监控工作流必定依赖数据仓库工作流，因为只有数据仓库工作流完成了，才有数据，进而才有数据质量监控。所以这里要先执行完数据仓库工作流之后，才能执行数据质量监控工作流。

解决方案：利用Azkaban API主动监视数据仓库工作流的执行状态，待执行完成之后，进而触发数据质量监控工作流。

**可视化模块：**

该模块的主要作用是对数据质量监控结果进行可视化展示。 检测结果可以采用 Superset 进行可视化展示。

####  **二、上万张维度表的话怎么很快的找见？**  ####

我们可以使用Atlas元数据管理工具，建立元数据管理系统，把数仓中的元数据信息都记录在元数据管理系统中。元数据包括数据库、表名、表结构、字段、表描述、表之间以及字段之间的血缘依赖等信息。这样可以通过元数据系统来快速找到需要的元数据信息。

[up-1d7ca5ea383a2d7c6d937c2a99202b00f65.png]: https://oscimg.oschina.net/oscnet/up-1d7ca5ea383a2d7c6d937c2a99202b00f65.png

发表评论取消回复

表情：

评论列表（有 0 条评论，12人围观）

还没有评论，来说两句吧...

相关阅读

相关如何保证被测产品的质量

![e574cebde1554d32a332606183b5204d.png][] 要确保被测产品的质量和用例的覆盖度，以下是一些常用的方法和实践： 1. 制定测试

落日映苍穹つ/ 2024年02月21日 09:06/ 0 赞/ 53 阅读

相关如何保证数据质量【重点】

数据质量管理：数据质量问题指的是数据从产生到消亡这一过程中，可能会产生一系列的数据质量问题，这些问题包括数据的空值、超过极限范围、重复的数据等。数据质量管理实际上就是对

古城微笑少年丶/ 2023年10月14日 11:47/ 0 赞/ 13 阅读

相关 RabbitMQ如何保证消息的顺序性【重点】

1.1 保证顺序性的意义消息队列中的若干消息如果是对同一个数据进行操作，这些操作具有前后的关系，必须要按前后的顺序执行，否则就会造成数据异常。举例：比如通过`

怼烎@/ 2023年09月28日 18:02/ 0 赞/ 15 阅读

相关 34----建立质量保证数据库

对话式人工智能是一个不断发展的领域，有可能使大部分客户服务行业实现自动化。完全自动化还有很长的路要走（我们中的大多数人一直在与自动代理通话，只是想联系一个人）但它肯定可以成为人

谁践踏了优雅/ 2023年09月27日 19:56/ 0 赞/ 115 阅读

相关如何保证hive中数据的质量？

首先，数据出现质量问题有哪些原因或者情况？其次，针对这些原因，制定清洗策略。一般的数据质量出现问题的有：无效，重复，缺失，不一致，错误值，格式出错，业务逻辑规则有问题，

梦里梦外;/ 2023年02月12日 09:25/ 0 赞/ 129 阅读

相关 Software Testing - 如何保证测试质量

分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请点击[http://www.captainbed.net][http_www.cap

秒速五厘米/ 2023年01月17日 08:45/ 0 赞/ 44 阅读

相关【软件质量】软件质量控制与软件质量保证

软件质量控制SQC 质量控制为保证行动提供了一种手段，以控制和衡量项目、过程或设施的特征，以满足既定的要求。维持产品或服务质量以满足特定需求的操作技术和活动，也使用这

绝地灬酷狼/ 2022年11月12日 01:54/ 0 赞/ 266 阅读

相关 Kuberntes 服务质量保证（QoS）

【编者的话】Kubernetes做为目前主流的容器集群管理平台，需要整体统筹平台资源使用情况、公平合理的将资源分配给相关pod容器使用，并且要保证容器生命周期内有足够的资源来保

我就是我/ 2022年06月08日 08:46/ 0 赞/ 253 阅读

相关软件工程--软件质量与质量保证

测试分析报告软件质量： 1.软件需求是度量软件质量的基础。不符合需求的软件就不具备质量。 2.在各种标准中定义了一些开发准则，用来指导软

向右看齐/ 2022年04月13日 02:55/ 0 赞/ 353 阅读

相关软件质量软件测试和质量保证

软件质量：软件质量包括 1. 内部质量 2. 外部质量 3. 使用质量就是说软件满足规定或潜在用户需求的能力，要从软件在内部、外部和使用中的表现来衡量

短命女/ 2022年03月19日 05:51/ 0 赞/ 326 阅读