数据清洗的几个要点-大数据开发流程

川长思鸟来 2024-04-18 15:29 73阅读 0赞

**大数据开发流程：**

**从数据采集-》数据清洗-》数据处理（分析，计算···）**

我们采集过来的数据是有问题的,其中可能有脏数据或者无效数据，所以我们想要进行数据处理之前，就要对采集过来的数据先进行一个数据清洗，把脏数据和无效数据过滤掉。

**我们在进行数据清洗时都要注意哪些呢？**

1.数据的完整性：如果数据不完整就可以被称作无效数据。

2.数据的合法性：不符合数据的合法性的也被称作脏数据，例如，一个人的身高300米。

3.数据的唯一性:保证一条数据的唯一性.比如相同的一个人只有一组信息，不可能出现相同的一个人出现若干条信息

4，数据的全面性：判断数据是否真实，符合常识。

**数据清洗中会遇到的问题：**

1，空数据：对于一条空数据直接选择删除

2，数据不完整：我们在做数据清洗时，时常会遇到“缺胳膊少腿”的数据，那么这些数据可以被划分为无效数据，可以选择删除，但是呢也可以选择补全数据，补全数据有两个选择：第一个选择，取这个缺失字段的整列平均值.第二个选择:取当前缺失字段的整列频率最高值.但是重要数据列字段我们无法填补，比如性别字段。

3，数据单位不统一：统一单位，比如说薪资的单位就是元。

4.数据重复：保留时间戳最新的那一条数据，剩下重复的数据删除掉

5,错误数据：错误数据无法处理，选择删除。像刚才提到的性别错误，我们无法判断。也无法用平均值和频率补全。

**kettle数据清洗的流程**

1.获取时间节点最新的表数据,然后根据时间先后查询数据，进行清洗，然后分别输送到各个表。

2.kettle做数据清洗的误区

一个表有百八十十个字段，就需要百八十个清洗控件去处理，而且清洗规则无法有效管理，如果清洗规则改变，所有的清洗控件都要依次去改变。

虽然可以用sql做数据清洗，但是每个数据库的sql语法不一样，所以一旦有不同的数据库中的数据作为来源，你就要重新写sql脚本，开发成本高并且不易维护。还有就是我们的数据的数据源是各种格式的，例如文本格式，Excel表格式，数据库里面的数据，所以说用sql做数据清洗无法满足需求。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

[640_wx_fmt_jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/1f00c80d63924d95b3c577127c42b164.png

发表评论取消回复

表情：

评论列表（有 0 条评论，73人围观）

还没有评论，来说两句吧...

相关阅读

相关数据清洗的几个要点-大数据开发流程

*大数据开发流程：** **从数据采集-》数据清洗-》数据处理（分析，计算···）** 我们采集过来的数据是有问题的,其中可能有脏数据或者无效数据，所以我们想要进行数...

川长思鸟来/ 2024年04月18日 15:29/ 0 赞/ 74 阅读

相关基于hadoop+MapReduce+Java大数据清洗和分析的基本操作流程

[全套资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/87479734 [全套资源下载地址][L

迷南。/ 2024年03月26日 12:51/ 0 赞/ 39 阅读

相关大数据企业开发全套流程

大数据企业开发基础流程 Linux命令 1 Hadoop(HDFS+Yarn)单机版环境搭建 > Hadoop 是一个开源的分布式计算框架，由 HDFS

- 日理万妓/ 2024年03月16日 20:03/ 0 赞/ 57 阅读

相关数据清洗

1.数据错误：错误类型 – 脏数据或错误数据 • 比如, Age = -2003 – 数据不正确 • ‘0’ 代表真实的0，还是代表缺失 – 数据不一致

港控/mmm°/ 2024年02月19日 12:18/ 0 赞/ 69 阅读

相关大数据开发：关于Zookeeper的几个核心知识点

为什么会有ZooKeeper 我们知道要写一个分布式应用是非常困难的，主要原因就是局部故障。一个消息通过网络在两个节点之间传递时，网络如果发生故障，发送方并不知道接收方是否

骑猪看日落/ 2023年07月25日 09:51/ 0 赞/ 27 阅读

相关大数据开发步骤和流程

大数据项目开发步骤：第一步：需求：数据的输入和数据的产出；第二步：数据量、处理效率、可靠性、可维护性、简洁性；第三步：数据建模；第四步：架构设计：数据怎么进来，

清疚/ 2023年06月19日 11:20/ 0 赞/ 11 阅读

相关数据清洗--SQL

使用DDL创建数据库&数据表 [使用DDL创建数据库&数据表][DDL] 检索数据：你还在SELECT \ 么 [检索数据：你还在SELECT \ 么][SELE

喜欢ヅ旅行/ 2022年10月17日 10:49/ 0 赞/ 225 阅读

相关 SPSS数据清洗

SPSS数据清洗关于spss对数据的清洗，就是将多余重复的数据筛选清楚，将确实的数据补充完整，将错误的数据纠正活删除。下面主要内容是关于最常用的重复数据操作：首

女爷i/ 2022年05月15日 03:58/ 0 赞/ 2791 阅读

相关 Python数据清洗

数据基本情况查看 from pandas import Series,DataFrame from numpy import nan as NA

ゝ一纸荒年。/ 2021年12月19日 22:49/ 0 赞/ 355 阅读

相关转型大数据常见的几个问题

没有大数据的开发经验，怎么去面试大数据的职位呢？我认为越是好的公司，越是优秀的面试官，越是不在意你的经验，他们会更看重你的基础能力和解决问题的思路。所以你如果对自己的基础

Dear 丶/ 2021年11月05日 01:20/ 0 赞/ 294 阅读