大数据测试实现的三步走

深藏阁楼爱情的钟 2023-10-12 11:30 15阅读 0赞

**Step 1：数据阶段验证**

在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。

1、来自各方面的数据资源应该被验证(如：关系数据库、日志系统、社交等等)，来确保正确的数据被加载进系统

2、将源数据与推送到Hadoop系统中的数据进行比较，以确保加载数据与原数据一致

3、验证正确的数据被提取并被加载到HDFS正确的位置

该阶段可以使用工具Talend或Datameer，进行数据阶段验证。

![fff233054700221ab0b6dbd3dde495f9.jpeg][]

**Step 2："MapReduce"验证**

大数据测试的第二步是MapReduce的验证。在这个阶段，测试者在每个节点上进行业务逻辑验证，然后在运行多个节点后验证它们，确保如下操作的正确性：

1、Map与Reduce进程正常工作

2、在数据上实施数据聚合或隔离规则实现

3、数据key-value键值对关系已正确生成

4、在执行Map和Reduce进程后验证数据

大数据测试的最后或第三阶段是输出验证过程。生成输出数据文件，同时把文件移到一个EDW(Enterprise Data Warehouse:企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括：

1、检查数据转换(Transformation)规则被正确应用

2、检查数据完整性和成功的数据加载到目标系统中

3、通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏

**最后：**下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取**【保证100%免费】**

![7d4a32aca79045099aee747f5bcd0628.png][]

#### **整套资料获取** ####

![d131f220f2454f3eb7cbf82ff8003276.gif][]

[fff233054700221ab0b6dbd3dde495f9.jpeg]: https://img-blog.csdnimg.cn/img_convert/fff233054700221ab0b6dbd3dde495f9.jpeg
[7d4a32aca79045099aee747f5bcd0628.png]: https://img-blog.csdnimg.cn/7d4a32aca79045099aee747f5bcd0628.png
[d131f220f2454f3eb7cbf82ff8003276.gif]: https://img-blog.csdnimg.cn/d131f220f2454f3eb7cbf82ff8003276.gif

发表评论取消回复

表情：

评论列表（有 0 条评论，15人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据_数据中台建设五步走

目录概要第一步：数据资源的盘点与规划：启动过程组第二步：数据应用规划与设计：规划过程组第三步：数据资产建设：规划过程组、执行过程组第四步：数据应用的详细设计

喜欢ヅ旅行/ 2024年03月31日 10:39/ 0 赞/ 92 阅读

相关大数据测试实现的三步走

Step 1：数据阶段验证在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。 1、来自各方面的数据资源应该被验证(如：关系数据库、日志系统、社交等等)，来确

深藏阁楼爱情的钟/ 2023年10月12日 11:30/ 0 赞/ 16 阅读

相关 OAuth 2.0三步走（第三步）——GitHub OAuth 第三方登录示例教程

这组 OAuth 系列教程，[第一篇][Link 1]介绍了基本概念，[第二篇][Link 2]介绍了获取令牌的四种方式，今天演示一个实例，如何通过 OAuth 获取 API

朴灿烈づ我的快乐病毒、/ 2023年10月11日 12:45/ 0 赞/ 53 阅读

相关走进大数据丨 Kafka(三)

常见的Message Queue对比 RabbitMQ RabbitMQ是使用Erlang编写的一个开源消息队列，本身支持很多协议:AMQP、XMPP、SMPT、STOMP

逃离我推掉我的手/ 2023年06月19日 11:05/ 0 赞/ 57 阅读

相关页面设计三步走

摘要作为一个后台类管理系统的开发，经常没有前端开发的人力资源，很多项目不得不自己兼做前端设计和开发。我之前的做法都是直接开始用Axure画原型图，想到什么就画什么，因此

男娘i/ 2023年06月16日 10:35/ 0 赞/ 15 阅读

相关一步一步走进Linux HOOK API(三)

一步一步走进Linux HOOK API(三) 经过前两篇的教程,我很郁闷,CSDN的博客发布出来之后,跟我的排版完全不一样了,等这一系列的内容全部完成完成之后,我会发布

川长思鸟来/ 2022年09月25日 00:21/ 0 赞/ 257 阅读

相关 vue自定义组件三步走

![70][] 如图所示：我自定义了两个组件，一个是Head.vue,一个是Foot.vue 我现在在Page01.vue中用他们两个，公分三步 1，引用 2，注册

谁借莪１个温暖的怀抱￠/ 2022年05月25日 06:17/ 0 赞/ 216 阅读

相关递归求解走台阶问题，一次可以走一步、两步、三步、...、n步（经典面试题——增强版走台阶）

1、问题描述现在有一个台阶，一共有n阶，你一次性可以走1步、2步、3步、......、n步。问：一共有多少种走法。 2、求解思路第一步走1阶：那么这种情况下的

灰太狼/ 2022年05月15日 10:20/ 0 赞/ 608 阅读

相关 JVM类加载三步走

Java虚拟机通过加载、连接和初始化一个类型，使该类型可以被正在运行的Java程序使用。 1. 加载：把二进制形式的Java类型读入Java虚拟机中。 2. 连接：把加载

绝地灬酷狼/ 2022年05月14日 07:18/ 0 赞/ 163 阅读

相关提高Python数据分析能力，分三步走，让你锦上添花

前言初级阶段，你可以逐渐学会掌握基本的数据结构、功能、循环，简单使用常用的软件包（如pandas、numpy、MatPultLIB等），这个阶段应该耐心，毕竟新手，不能随

傷城~/ 2022年03月16日 01:48/ 0 赞/ 218 阅读