HADOOP 离线计算机系统【一】

小灰灰 2022-12-22 13:27 96阅读 0赞

### HADOOP 离线计算机系统 ###

*  1.HADOOP背景介绍
 *  1.什么是HADOOP
 *   *  1.2 HADOOP产生背景
     *  1.3 HADOOP在大数据、云计算中的位置和关系
     *  1.4 国内外HADOOP应用案例介绍
     *  1.5 HADOOP生态圈以及各组成部分的简介
 *  2 分布式系统概述
 *   *  2.1 分布式软件系统(Distributed Software Systems)
     *  2.2 分布式软件系统举例：solrcloud
     *  2.3 分布式应用系统模拟开发
 *  3. 离线数据分析流程介绍
 *   *  3.1 需求分析
     *   *  3.1.1 案例名称
         *  3.1.2 案例需求描述
         *  3.1.3 数据来源
     *  3.2 数据处理流程
     *   *  3.2.1 流程图解析
         *  3.2.2 项目技术架构图
         *  3.2.3 项目相关截图（感性认识，欣赏即可）
     *  3.3 项目最终效果
 *  4. 集群搭建（详：转博客 如何搭建hadoop集群）
 *   *  4.1 HADOOP集群搭建
     *   *  4.1.1集群简介
         *  4.1.2服务器准备
         *  4.1.3网络环境准备
         *  4.1.6 HADOOP安装部署
         *  4.1.7 启动集群
         *  4.1.8 测试
         *   *  1、上传文件到HDFS
             *  2、运行一个mapreduce程序
 *  5 集群使用初步
 *   *  5.1 HDFS使用
     *  5.2 MAPREDUCE使用
     *   *  5.2.1 Demo开发——wordcount
         *  5.2.2 程序打包运行

# 1.HADOOP背景介绍 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center]  
***hadoop之父Doug Cutting***

# 1.什么是HADOOP #

1.HADOOP是apache旗下的一套开源软件平台  
2.大体上怎么用：hadoop 存储。计算。  
3.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理  
4.HADOOP的核心组件有  
A.HDFS（分布式文件系统）  
B.YARN（运算资源调度系统）  
C.MAPREDUCE（分布式运算编程框架）  
4.广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈

## 1.2 HADOOP产生背景 ##

1.**HADOOP最早起源于Nutch**。*Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。*

2.***2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。***  
——分布式文件系统（GFS），可用于处理海量网页的存储  
——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。  
\-------分布式数据的存储BIGTable

Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目，迎来了它的快速发展期。

## 1.3 HADOOP在大数据、云计算中的位置和关系 ##

1。***云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物***  
借助IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS（软件即服务）等业务模式，把强大的计算能力提供给终端用户。

2.现阶段，云计算的两大底层支撑技术为\*\*\*“虚拟化”和“大数据技术”\*\*\*

3.而HADOOP则是云计算的PaaS层的解决方案之一，并不等同于PaaS，更不等同于云计算本身。

## 1.4 国内外HADOOP应用案例介绍 ##

**1、HADOOP应用于数据服务基础平台建设（数据仓库）**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 1]  
**2/HADOOP用于用户画像**![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 2]

**3、HADOOP用于网站点击流日志数据挖掘**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 3]

## 1.5 HADOOP生态圈以及各组成部分的简介 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 4]  
各组件简介

重点组件：

<table> 
 <thead> 
  <tr> 
   <th>…</th> 
   <th>…</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HDFS</td> 
   <td>分布式文件系统</td> 
  </tr> 
  <tr> 
   <td>MAPREDUCE</td> 
   <td>基于大数据技术（文件系统+运算框架）的SQL数据仓库工具</td> 
  </tr> 
  <tr> 
   <td>HIVE</td> 
   <td>基于大数据技术（文件系统+运算框架）的SQL数据仓库工具</td> 
  </tr> 
  <tr> 
   <td>HBASE</td> 
   <td>基于HADOOP的分布式海量数据库</td> 
  </tr> 
  <tr> 
   <td>ZOOKEEPER</td> 
   <td>分布式协调服务基础组件</td> 
  </tr> 
  <tr> 
   <td>Mahout</td> 
   <td>基于mapreduce/spark/flink等分布式运算框架的机器学习算法库</td> 
  </tr> 
  <tr> 
   <td>Oozie</td> 
   <td>工作流调度框架</td> 
  </tr> 
  <tr> 
   <td>Sqoop</td> 
   <td>数据导入导出工具</td> 
  </tr> 
  <tr> 
   <td>Flume</td> 
   <td>日志数据采集框架</td> 
  </tr> 
 </tbody> 
</table>

coderblack

<table> 
 <thead> 
  <tr> 
   <th>…</th> 
   <th>…</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HADOOP（hdfs、MAPREDUCE、yarn）</td> 
   <td>元老级大数据处理技术框架，擅长离线数据分析</td> 
  </tr> 
  <tr> 
   <td>Zookeeper</td> 
   <td>分布式协调服务基础组件</td> 
  </tr> 
  <tr> 
   <td>Hbase</td> 
   <td>分布式海量数据库，离线分析和在线业务通吃</td> 
  </tr> 
  <tr> 
   <td>Hive sql</td> 
   <td>数据仓库工具，使用方便，功能丰富，基于MR延迟大</td> 
  </tr> 
  <tr> 
   <td>Sqoop</td> 
   <td>数据导入导出工具</td> 
  </tr> 
  <tr> 
   <td>Flume</td> 
   <td>数据采集框架</td> 
  </tr> 
 </tbody> 
</table>

# 2 分布式系统概述 #

> 注：由于大数据技术领域的各类技术框架基本上都是分布式系统，因此，理解hadoop、storm、spark等技术框架，都需要具备基本的分布式系统概念

## 2.1 分布式软件系统(Distributed Software Systems) ##

该软件系统会划分成多个子系统或模块，各自运行在不同的机器上，子系统或模块之间通过网络通信进行协作，实现最终的整体功能

比如分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。

## 2.2 分布式软件系统举例：solrcloud ##

A.一个solrcloud集群通常有多台solr服务器

B.每一个solr服务器节点负责存储整个索引库的若干个shard（数据分片）

C.每一个shard又有多台服务器存放若干个副本互为主备用

D.索引的建立和查询会在整个集群的各个节点上并发执行

E.solrcloud集群作为整体对外服务，而其内部细节可对客户端透明

***总结：利用多个节点共同协作完成一项或多项具体业务功能的系统就是分布式系统。***

## 2.3 分布式应用系统模拟开发 ##

需求：可以实现由主节点将运算任务发往从节点，并将各从节点上的任务启动；

程序清单：

> AppMaster  
> AppSlave/APPSlaveThread  
> Task

程序运行逻辑流程：  
![在这里插入图片描述][20201120153806831.png_pic_center]

# 3. 离线数据分析流程介绍 #

> 注：本环节主要感受数据分析系统的宏观概念及处理流程，初步理解hadoop等框架在其中的应用环节，不用过于关注代码细节

一个应用广泛的数据分析系统：“web日志数据挖掘”

![\*\[HTML\]:   超文本标记语言][HTML_]

## 3.1 需求分析 ##

### 3.1.1 案例名称 ###

“网站或APP点击流日志数据挖掘系统”。

> 一般中型的网站(10W的PV以上)，每天会产生1G以上Web日志文件。大型或超大型的网站，可能每小时就会产生10G的数据量。  
> 具体来说，比如某电子商务网站，在线团购业务。每日PV数100w，独立IP数5w。用户通常在工作日上午10:00-12:00和下午15:00-18:00访问量最大。日间主要是通过PC端浏览器访问，休息日及夜间通过移动设备访问较多。网站搜索浏量占整个网站的80%，PC用户不足1%的用户会消费，移动用户有5%会消费。  
> 对于日志的这种规模的数据，用HADOOP进行日志分析，是最适合不过的了。

### 3.1.2 案例需求描述 ###

“Web点击流日志”包含着网站运营很重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页最有价值，广告转化率、访客的来源信息，访客的终端信息等。

### 3.1.3 数据来源 ###

本案例的数据主要由用户的点击行为记录  
获取方式：**在页面预埋一段js程序，为页面上想要监听的标签绑定事件，只要用户点击或移动到标签，即可触发ajax请求到后台servlet程序，用log4j记录下事件信息，从而在web服务器（nginx、tomcat等）上形成不断增长的日志文件。**  
形如：

58.215.204.118 - - [18/Sep/2013:06:51:35 +0000]
     "GET /wp-includes/js/jquery/jquery.js?ver=1.10.2 HTTP/1.1"
     304 0 "http://blog.fens.me/nodejs-socketio-chat/"
     "Mozilla/5.0 (Windows NT 5.1; rv:23.0) Gecko/20100101 Firefox/23.0"

## 3.2 数据处理流程 ##

### 3.2.1 流程图解析 ###

本案例跟典型的BI系统极其类似，整体流程如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 5]  
但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统BI完全不同，后续课程都会一一讲解：

> 1)数据采集：定制开发采集程序，或使用开源框架FLUME  
> 2)数据预处理：定制开发mapreduce程序运行于hadoop集群  
> 3)数据仓库技术：基于hadoop之上的Hive  
> 4)数据导出：基于hadoop的sqoop数据导入导出工具  
> 5)数据可视化：定制开发web程序或使用kettle等产品  
> 6)整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品

### 3.2.2 项目技术架构图 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 6]

### 3.2.3 项目相关截图（感性认识，欣赏即可） ###

a)Mapreudce程序运行  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 7]  
b)在Hive中查询数据  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 8]  
c)将统计结果导入mysql

> ./sqoop export --connect jdbc:mysql://localhost:3306/weblogdb --username root --password root --table t\_display\_xx --export-dir /user/hive/warehouse/uv/dt=2014-08-03

## 3.3 项目最终效果 ##

经过完整的数据处理流程后，会周期性输出各类统计指标的报表，在生产实践中，最终需要将这些报表数据以可视化的形式展现出来，本案例采用web程序来实现数据可视化  
效果如下所示：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 9]

# 4. 集群搭建（详：转博客 如何搭建hadoop集群） #

> 集群搭建方法  
> 可以参考下面方法或者详细可参考另一篇博客“搭建hadoop集群“

--------------------

***详细可以查看我另一篇博客 【如何搭建hadoop集群】:*** [https://blog.csdn.net/wzq18845280610/article/details/109853346][https_blog.csdn.net_wzq18845280610_article_details_109853346].

--------------------

## 4.1 HADOOP集群搭建 ##

### 4.1.1集群简介 ###

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起

***HDFS集群：  
负责海量数据的存储，集群中的角色主要有 NameNode / DataNode***

***YARN集群：  
负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager  
(那mapreduce是什么呢？它其实是一个应用程序开发包)***

本集群搭建案例，以5节点为例进行搭建，角色分配如下：  
hdp-node-01 NameNode SecondaryNameNode  
hdp-node-02 ResourceManager  
hdp-node-03 DataNode NodeManager  
hdp-node-04 DataNode NodeManager  
hdp-node-05 DataNode NodeManager  
部署图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 10]  
**master hadoop 主机。  
scecondary NameNode 为master 提供服务，读取：DateNode 中文件的信息。提交给master**

> 注：正常学习使用可以创建包括主机三台服务器的集群。方便实用！  
> 如：  
> master 主机  
> server01  
> server02  
> 可以参考上面试着建立三个服务器的集群

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 11]

--------------------

***克隆方法***

--------------------

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 12]

### 4.1.2服务器准备 ###

本案例使用虚拟机服务器来搭建HADOOP集群，所用软件及版本：  
Vmware 11.0  
Centos 6.5 64bit

### 4.1.3网络环境准备 ###

1.安装centos系统，并修改IP地址：192.168.137.224  
![在这里插入图片描述][2020112016025461.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 13]  
**配置完成后，重启服务：service network restart**。

**查看IP地址：ifconfig**

![在这里插入图片描述][20201120160334495.png_pic_center]  
2.关闭防火墙：  
service iptables stop :关闭防火墙服务  
chkconfig iptables off ：关闭防火墙配置文件。  
3.开启sshd 服务  
service sshd start  
4.修改主机名  
临时修改：hostname hdp-node-01  
永久修改：vi /etc/sysconfig/network  
![在这里插入图片描述][20201120160412252.png_pic_center]  
5.修改主机映射：  
vi /etc/hosts  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 14]  
6.添加用户，分配sudoer权限  
useradd huaqiang  
passwd 123456

添加sudoers 文件可读权限。  
chmod 640 sudoers  
编辑sudoers文件。首行添加：  
huaqiang ALL=(root)NOPASSWD:ALL  
配置完成后：使用root权限。可使用sudo 即可。  
7.安装JDK

将JDK 上传到/home/huaqiang/app目录  
添加可执行权限。  
\#chmod 764 jdk…  
解压缩JDK  
\#tar -zxf jdk-7u67-linux-x64.tar.gz -C ./  
配置环境变量：  
\#sudo vi /etc/profile  
文件末尾添加代码：

\#SET JAVA\_HOME  
export JAVA\_HOME=/home/huaqiang/app/jdk1.7.0\_67  
export PATH= P A T H : PATH: PATH:JAVA\_HOME/bin:  
刷新资源文件  
\#source /etc/profile  
测试是否安装成功  
java javac java -version

***克隆其他两台主机。***

***克隆之后首先修改克隆机的mac地址。  
00:50:56:2F:AF:62***

修改网卡配置。  
![在这里插入图片描述][20201120160632687.png_pic_center]  
![在这里插入图片描述][20201120160637343.png_pic_center]  
开启02,03 主机，并按照以上步骤，修改IP.主机名，以及映射。

**设置SSH免密码登录**

> 计算机A每次SSH远程连接计算机B时，都需要输入密码。当有些软件需要频繁使用SSH连接其他计算机时，这个时候需要人工填写计算机B的密码，这个会造成大量无用操作，不利于程序的使用。

> 在为了避免这类问题的发生，而且也要兼顾安全问题（设置SSH免密码登陆后，SSH这台计算就不需要密码即可登陆，存在安全隐患），使用公钥和私钥方式解决SSH免密码登陆问题，而且只在一边做，另一边不做，这样也达到了安全的问题。一般是那台机器需要SSH远程其他机器，就在这台机器上设置SSH免登陆操作。

> "公私钥"认证方式简单的解释:首先在客户端上创建一对公私钥 （公钥文件：~/.ssh/id\_rsa.pub； 私钥文件：/.ssh/id\_rsa）。然后把公钥放到服务器上（/.ssh/authorized\_keys）, 自己保留好私钥.在使用ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了。

> ssh 无密码登录要使用公钥与私钥。linux下可以用ssh-keygen生成公钥/私钥对.

//在master机下生成公钥/私钥对。  
\#ssh-keygen -t rsa  
//拷贝pubkey公钥，并修改其名称为：authorized\_keys  
cp id\_rsa.pub ./authorized\_keys  
//将master机子上的key给其他机子上发送一份  
\#scp ~/.ssh/authorized\_keys slave1:/home/huaqiang/.ssh/  
\#scp ~/.ssh/authorized\_keys slave2:/home/huaqiang/.ssh/

**使用ssh进行登录验证**  
ssh slave1  
ssh slave2

### 4.1.6 HADOOP安装部署 ###

上传HADOOP安装包  
规划安装目录 /home/hadoop/apps/hadoop-2.6.1  
解压安装包  
**修改配置文件 $HADOOP\_HOME/etc/hadoop/**

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:8020</value>
    </property>
    <property>
    <name>io.file.buffer.size</name>
    <value>4096</value>
    </property>

**修改hdfs-site.xml**

<property>
    <name>dfs.replication</name>
    <value>2</value>
    </property>
    <property>
    <name>dfs.block.size</name>
    <value>134217728</value>
    </property>
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoopdata/dfs/name</value>
    </property>
    
    
    
    
    
    
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoopdata/dfs/data</value>
    </property>
    <property>
    	<name>fs.checkpoint.dir</name>
    	<value>/home/hadoopdata/checkpoint/dfs/cname</value>
    </property>
    <property>
    	<name>fs.checkpoint.edits.dir</name>
    	<value>/home/hadoopdata/checkpoint/dfs/cname</value>
    </property>
    <property>
       <name>dfs.http.address</name>
       <value>master:50070</value>
    </property>
    <property>
       <name>dfs.secondary.http.address</name>
       <value>slave1:50090</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
    <property>
    <name>dfs.permissions</name>
    <value>false</value>
    </property>

**修改mapred-site.xml文件**

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <final>true</final>
    </property>
    <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
    </property>
    <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
    </property>

**修改yarn-site.xml**

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master </value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
    </property>
    <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
    </property>
    <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
    </property>
    <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
    </property>
    <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
    </property>

**修改slaves文件**

注意:每个机器名占一行。
    master
    slave1
    slave2

拷贝Hadoop 到 datanode02 datanode03 主机上。

scp -r ./hadoop-2.7.1 hadoop-datanode-02:/home/huaqiang/app/  
scp -r ./hadoop-2.7.1 hadoop-datanode-03:/home/huaqiang/app/

### 4.1.7 启动集群 ###

初始化HDFS

> bin/hadoop namenode -format

启动HDFS

> sbin/start-dfs.sh

启动YARN

> sbin/start-yarn.sh

### 4.1.8 测试 ###

#### 1、上传文件到HDFS ####

从本地上传一个文本文件到hdfs的/wordcount/input目录下

> \[HADOOP@hdp-node-01 ~\]$ HADOOP fs -mkdir -p /wordcount/input  
> \[HADOOP@hdp-node-01 ~\]$ HADOOP fs -put /home/HADOOP/somewords.txt /wordcount/input

#### 2、运行一个mapreduce程序 ####

在HADOOP安装目录下，运行一个示例mr程序

> cd $HADOOP\_HOME/share/hadoop/mapreduce/  
> hadoop jar mapredcue-example-2.6.1.jar wordcount /wordcount/input /wordcount/output

开启服务：  
Wei:UI 查看启动：  
***http://master.com:50070/ hdfs 启动  
http://master.com:8088/cluster yarn 启动*  
启动history服务才能看到webUI节点  
$mr-jobhistory-daemon.sh start historyserver  
http://master.com:19888/jobhistory mr 启动**

# 5 集群使用初步 #

## 5.1 HDFS使用 ##

1、查看集群状态  
命令： hdfs dfsadmin –report

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 15]  
可以看出，集群共有3个datanode可用  
也可打开web控制台查看HDFS集群信息，在浏览器打开http://hdp-node-01:50070/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 16]  
2、上传文件到HDFS  
查看HDFS中的目录信息  
命令： hadoop fs –ls /  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 17]  
上传文件  
命令： hadoop fs -put ./ scala-2.10.6.tgz to /  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 18]

从HDFS下载文件  
命令： hadoop fs -get /yarn-site.xml  
![在这里插入图片描述][20201120161453684.png_pic_center]

## 5.2 MAPREDUCE使用 ##

mapreduce是hadoop中的分布式运算编程框架，只要按照其编程规范，只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序

### 5.2.1 Demo开发——wordcount ###

1、需求  
从大量（比如T级别）文本文件中，统计出每一个单词出现的总次数

2、mapreduce实现思路

Map阶段：

> a)从HDFS的源数据文件中逐行读取数据  
> b)将每一行数据切分出单词  
> c)为每一个单词构造一个键值对(单词，1)  
> d)将键值对发送给reduce

Reduce阶段：

> a)接收map阶段输出的单词键值对  
> b)将相同单词的键值对汇聚成一组  
> c)对每一组，遍历组中的所有“值”，累加求和，即得到每一个单词的总次数  
> d)将(单词，总次数)输出到HDFS的文件中

4、具体编码实现  
(1)定义一个mapper类

> //首先要定义四个泛型的类型  
> //keyin: LongWritable valuein: Text  
> //keyout: Text valueout:IntWritable

> public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>\{  
> //map方法的生命周期： 框架每传一行数据就被调用一次  
> //key : 这一行的起始点在文件中的偏移量  
> //value: 这一行的内容  
> @Override  
> protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException \{  
> //拿到一行数据转换为string  
> String line = value.toString();  
> //将这一行切分出各个单词  
> String\[\] words = line.split(" ");  
> //遍历数组，输出<单词，1>  
> for(String word:words)\{  
> context.write(new Text(word), new IntWritable(1));  
> \}  
> \}  
> \}

(2)定义一个reducer类

> //生命周期：框架每传递进来一个kv 组，reduce方法被调用一次  
> @Override  
> protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException \{  
> //定义一个计数器  
> int count = 0;  
> //遍历这一组kv的所有v，累加到count中  
> for(IntWritable value:values)\{  
> count += value.get();  
> \}  
> context.write(key, new IntWritable(count));  
> \}  
> \}

(3)定义一个主类，用来描述job并提交job

> public class WordCountRunner \{  
> //把业务逻辑相关的信息（哪个是mapper，哪个是reducer，要处理的数据在哪里，输出的结果放哪里。。。。。。）描述成一个job对象  
> //把这个描述好的job提交给集群去运行  
> public static void main(String\[\] args) throws Exception \{  
> Configuration conf = new Configuration();  
> Job wcjob = Job.getInstance(conf);  
> //指定我这个job所在的jar包  
> // wcjob.setJar("/home/hadoop/wordcount.jar");  
> wcjob.setJarByClass(WordCountRunner.class);  
> wcjob.setMapperClass(WordCountMapper.class);  
> wcjob.setReducerClass(WordCountReducer.class);  
> //设置我们的业务逻辑Mapper类的输出key和value的数据类型  
> wcjob.setMapOutputKeyClass(Text.class);  
> wcjob.setMapOutputValueClass(IntWritable.class);  
> //设置我们的业务逻辑Reducer类的输出key和value的数据类型  
> wcjob.setOutputKeyClass(Text.class);  
> wcjob.setOutputValueClass(IntWritable.class);  
> //指定要处理的数据所在的位置  
> FileInputFormat.setInputPaths(wcjob, “hdfs://hdp-server01:9000/wordcount/data/big.txt”);  
> //指定处理完成之后的结果所保存的位置  
> FileOutputFormat.setOutputPath(wcjob, new Path(“hdfs://hdp-server01:9000/wordcount/output/”));  
> //向yarn集群提交这个job  
> boolean res = wcjob.waitForCompletion(true);  
> System.exit(res?0:1);  
> \}

### 5.2.2 程序打包运行 ###

1.将程序打包  
2.准备输入数据  
vi /home/hadoop/test.txt

Hello tom
    Hello jim
    Hello ketty
    Hello world
    Ketty tom

在hdfs上创建输入数据文件夹：  
hadoop fs mkdir -p /wordcount/input  
将words.txt上传到hdfs上  
hadoop fs –put /home/hadoop/words.txt /wordcount/input  
![在这里插入图片描述][20201120161800522.png_pic_center]  
3.将程序jar包上传到集群的任意一台服务器上

4.使用命令启动执行wordcount程序jar包

> $ hadoop jar wordcount.jar cn.itcast.bigdata.mrsimple.WordCountDriver /wordcount/input /wordcount/out

![在这里插入图片描述][20201120161837206.png_pic_center]  
5.查看执行结果

> $ hadoop fs –cat /wordcount/out/part-r-00000

![在这里插入图片描述][2020112016185621.png_pic_center]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/f21b77ce9231452d9a877aa7cd7f7377.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/2589850bdbe74ee5923dce3c92985a53.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221120/34192b4e46e4461eaf3b213b88bde492.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221120/af4c2a5a34bb4f1f91e0663c05755206.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221120/2361e57ad8d24433ade3c9e40321a991.png
[20201120153806831.png_pic_center]: /images/20221120/76523480f152457ba4b3b985723c8fb6.png
[HTML_]: /images/20221120/a96646c8e05f402e806c958f028be78a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221120/c8ce12756c3840c19c1f5f0269bdfa6e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221120/b3f3583f75114d72a19429a86d094c46.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221120/cdf1ef26e4e144aaa3eff48f889e0100.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221120/6a6e3acde7744d7083f438655d0f4190.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221120/564e9913ff0348859a3c6bdef0f8a372.png
[https_blog.csdn.net_wzq18845280610_article_details_109853346]: https://blog.csdn.net/wzq18845280610/article/details/109853346
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221120/7202da75e42042c699c670850d1600bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221120/e77765321d9c4241a82b7a371af4dd31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221120/8f1b2514b147498ca39ecb0a6d56843b.png
[2020112016025461.png_pic_center]: /images/20221120/982a3a4048f743dc9b6792584c17dbb6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221120/c55deea6b47946faab7f448f334c36c4.png
[20201120160334495.png_pic_center]: /images/20221120/390b5c9a71e64c4eb848f27f8c0541ba.png
[20201120160412252.png_pic_center]: /images/20221120/da7e41ad82d648d0ade77b4b14ddc181.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 14]: /images/20221120/1842d587d92b420e9d9e9c85a4aa7acd.png
[20201120160632687.png_pic_center]: /images/20221120/f291236a6f504852ab1d710c49bf334e.png
[20201120160637343.png_pic_center]: /images/20221120/2c7a0c47144545d6b00ea4cfe035b3bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 15]: /images/20221120/4000cf0456af4779bbaddae4e392e3f5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 16]: /images/20221120/56e3ab936aac496c9842ae5bd59a2cc7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 17]: /images/20221120/a301f517a89f448aa61e8a19534c6fbd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70_pic_center 18]: /images/20221120/244e58c1e6944bd6b4863b2a8587943f.png
[20201120161453684.png_pic_center]: /images/20221120/09718cbfa22840e38c62bab441cd5a7d.png
[20201120161800522.png_pic_center]: /images/20221120/cc9d1f844114494eb106942da6e79b8c.png
[20201120161837206.png_pic_center]: /images/20221120/c17f50cfc40340eb96244ac66aa3cf7c.png
[2020112016185621.png_pic_center]: /images/20221120/b4cbb05b59414ea087585d24b856469d.png