1、hadoop环境搭建

逃离我推掉我的手 2022-01-21 03:31 313阅读 0赞

### 文章目录 ###

*  1、创建安装目录
 *  2、安装JDK
 *  3、安装hadoop
 *  4、WordCount案例(hadoop的本地运行模式)

安装hadoop，需要安装jdk和hadoop

# 1、创建安装目录 #

在/opt目录下创建module、software文件夹，software用于存放安装的源文件，module用于存放安装后的软件，即解压后的文件。

mkdir module
    mkdir software

# 2、安装JDK #

下载[JDK][]（提取码：n43n），下载的JDK包移到/opt/software目录下，然后解压JDK压缩包到/opt/module目录下

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

配置JDK的环境变量，打开/etc/profile文件，加入下列内容：

#JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    export PATH=$PATH:$JAVA_HOME/bin

让添加的内容生效，执行：

source /etc/profile

检验JDK是否安装成功，执行：

java -version

# 3、安装hadoop #

下载[hadoop][]安装包（提取码：9p5m），把下载的hadoop安装包放到/opt/software目录下，然后解压安装包

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

配置hadoop，在/etc/profile文件中添加如下内容：

#HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin

让添加的环境变量生效，执行：

source /etc/profile

检验hadoop安装是否成功：

hadoop version

# 4、WordCount案例(hadoop的本地运行模式) #

安装完hadoop后，下面执行官方提供的案例，下面以官方提供的经典案例wordCount统计单词出现的频率为例。  
在安装完hadoop后，在hadoop的安装目录下存在一个share目录，里面提供了hadoop提供的一些案例，wordCount就是其中经典的一个。  
运行hadoop时需要创建输入目录，用于存放需要分析的数据，在hadoop的安装目录下创建wcinput目录，然后在wcinput目录下创建输入文件wc.input，在输入wc.input文件中添加如下测试内容：

deng zhi qi
    zhou jie lun
    xue zhi qian
    lin jun jie
    chen xue ning
    liu de hua
    zhang jie
    zhang xue you
    mao bu yi
    hua chen yu
    chen yi xun
    dao lang
    huang jia ju
    xu song
    li zhong sheng
    zhuang xun ya
    wang li hong
    zheng yuan
    feng huang chuan qi
    li rong hao
    wang su long
    wang jie

下面回到hadoop目录，执行：

hadoop jar
     share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

wcoutput为生成结果的目录，不需要手动创建，程序会自动创建  
执行结束后，进入wcoutput目录下的part-r-00000文件查看分析的结果，结果如下：

bu      1
    chen    3
    chuan   1
    dao     1
    de      1
    deng    1
    feng    1
    hao     1
    hong    1
    hua     2
    huang   2
    jia     1
    jie     4
    ju      1
    jun     1
    lang    1 
    li      3 
    lin     1   
    liu     1   
    long    1   
    lun     1   
    mao     1  
    ning    1 
    qi      2     
    qian    1
    rong    1
    sheng   1
    song    1
    su      1
    wang    3 
    xu      1 
    xue     3 
    xun     2 
    ya      1
    yi      2
    you     1
    yu      1
    yuan    1
    zhang   2
    zheng   1
    zhi     2
    zhong   1
    zhou    1
    zhuang  1

至此，hadoop安装并运行成功。

[JDK]: https://pan.baidu.com/s/1sjIuty91WvPyclLXXkOCGw
[hadoop]: https://pan.baidu.com/s/1F91oqRhBcFgOTQoYelgqZQ