Linux安装部署Hadoop及统计单词次数测试

╰+哭是因爲堅強的太久メ 2022-01-06 04:41 267阅读 0赞

今天来一起学习一下Linux安装以及部署Hadoop环境

Ps：需要安装jdk，没有安装的小伙伴移步到：[点我快速进入安装jdk文章][jdk]

一、下载Hadoop及上传服务器（两种方式）

1、手动下载然后上传服务器 下载地址：https://hadoop.apache.org/releases.html

![file][]

2、自动下载

命令：wget http://apache.fayea.com/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

![file][file 1]

以上任选其一进行下载删除，创建文件夹已经怎么上传 我就不赘述了。 你看了我很多博客，你已经是个成熟的程序员了。

![file][file 2]

二、解压Hadoop压缩包

![file][file 3]

三、ssh安装

3.1、安装ssh：

![file][file 4]

yum install openssh-server

3.2、创建ssh文件夹，在ssh文件夹下创建两个文件id\_dsa及id\_dsa.pub,这是一对私钥和公钥，然后把id\_dsa.pub(公钥)追加到授权的key里面去。

![file][file 5]

3.3登录ssh

![file][file 6]

1、登录ssh：ssh localhost
    2、第一次会询问是否继续 输入yes即可（没提示忽略此话）
    3、输入密码：服务器密码

四、配置Hadoop

4.1找到你本地jdk目录（没有安装jdk请移步[点我快速进入安装jdk文章][jdk]）

![file][file 7]

4.2修改/kingyifan/hadoop/hadoop-2.7.7/etc/hadoop/hadoop-env.sh 指定jdk的安装目录

![file][file 8]

进入目录：cd /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop/
    修改命令：vim hadoop-env.sh
    修改jdk安装目录：export JAVA_HOME=/DATA/jdk/jdk1.8.0_211

4.3创建一个hadoop运行时产生文件的存储路径文件夹

![file][file 9]

进入目录：cd /kingyifan/hadoop/hadoop-2.7.7
    创建目录：mkdir temp

4.4 修改core-site.xml文件

![file][file 10]

进入目录：cd /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop
    创建目录：vim core-site.xml
    增加以下配置：
    <configuration>
        
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://0.0.0.0:9000</value>
        </property>
        
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/kingyifan/hadoop/hadoop-2.7.7/temp</value>
        </property>
    </configuration>

4.5修改hadoop2.7.3/etc/hadoop/hdfs-site.xml ：

![file][file 11]

修改文件：vim  /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml 
    增加以下配置：
    <configuration>
       <property>
            <name>dfs.replication</name>
            <value>2</value>
       </property>
    
       <property>
           <name>dfs.datanode.max.xcievers</name>
           <value>4096</value>
       </property>
    </configuration>

五、启动hadoop

5.1 第一次启动需要格式化：

![file][file 12]

格式化目录：/kingyifan/hadoop/hadoop-2.7.7/bin/hdfs namenode -format（此命令可以在任意目录下执行，因为hdfs目录是绝对路径）

![file][file 13]

5.2启动hdfs

![file][file 14]

启动命令：/kingyifan/hadoop/hadoop-2.7.7/sbin/start-dfs.sh
     输入第一次密码启动 namenode节点
     输入第二次密码启动datanode节点 这个节点如果没启动则上传不了文件 
     输入第三次密码启动secondarynamenode节点

PS：切记要把三次密码输入正确，一定要把三个节点启动起来。不要用ctrl+c强制退出到控制台。

datanode节点没启动成功 上传文件会报以下错误！

![file][file 15]

不知道启动没有启动成功：jps以下

![file][file 16]

查看启动的服务：jps

ps：如果出现 root@0.0.0.0's password: 0.0.0.0: Permission denied, please try again. 解决方案如下：

![file][file 17]

5.3 关闭hdfs（此步骤可以不做。）

![file][file 18]

关闭hdfs命令： /kingyifan/hadoop/hadoop-2.7.7/sbin/stop-dfs.sh

5.4 修改iptables 增加50070端口访问权限

![file][file 19]

修改iptables：vim /etc/sysconfig/iptables
    增加-A INPUT -m state --state NEW -m tcp -p tcp --dport 50070 -j ACCEPT
    重启防火墙：service iptables restart

5.5、访问ui页面：http://192.168.241.134:50070

![file][file 20]

六、安装yarn Hadoop的资源管理器

6.1、先甩一个百度百科的资源管理器资料。

![file][file 21]

6.2、配置mapred-site.xml文件

6.2.1 复制一个模板配置出来。

![file][file 22]

进入目录：cd /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop
       复制一个模板出来：cp mapred-site.xml.template mapred-site.xml

6.2.2 修改刚刚复制的文件

![file][file 23]

1、进入目录 cd /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop
       2、修改文件 vim mapred-site.xml
       3.、添加以下配置：
      <configuration>
     
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

6.3 修改yarn-site.xml:

![file][file 24]

1、进入目录 cd /kingyifan/hadoop/hadoop-2.7.7/etc/hadoop  
    2、修改文件vim yarn-site.xml
    3.、添加以下配置：
    <configuration>
    
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
    </configuration>

6.4 YARN的启动

![file][file 25]

启动命令：/kingyifan/hadoop/hadoop-2.7.7/sbin/start-yarn.sh
    输入服务器密码
    jps 查询一下

6.5 关闭YARN

![file][file 26]

关闭命令：/kingyifan/hadoop/hadoop-2.7.7/sbin/start-yarn.sh
     输入服务器密码

6.6 修改iptables 增加一下8088端口

![file][file 27]

进入iptables配置：vim /etc/sysconfig/iptables
       增加8088配置：-A INPUT -m state --state NEW -m tcp -p tcp --dport 8088 -j ACCEPT
       重启防火墙：service iptables restart

6.7、访问ui页面：http://192.168.241.134:8088/cluster

![file][file 28]

七、简单运行一个统计单词出现

7.1 在hadoop根目录 创建一个test的文本文件夹

![file][file 29]

进入hadoop目录：cd /kingyifan/hadoop/hadoop-2.7.7
     创建一个文本文件夹：vim test.txt
     随便输入一点东西

7.2上传test.txt

![file][file 30]

上传hdfs根目录： /kingyifan/hadoop/hadoop-2.7.7/bin/hadoop  fs  -put /kingyifan/hadoop/hadoop-2.7.7/test.txt   /

查看是否上传成功：

![file][file 31]

统计单词次数：

用hadoop执行一个叫 hadoop-mapreduce-examples.jar 的 wordcount 方法，其中输入参数为 hdfs上根目录的test.txt 文件，而输出路径为 hdfs跟目录下的out目录，运行过程如下：

![file][file 32]

命令： /kingyifan/hadoop/hadoop-2.7.7/bin/hadoop  jar  /kingyifan/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount hdfs://127.0.0.1:9000/test.txt hdfs://127.0.0.1:9000/out

查看执行结果：

![file][file 33]

![file][file 34]

![file][file 35]

点击Download 如果出现下面这种情况

![file][file 36]

增加iptables防火墙 50075配置

![file][file 37]

然后把访问路径localhost改为服务器ip地址。

![file][file 38]

打开part-r-0000文件查看统计单词次数：

![file][file 39]

以上就是单词统计出现次数程序

如果修改了test.txt 文件怎么重新计算呢。直接执行计算命令，会有以下报错。

![file][file 40]

报错原因 说out目录已经存在

![file][file 41]

两种解决方案：

1.删除out目录

![file][file 42]

命令：/kingyifan/hadoop/hadoop-2.7.7/bin/hadoop fs -rm -r /out out是目录名称

2.执行命令的时候把out改成别的 例：out1 out2。。

重新计算单词个数步骤：

1.删除根目录test.txt文件

2.重新上传test.txt文件

3.删除out目录

4.执行计算命令（以上步骤都有。）

终、、

--------------------

以上linux安装及部署Hadoop 以及测试统计单词出现次数 有什么问题可以联系我哈。

鼓励作者写出更好的技术文档，就请我喝一瓶哇哈哈哈哈哈哈哈。。你们的赞助决定我更新的速度哦！

微信：

[![E5_BE_AE_E4_BF_A1_E5_9B_BE_E7_89_87_20180718143757_meitu_220180718150018666.jpg][]][E5_BE_AE_E4_BF_A1_E5_9B_BE_E7_89_87_20180718143757_meitu_220180718150018666.jpg 1]

支付宝：

[![E5_BE_AE_E4_BF_A1_E6_88_AA_E5_9B_BE_2018071814381620180718143910635.png][]][E5_BE_AE_E4_BF_A1_E6_88_AA_E5_9B_BE_2018071814381620180718143910635.png 1]

--------------------

感谢一路支持我的人。。。。。
    
    Love me and hold me
    QQ:69673804（16年老号）
    EMAIL:itw@tom.com
    友链交换
    如果有兴趣和本博客交换友链的话，请按照下面的格式在评论区进行评论，我会尽快添加上你的链接。

--------------------

网站名称：KingYiFan’S Blog
    网站地址：http://blog.cnbuilder.cn
    网站描述：年少是你未醒的梦话，风华是燃烬的彼岸花。
    网站Logo/头像： [头像地址](https://blog.cnbuilder.cn/upload/2018/7/avatar20180720144536200.jpg)

[jdk]: https://blog.cnbuilder.cn/archives/linuxinstalljdk
[file]: https://img.cnbuilder.cn/blog/a546da39cc7a0f17771123a558d7928a.png
[file 1]: https://img.cnbuilder.cn/blog/4f7ae0e2a72abf4d650779dde1fdf605.png
[file 2]: https://img.cnbuilder.cn/blog/6e50c094068f98bb94e66a0e15bbf894.png
[file 3]: https://img.cnbuilder.cn/blog/e9a6ddb33f52b2f424f33e4298255079.png
[file 4]: https://img.cnbuilder.cn/blog/58cc1a41aa5a1bf0ce8dceeedb9aed08.png
[file 5]: https://img.cnbuilder.cn/blog/868eb6562824a033c99346afc69c557f.png
[file 6]: https://img.cnbuilder.cn/blog/cd0894dc249bdcd4073f275c7e7ffa42.png
[file 7]: https://img.cnbuilder.cn/blog/f63f456b9354a965b4c753cb457112c3.png
[file 8]: https://img.cnbuilder.cn/blog/743b827b8e54d00f9d2772f1a912c8e0.png
[file 9]: https://img.cnbuilder.cn/blog/6c0b2eaa8622fd301a12cf865206b5a0.png
[file 10]: https://img.cnbuilder.cn/blog/34e6528f26c3f74956a715e41a49deeb.png
[file 11]: https://img.cnbuilder.cn/blog/d743b765f8edd332d23e7eaf2eeb3059.png
[file 12]: https://img.cnbuilder.cn/blog/aab9a6b1142c61002882c34568c8c6f1.png
[file 13]: https://img.cnbuilder.cn/blog/78389daf0ba1fd581a6ac481321e2b6c.png
[file 14]: https://img.cnbuilder.cn/blog/bc91226f79c4688e5987fff93a5b4685.png
[file 15]: https://img.cnbuilder.cn/blog/6ea8a64fd5c0e4716f80ccbb48bdbf59.png
[file 16]: https://img.cnbuilder.cn/blog/f7b632a08cd1237f1b4e10372d472110.png
[file 17]: https://img.cnbuilder.cn/blog/7e946c092a6c04ba862fcb73c789e50b.png
[file 18]: https://img.cnbuilder.cn/blog/e272930c87a90699518992bd0a880a33.png
[file 19]: https://img.cnbuilder.cn/blog/89d4f04c03bac02caf382993b595724b.png
[file 20]: https://img.cnbuilder.cn/blog/2a993226ece10b132e5743769f42731b.png
[file 21]: https://img.cnbuilder.cn/blog/3ee0ca10ad9194b92c31f66e1a1164c0.png
[file 22]: https://img.cnbuilder.cn/blog/1f4cd1148e4eb37fb232db9d25d58fac.png
[file 23]: https://img.cnbuilder.cn/blog/89a3fff0dfdaec21678c8a25ebe91a3a.png
[file 24]: https://img.cnbuilder.cn/blog/bc11a33bbd12d3a7858e7acb38c44d4c.png
[file 25]: https://img.cnbuilder.cn/blog/87bc62147981cba45425724cb01c150c.png
[file 26]: https://img.cnbuilder.cn/blog/dc06ca3eada34e86b38eee2ce823b934.png
[file 27]: https://img.cnbuilder.cn/blog/6f8d4cad1c9c51e40549a36f065b8fb8.png
[file 28]: https://img.cnbuilder.cn/blog/1197a91577e5cbd554eb6e7b67d1dc95.png
[file 29]: https://img.cnbuilder.cn/blog/9a6c82de5d2f167ca2f66fcfb7425191.png
[file 30]: https://img.cnbuilder.cn/blog/7c9a276f9a4be516983208dbc19c9cc8.png
[file 31]: https://img.cnbuilder.cn/blog/3ed4b8078fd6467d45bb55fb1a814c51.png
[file 32]: https://img.cnbuilder.cn/blog/05b652e47417a27e573e7f1745126d4e.png
[file 33]: https://img.cnbuilder.cn/blog/0285ac982500e008234eb0529f051ed3.png
[file 34]: https://img.cnbuilder.cn/blog/09de40d2257bb43f42239e26be96afb7.png
[file 35]: https://img.cnbuilder.cn/blog/3fccab7ccdae100609604b6bf3036da7.png
[file 36]: https://img.cnbuilder.cn/blog/1377a476b91c132e17a466bc27bae2cb.png
[file 37]: https://img.cnbuilder.cn/blog/e88058cee02b058c1f077ac48b0d8c6e.png
[file 38]: https://img.cnbuilder.cn/blog/e314d64096b82ee4c1e4e5a32b7fe4c6.png
[file 39]: https://img.cnbuilder.cn/blog/754c3e593382b5129b336b285d724afe.png
[file 40]: https://img.cnbuilder.cn/blog/298ecc5676187adeaffcce3b17dced37.png
[file 41]: https://img.cnbuilder.cn/blog/3fc092c657e102104205742231541855.png
[file 42]: https://img.cnbuilder.cn/blog/a16c9cc091a4e1ed137c219b2580d442.png
[E5_BE_AE_E4_BF_A1_E5_9B_BE_E7_89_87_20180718143757_meitu_220180718150018666.jpg]: https://blog.cnbuilder.cn/upload/2018/7/%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20180718143757_meitu_220180718150018666.jpg
[E5_BE_AE_E4_BF_A1_E5_9B_BE_E7_89_87_20180718143757_meitu_220180718150018666.jpg 1]: http://blog.cnbuilder.cn/upload/2018/7/%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20180718143757_meitu_220180718150018666.jpg
[E5_BE_AE_E4_BF_A1_E6_88_AA_E5_9B_BE_2018071814381620180718143910635.png]: https://blog.cnbuilder.cn/upload/2018/7/%E5%BE%AE%E4%BF%A1%E6%88%AA%E5%9B%BE_2018071814381620180718143910635.png
[E5_BE_AE_E4_BF_A1_E6_88_AA_E5_9B_BE_2018071814381620180718143910635.png 1]: http://blog.cnbuilder.cn/upload/2018/7/%E5%BE%AE%E4%BF%A1%E6%88%AA%E5%9B%BE_2018071814381620180718143910635.png