Ubuntu16下Hadoop安装

ゝ一世哀愁。 2021-12-16 02:47 453阅读 0赞

## 1. **安装Ubuntu** ##

![1372092-20180520215611523-90980356.png][]

![1372092-20180520215630519-934381555.png][]

![1372092-20180520215640423-541613067.png][]

![1372092-20180520215649491-294746265.png][]

![1372092-20180520215655707-1170524070.png][]

![1372092-20180520215704588-1471834599.png][]

## 2. **新装Ubuntu常用软件安装和系统设置** ##

(1) 安装vim

yum install vim

(2) 更改hostname为hadoop\_master

sudo vim /etc/hostname

(3) 关闭防火墙

sudo ufw disable

(4) 安装rz sz用于服务器文件与本地文件交互

apt-get install lrzsz

(5) 安装 vm tools

![1372092-20180520215757987-1842078796.png][]

(6) 将 tar.gz 包复制到其他目录，解压后，

![1372092-20180520215822546-699701016.png][]

## 3. **JAVA 环境安装配置** ##

1 Java下载的jdk包放到root用户下的 /usr/local/java下

解压包tar xvf jdk1.8.\*

2 配置JAVA环境变量

(1) Root用户权限下，在 /etc/profile.d 文件夹下创建java.sh

(2) 在java.sh里写入以下内容，保存后用 source java.sh 刷新配置文件是配置文件生效：

注：很多网上资料是说在 /etc/profile 文件里直接加以下设置，但比较新的Ubuntu版本里，系统会先读 profile 文件，然后由 profile 文件遍历 profile.d 文件夹下所有 \*.sh 文件， 这样就比把所有配置都写在一个 profile 文件里容易管理。

![1372092-20180520220002148-216374617.png][]

(3) 上一步是在root 下配置,接下来在 Hadoop 用户下将环境变量写入 ~/.bashrc 里，同样，保存后用 source ~/.bashrc刷新。

注：每个用户根目录有独立的 ~/.bashrc 文件

如果还不成功，可以root账号下试试以下命令：

执行赋权语句即可：  
*chmod 777 /etc/java/jdk1.8*

备注：chmod是赋权限命令，777表示赋值所有权限对本用户，本组用户、其他用户。

设置完成后，可以用 java –version 测试是否成功。

## 4. **安装SSH** ##

sudo apt-get install openssh-server

测试：ssh localhost

此时，要输入密码，还要按一次确认 yes

（1），避免输入密码

ssh-keygen -t rsa

一路回车，最后在 home/hadoop/.ssh 下有两个文件

![1372092-20180520220018510-1911129734.png][]

运行：cat id\_rsa.pub >> authorized\_keys

这样就可以避免输入密码了。等克隆玩从机，使用同样的操作，并且将主机的 id\_rsa.pub 追加到从机的 authorized\_keys 中，这样，主机可以无密码访问从机了。

（2） 避免需要输入yes

在文件 /etc/ssh/ssh\_config 添加以下两行

StrictHostKeyChecking no

UserKnownHostsFile /dev/null

![1372092-20180520220029965-2027252881.png][]

## 5. **安装****rsync** ##

*sudo apt-get install rsync*

因为之前更新了Ubuntu系统，已经是最新的了

![1372092-20180520220039498-162406348.png][]

修改网卡

原先的ip信息

![1372092-20180520220050424-1068186377.png][]

查看host信息

![1372092-20180520220101799-178055302.png][]

键入命令：

vi hosts

注释掉 127.0.1.1 ubuntu

新增一行 10.0.0.81 ubuntu

*（这里必须改，否则后面会遇到连接拒绝问题）*

![1372092-20180520220143852-1594117939.png][]

## 6. **hadoop 相关账户权限设置** ##

添加一个hadoop组

sudo addgroup hadoop

将当前用户hadoop 加入到Hadoop组

sudo usermod -a -G hadoop hadoop

将hadoop组加入到sudoer

sudo vi etc/sudoers

在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL

## 7. **安装Hadoop** ##

1.  下载Hadoop2.7.2
2.  将解压文件放到 /usr/local下，

![1372092-20180520220208480-311561280.png][]

1.  配置Hadoop

（1） 修改 ~/.bashrc 文件

添加以下这些行到 ~/.bashrc 文件的末尾，内容如下所示：

*\#Set HADOOP\_HOME*

*export HADOOP\_HOME=/usr/local/hadoop*

*\# Add bin/ directory of Hadoop to PATH*

*export PATH=$PATH:$HADOOP\_HOME/bin*

*![1372092-20180520220222118-1371039756.png][]*

（2） 配置关联HDFS

设置 JAVA\_HOME 在文件 /usr/local/hadoop/etc/hadoop/hadoop-env.sh 中，使用以下行代替，即写上完整的 Java 安装路径。如下所示：

![1372092-20180520220230943-271043995.png][]

（3） core-site.xml 配置

在 $HADOOP\_HOME/etc/hadoop/core-site.xml 文件中还有两个参数需要设置：

1. 'hadoop.tmp.dir' - 用于指定目录让 Hadoop 来存储其数据文件。

2. 'fs.default.name' - 指定默认的文件系统

为了设置两个参数，打开文件 **core-site.xml**

<configuration>
    
    <property>
    
        <name>hadoop.tmp.dir</name>
    
        <value>/usr/local/hadoop/dfs/tmp</value>
    
        <description>Parent directory for other temporary directories.</description>
    
    </property>
    
    <property>
    
        <name>fs.defaultFS </name>
    
        <value>hdfs://master:9000</value>
    
        <description>The name of the default file system. </description>
    
    </property>
    
     
    
    </configuration>

现在创建一个目录，如上面配置 core-site.xml 中使用的目录：/usr/local/hadoop/dfs/tmp

*sudo mkdir -p* /usr/local/hadoop/dfs/tmp

授予权限目录 /app/hadoop/tmp，执行如下的命令：

*sudo chown -R hadoop:hadoop* /usr/local/hadoop/dfs/tmp

*sudo chmod 750* /usr/local/hadoop/dfs/tmp

*![1372092-20180520220306505-1111355349.png][]*

（4） Map Reduce 配置

在设置这个配置之前， 我们需要设置 HADOOP\_HOME 的路径，执行以下命令：

*sudo vi /etc/profile.d/hadoop.sh*

然后输入以下一行，

export HADOOP\_HOME=/usr/local/hadoop

![1372092-20180520220333714-2069441714.png][]

再执行以下命令：

*hadoop@ubuntu: sudo chmod +x /etc/profile.d/hadoop.sh*

退出命令行终端再次进入，并输入以下命令：echo $HADOOP\_HOME 以验证 hadoop 的路径：

*hadoop@ubuntu: echo $HADOOP\_HOME*

*/usr/local/hadoop*

现在复制文件，执行以下命令：

*sudo cp $HADOOP\_HOME/etc/hadoop/mapred-site.xml.template $HADOOP\_HOME/etc/hadoop/mapred-site.xml*

使用vi 打开文件 mapred-site.xml

*sudo vi $HADOOP\_HOME/etc/hadoop/mapred-site.xml*

添加以下的设置内容到标签<configuration> 和 </configuration> 中，如下图所示：

<configuration>
    
        <property>
    
            <name>mapreduce.framework.name</name>
    
            <value>yarn</value>
    
        </property>
    
        <property>
    
            <name>mapreduce.jobhistory.address</name>
    
            <value>master:10020</value>
    
        </property>
    
        <property>
    
            <name>mapreduce.jobhistory.webapp.address</name>
    
            <value>master:19888</value>
    
        </property>
    
    </configuration>

**hdfs-site.xml配置**

打开 $HADOOP\_HOME/etc/hadoop/hdfs-site.xml 文件如下：

*sudo vi $HADOOP\_HOME/etc/hadoop/hdfs-site.xml*

添加以下的设置内容到标签<configuration> 和 </configuration> 中，如下图所示：

<configuration>
    
        <property>
    
            <name>dfs.namenode.name.dir</name>
    
            <value>/usr/local/hadoop/dfs/name</value>
    
        </property>
    
        <property>
    
            <name>dfs.datanode.data.dir</name>
    
            <value>/usr/local/hadoop/dfs/data</value>
    
        </property>
    
        <property>
    
            <name>dfs.replication</name>
    
            <value>2</value>
    
        </property>
    
        <property>
    
            <name>dfs.namenode.secondary.http-address</name>
    
            <value>master:9001</value>
    
        </property>
    
        <property>
    
        <name>dfs.webhdfs.enabled</name>
    
        <value>true</value>
    
        </property>
    
    </configuration>

创建以上配置指定的目录并授权目录给用户，使用以下命令：

sudo mkdir -p /usr/local/hadoop/dfs/name
    
    sudo mkdir -p /usr/local/hadoop/dfs/data 
    
    sudo chown -R hadoop:hadoop /usr/local/hadoop/dfs/name
    
    sudo chown -R hadoop:hadoop /usr/local/hadoop/dfs/data 
    
    sudo chmod 750  /usr/local/hadoop/dfs/name
    
    sudo chmod 750  /usr/local/hadoop/dfs/data

（5） 格式化HDFS

在第一使用 Hadoop 之前，需要先格式化 HDFS，使用下面的命令

*hadoop namenode -format*

输入：y，继往下..

（6） 启动/停止 Hadoop 的单节点集群

*$HADOOP\_HOME/sbin/start-dfs.sh*

*![1372092-20180520220439642-496195663.png][]*

[$HADOOP\_HOME/sbin/start-yarn.sh][HADOOP_HOME_sbin_start-yarn.sh]

*![1372092-20180520220443730-242296093.png][]*

现在使用 '**jps**' 工具/命令, 验证是否所有 Hadoop 相关的进程正在运行。

如果 Hadoop 成功启动，那么 jps 输出应显示： NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode.

停止 Hadoop 的单节点集群

$HADOOP_HOME/sbin/stop-dfs.sh
    
    $HADOOP_HOME/sbin/stop-yarn.sh

或

$HADOOP_HOME/sbin/stop-all.sh

上述步骤只是安装测试虚拟机使用，实际生产环境中，这几个配置文件都还要根据实际需求做很多调优设置。特别是cpu，内存，日志路径等等都需要调

## 8. **虚拟机克隆****slave机** ##

前三步是single模式的环境，接下来是做完全分布式环境，添加从机。

\*原本是直接在复制粘贴两份虚拟机作为slave1和slave2，但后来发现不能上网，会出现连不上网络的问题，用克隆出来的虚拟机可以避免这个问题。

#### 1）克隆虚拟机 ####

VMware ==》 虚拟机 ==》 管理 ==》 克隆

克隆出 Hadoop\_slave1 Hadoop\_slave2

#### **2）修改三个虚拟机的hostname** ####

修改 etc/hostname ，分别将ubuntu 改为 master , slave1, slave2

**\*千万别设置成****有****下划线格式的如****： hadoop****\_master** **，****会导致启动namenode时出错****。**

![1372092-20180520220652983-884158820.png][]

![1372092-20180520220817613-81592323.png][]

![1372092-20180520220822756-2114053299.png][]

1.  三虚拟机hosts里添加ip地址与hostname映射

通过命令 ifconfig 查看三个虚拟机的ip4 地址

![1372092-20180520220849712-1365281778.png][]

![1372092-20180520220900404-1361815158.png][]

![1372092-20180520220920708-482939726.png][]

然后在三个虚拟机里都添加三行ip hostname映射，如下：

![1372092-20180520220922102-436542695.png][]

添加完后，三个虚拟机就可以互相用hostname Ping通了，

master机ping slave2结果：

![1372092-20180520220927374-702035026.png][]

## 9. **配置SSH实现无密码登陆** ##

无密码登陆，效果也就是在master上通过 ssh slave1或 ssh slave2 就可以登陆到对方计算机上。而且不用输入密码。

3台虚拟机上，使用 ssh-keygen -t rsa 一路按回车就行了。

刚才都作甚了呢？主要是设置ssh的密钥和密钥的存放路径。 路径为~/.ssh下。

打开~/.ssh 下面有三个文件，输入命令 ls -la

authorized\_keys，已认证的keys

id\_rsa，私钥

id\_rsa.pub，公钥 三个文件。

下面就是关键的地方了，（我们要做ssh认证。进行下面操作前，可以先搜关于认证和加密区别以及各自的过程。）

（1）在master上将公钥放到authorized\_keys 里。命令：sudo cat id\_rsa.pub >> authorized\_keys，在slave机上也同样操作，这一步使本机可以无密码操作。

（2） 将master上的authorized\_keys放到其他linux的~/.ssh目录下。

sudo scp authorized_keys hadoop@slave1:~/.ssh
    
    sudo scp authorized_keys hadoop@slave2:~/.ssh

![1372092-20180520221214107-1344365645.png][]

sudo scp authorized\_keys 远程主机用户名@远程主机名或ip:存放路径。

![1372092-20180520221224733-2087301530.png][]

slave机上，一个master的，一个本机的

master机上，只有master的

（3）修改authorized\_keys权限，命令：chmod 644 authorized\_keys

（4）测试是否成功

ssh slave1输入用户名密码，然后重启master虚拟机，再次ssh slave1不用密码，直接进入系统。这就表示成功了。

![1372092-20180520221235085-788449142.png][]

## 10. **在master上配置slaves信息** ##

配置/usr/local/hadoop/etc/hadoop目录下的slaves

删除默认的localhost，增加2从节点，

192.168.159.132

192.168.159.133

## 11. **正常安装后几个检查网址** ##

http://192.168.159.129:50070/dfshealth.html\#tab-datanode

http://192.168.159.130:8088/cluster/scheduler

## 12. **同步几个服务器的时间** ##

集群上个服务器时间上可能不同步，这会导致很多麻烦事，要同步集群时间。

（未装成功，先跳过，但是Hbase对时间同步有要求）

（1）安装ntpdate工具

sudo apt-get install ntpdate

（2）设置系统时间与网络时间同步

sudo ntpdate cn.pool.ntp.org

（3）将系统时间写入硬件时间

sudo hwclock --systohc

## **13.安装 lr****zsz** ##

安装lrzsz,使用rz或sz命令可以方便地上传和下载文件

![1372092-20180520221736783-1114510840.png][]

## **1****4.****安装****zookeeper** ##

下载地址：

[http://pan.baidu.com/s/1qWyoFhU?errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&ssnerror=0][http_pan.baidu.com_s_1qWyoFhU_errno_0_errmsg_Auth_20Login_20Sucess_bduss_ssnerror_0]

执行：

解压后

sudo mv zookeeper-3.4.5.tar.gz /usr/local/zookeeper

cd /usr/local/zookeeper/conf

cp zoo\_sample.cfg zoo.cfg

vim zoo.cfg

修改：dataDir=/usr/local/zookeeper/data

添加：

server.0=master:2888:3888

server.1=slave1:2888:3888

server.2=slave2:2888:3888

创建/usr/local/zookeeper/data 文件夹，并创建myid文件

并设置第一台server为0

echo 0 > myid

复制zookeeper目录至其余两台服务器中：

scp -r /usr/local/zookeeper slave1:/usr/local/

scp –r /usr/local/zookeeper slave2:/usr/local/

scp –r /usr/local/zookeeper slave3:/usr/local/

如果没权限，就先复制到 /tmp 文件夹，然后在 mv 到/usr/local

或者修改 /usr/local 权限，添加写权限

复制环境变量配置文件至其余两台服务器中：

scp /etc/profile.d/zookeeper.sh hadoop@slave1:/etc

scp /etc/profile.d/zookeeper.sh hadoop@slave2:/etc

scp /etc/profile.d/zookeeper.sh hadoop@slave3:/etc

在其余几台服务器中修改myid文件：设置为1和2，3；

启动ZooKeeper，分别在每个节点中执行命令：zkServer.sh start

![1372092-20180520221757970-1886343978.png][]

查看状态 /usr/local/zookeeper/bin/zkServer.sh status

![1372092-20180520221833083-919908653.png][]

![1372092-20180520221838036-547979921.png][]

![1372092-20180520221842663-1780410915.png][]

（11）可以使用以下命令来连接一个zk集群：

/usr/local/zookeeper/bin/zkCli.sh -server master:2181,slave1:2181,slave2:2181,slave3:2181

![1372092-20180520221856330-1644020663.png][]

## **附录：** ##

#### **Ubuntu Keyboard Shortcuts** ####

![1372092-20180520221929283-1252581386.png][]

#### Ubuntu终端复制粘贴快捷键 ####

转载于:https://www.cnblogs.com/zjc10203/p/9064927.html

[1372092-20180520215611523-90980356.png]: /images/20211214/288e50c1df8244609e72a3a1efa658d2.png
[1372092-20180520215630519-934381555.png]: /images/20211214/e3b871a4d0124e28bcefc5ae993fca90.png
[1372092-20180520215640423-541613067.png]: /images/20211214/62b739b2c0ca4d55b62ff809a2cb6153.png
[1372092-20180520215649491-294746265.png]: /images/20211214/81b44dd6daeb4c85b3a750c1fb476726.png
[1372092-20180520215655707-1170524070.png]: /images/20211214/c5c3b3fe429645728a2b1bd361e85ed9.png
[1372092-20180520215704588-1471834599.png]: /images/20211214/df78674dde8f41ff9866d35b0d6cb981.png
[1372092-20180520215757987-1842078796.png]: /images/20211214/cbff2b66f62e4dd797bc57206a8884b0.png
[1372092-20180520215822546-699701016.png]: /images/20211214/4d065bec96af4e5eb03602cfbd33e2b7.png
[1372092-20180520220002148-216374617.png]: /images/20211214/c5cd3c0efa8745c7a1ac2409f83c037a.png
[1372092-20180520220018510-1911129734.png]: /images/20211214/0fb5f88285f64f68b4aaefd71839d7a2.png
[1372092-20180520220029965-2027252881.png]: /images/20211214/34299316bbe541e4aa2377fb0d37648d.png
[1372092-20180520220039498-162406348.png]: /images/20211214/6f65bec6131e4a86bf6d71ef774d840b.png
[1372092-20180520220050424-1068186377.png]: /images/20211214/9b3e6db7108d485691cda993523c0bc5.png
[1372092-20180520220101799-178055302.png]: /images/20211214/57591505afb9450bb9a085499fc77599.png
[1372092-20180520220143852-1594117939.png]: /images/20211214/5f39c4d669244b67a9d4335a10d2d637.png
[1372092-20180520220208480-311561280.png]: /images/20211214/76ba2aead9f342a0bd8ed0b91a27368b.png
[1372092-20180520220222118-1371039756.png]: /images/20211214/65e619ca606e4b75a9e5e2e336c7b4a3.png
[1372092-20180520220230943-271043995.png]: /images/20211214/2b2bd0bf360747bc9859975259de860a.png
[1372092-20180520220306505-1111355349.png]: /images/20211214/c96f50c4140c49e99e4f7d3b6129898e.png
[1372092-20180520220333714-2069441714.png]: /images/20211214/f304f22b78324b709f54e5ac1b223291.png
[1372092-20180520220439642-496195663.png]: /images/20211214/d4b40f0b13674c408cc323dc2110d5ea.png
[HADOOP_HOME_sbin_start-yarn.sh]: mailto:hadoop@ubuntu:~%24%24HADOOP_HOME/sbin/start-yarn.sh
[1372092-20180520220443730-242296093.png]: /images/20211214/7f89471117ea457180802b37eb291c58.png
[1372092-20180520220652983-884158820.png]: /images/20211214/aaa8648894b84dcf846fcd0517a32159.png
[1372092-20180520220817613-81592323.png]: /images/20211214/da1a89541d5a428a9088c9b9683808a6.png
[1372092-20180520220822756-2114053299.png]: /images/20211214/32c7655a66094ac6a286f7a69650d78c.png
[1372092-20180520220849712-1365281778.png]: /images/20211214/2929365743ed437084289e1f9c946d7a.png
[1372092-20180520220900404-1361815158.png]: /images/20211214/054c6d5fe6d04ddb96ca54a2cdc05987.png
[1372092-20180520220920708-482939726.png]: /images/20211214/7798544056f54a55862bfd1be804b917.png
[1372092-20180520220922102-436542695.png]: /images/20211214/6ca6aff7f2794232b440f0c327c0c7ff.png
[1372092-20180520220927374-702035026.png]: /images/20211214/30bea05015f24fa39e3e5c00f5c4a966.png
[1372092-20180520221214107-1344365645.png]: /images/20211214/8e320e1711bf401e86751998de174589.png
[1372092-20180520221224733-2087301530.png]: /images/20211214/b048396e6aa94d96aeaccea76c2fc1f3.png
[1372092-20180520221235085-788449142.png]: /images/20211214/468b2275fb6c4ef4bfac03b0035cb582.png
[1372092-20180520221736783-1114510840.png]: /images/20211214/ab1afa07c29444a9ae2e02d63ef945dc.png
[http_pan.baidu.com_s_1qWyoFhU_errno_0_errmsg_Auth_20Login_20Sucess_bduss_ssnerror_0]: http://pan.baidu.com/s/1qWyoFhU?errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&ssnerror=0
[1372092-20180520221757970-1886343978.png]: /images/20211214/20177f87f1084393a341a727a1e435bc.png
[1372092-20180520221833083-919908653.png]: /images/20211214/ecafa39addab40dfbc8ad3fd94ef358a.png
[1372092-20180520221838036-547979921.png]: /images/20211214/62b4c235993643089645e8897b81d6b9.png
[1372092-20180520221842663-1780410915.png]: /images/20211214/e6f9a5684665486281cf65b09f8691ba.png
[1372092-20180520221856330-1644020663.png]: /images/20211214/ff5c8f71bb744e4285512a2fb3e48702.png
[1372092-20180520221929283-1252581386.png]: /images/20211214/5418c435f0a546cb8c8b0423c9675c18.png