【大数据】——Ubuntu14.04 安装hadoop/spark/scala教程

深藏阁楼爱情的钟 2022-05-15 12:19 134阅读 0赞

**需要的软件:**

![70][]

**大体步骤（注意本文所有软件均安装在home/hadoop** **文件夹下，下文不在提示）**

1.  **安装ubuntu****操作系统**
2.  **安装JDK****，配置环境变量**
3.  **安装scala****，配置环境变量**
4.  **备份系统，需要几个节点，就克隆几份**
5.  **对管理节点设置IP****，登录名和hosts****文件，对每个工作节点设置设置IP****，登录名和hosts****文件**
6.  **安装ssh**
7.  **安装hadoop** **配置环境变量，修改配置文件，通过ssh****传给其他工作节点**
8.  **安装spark****配置环境变量，修改配置文件，通过ssh****传给其他工作节点**

**下面进行分步骤详细讲解。**

# 1.安装ubuntu操作系统，以下为虚拟机安装方式 #

** ****中间过程不在详述，需要注意的是，虚拟机网络模式在VMare****中选为NAT****，计算机名为ubuntu spark** **用户名为hadoop****，密码为hadoop****，NAT****见下图**

![70 1][]

## 2.安装JDK，配置环境变量 ##

解压jdk到home/hadoop文件夹下

tar zxvf jdk-8u51-linux-x64.tar.gz  
   
![70 2][]

上面首先第一步：

至此，jdk安装完毕，下面配置环境变量

**一、****PATH****配置**

这里提供一个简单的方法：

sudo gedit /etc/environment 添加jdk的bin文件夹路径

![70 3][]  
  
2.为了保证生效执行下面命令

Source /etc/environment

**二、****CLASSTH****配置**  
上面只是配置了PATH,还需在配置CLASSPATH  
export CLASSPATH=.:/home/hadoop/jdk/jre/lib  
执行配置完毕  
如果不起作用，采用通过下面配置：  
**java.sh****配置**  
因为重启之后，很有会被还原，下面还需要配置java.sh  
这里可以通过  
cd /etc/profile.d  
sudo gedit java.sh  
把下面两行放到java.sh  
export PATH=$PATH:/home/hadoop/jdk/bin  
export CLASSPATH=.:/ home/hadoop/jdk/jre/lib  
保存。这样就配置完毕了。

执行下面命令：

source java.sh

现在在执行 java -version就ok了

![70 4][]

# 3.安装scala，配置环境变量 #

解压scala到home/hadoop文件夹下

![70 5][]

上面首先第一步：

至此，scala安装完毕，下面配置环境变量

**一、****PATH****配置**

这里提供一个简单的方法：

sudo gedit /etc/environment 添加scala的bin文件夹路径

![70 6][]  
  
2.为了保证生效执行下面命令

Source /etc/environment

## 4.备份系统，克隆系统 ##

现从该系统，克隆两个系统，分别改计算机名为unbuntu spark slave1和unbuntu spark slave2

## 5. 对管理节点设置IP，登录名和hosts文件，对每个工作节点设置设置IP，登录名和hosts文件 ##

**这里我们搭建一个由三台机器组成的集群：**

192.168.207.1 hadoop/hadoop  master

192.168.207.2 hadoop/hadoop slave1

192.168.207.3 hadoop/hadoop slave1

上面各列分别为IP、user/passwd、hostname

下对master节点设置 slave1和slave2节点设置相同

**1.IP****设置**

![70 7][]

进入 VMare 选择 虚拟网络编辑器

![70 8][]

![70 9][]

![70 10][]

设置后保存

**2 hostname****设置**

第一步：sudo gedit /etc/hostname

![70 11][]

**2 hosts****设置，（所有节点该处设置全一样）**

sudo gedit /etc/hosts

![70 12][]

**4.****重启网络或重启机器**

这一行，把它右边的旧主机名改成你的新主机名即可。重启网络  
sudo /etc/init.d/networking restart  
或则  
reboot  
重新启动计算机生效

**5.****对****slave1****和****slave2****重复上述操作**

# 6 ssh配置 #

**打通****master****到****slave****节点的****SSH****无密码登陆**

这里面打通无密码登录，很多新手遇到了问题，这里安装的时候，具体的操作，可以查阅其他资料：

[Hadoop伪分布安装过程：Hadoop单机环境搭建指南（ubuntu）][Hadoop_Hadoop_ubuntu]

[CentOS6.4之图解SSH无验证双向登陆配置][CentOS6.4_SSH]

这是个人总结的哦命令，相信对你有所帮助

[个人常用知识总结][Link 1]

然后这里在展示一下，authorized\_keys是什么样子的：

![/images/20220515/158b296f961744e29cc8b3579f450bbe.png][http_www.aboutyun.com_data_attachment_forum_201405_12_180226k2qqdqybqz5d80hy.png]

上面的原理，**将所有节点的公钥全部放在****master****节点的****authorized\_keys****文件中，再将该文件覆盖掉所有节点原有的****authorized\_keys****文件。**

然后我们进行下面步骤：

**3.1** **安装****ssh**

一般系统是默认安装了ssh命令的。如果没有，或者版本比较老，则可以重新安    装：

sudo apt-get install ssh

安装过程可能出现ssh service 依赖无法安装 解决方法见**《****ubuntu****安装****ssh** **报依赖错误的解决过程》**

**3.2****设置****local****无密码登陆**

具体步骤如下：

第一步：产生密钥

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id\_dsa

第二部：导入authorized\_keys

$ cat ~/.ssh/id\_dsa.pub >> ~/.ssh/authorized\_keys  （任意目录下输入cd ~/.ssh 都能到ssh目录）

第二部导入的目的是为了无密码等，这样输入如下命令：

ssh localhost

就可以无密码登录了。

下面展示一下hosts的配置，及无密码登录的效果

**locahost****的配置**

![/images/20220515/5233a3a39d55459e94529f498fd6fddf.png][http_www.aboutyun.com_data_attachment_forum_201405_12_174735wniehuieuuavzuhu.png]

**无密码登录效果：**

![/images/20220515/3846efd3da5b488cb134c8d18e5000dc.png][http_www.aboutyun.com_data_attachment_forum_201405_12_174741lp9thdtmpdaacb0c.png]

**3.3****设置远程无密码登陆**

进入slave1的.ssh目录

ssh slave1 （输入slave1的密码后，进入slave1）

ssh-keygen -t dsa -P '' -f ~/.ssh/id\_dsa

sudo cat ~/.ssh/id\_dsa.pub >> hadoop@master:~/.ssh/authorized\_keys

exit

进入slave2的.ssh目录

ssh slave2 （输入slave2的密码后，进入slave2）

ssh-keygen -t dsa -P '' -f ~/.ssh/id\_dsa

sudo cat ~/.ssh/id\_dsa.pub >> hadoop@master:~/.ssh/authorized\_keys

exit

在master机器上执行

sudo scp ~/.ssh/authorized\_keys [hadoop@slave1:~/.ssh][hadoop_slave1_.ssh]

sudo scp ~/.ssh/authorized\_keys hadoop@slave2:~/.ssh

\------------------------------------------------------------------------

根据上面的资料相信你能得到互通，这里展现一下效果：

![/images/20220515/57c156a5b6fb4cbc8bf95a99799be0d6.png][http_www.aboutyun.com_data_attachment_forum_201405_11_192950itlm3pw9b97b7atz.png]

上面是slave1无密码登录master

![/images/20220515/2729cfdee78642b8b511831ec21deb3c.png][http_www.aboutyun.com_data_attachment_forum_201405_11_192953af0eerzqr0avsref.png]

**7.****安装****hadoop** **配置环境变量，修改配置文件，通过****ssh****传给其他工作节点**

hadoop集群中每个机器上面的配置基本相同，所以我们先在master上面进行配置部署，然后再复制到其他节点。所以这里的安装过程相当于在每台机器上面都要执行。

【注意】：master和slaves安装的hadoop路径要完全一样，用户和组也要完全一致

**1****、****解压文件**

解压hadoop  
解压到/home/hadoop路径下

并且重命名，效果如下

![70 13][]

**2****、** **hadoop****配置过程**

配置之前，需要在master本地文件系统创建以下文件夹：

~/dfs/name

~/dfs/data

~/tmp

这里要涉及到的配置文件有7个：

~/hadoop/etc/hadoop/hadoop-env.sh

~/hadoop/etc/hadoop/yarn-env.sh

~/hadoop/etc/hadoop/slaves

~/hadoop/etc/hadoop/core-site.xml

~/hadoop/etc/hadoop/hdfs-site.xml

~/hadoop/etc/hadoop/mapred-site.xml

~/hadoop/etc/hadoop/yarn-site.xml

以上文件默认不存在的，可以复制相应的template文件获得。下面举例：

![/images/20220515/ac299a5e38e246908770bf992ec497df.png][http_www.aboutyun.com_data_attachment_forum_201405_12_185900q4086udwj00zsgun.png]

配置文件1：hadoop-env.sh

修改JAVA\_HOME值（export JAVA\_HOME=/home/hadoop/jdk）

配置文件2：yarn-env.sh

修改JAVA\_HOME值（export JAVA\_HOME=/home/hadoop/jdk）

配置文件3：slaves （这个文件里面保存所有slave节点）

写入以下内容：

![/images/20220515/660228f47ca4485bb5794c581b5512b9.png][http_www.aboutyun.com_data_attachment_forum_201405_12_190053fq4mp58pq3krr1po.png]

配置文件4：core-site.xml

1.  <configuration>
2.         <property>
3.                  <name>fs.defaultFS</name>
4.                  <value>hdfs://master:8020</value>
5.         </property>
6.         <property>
7.                  <name>io.file.buffer.size</name>
8.                  <value>131072</value>
9.          </property>
10.        <property>
11.                <name>hadoop.tmp.dir</name>
12.                <value>file:/home/hadoop/tmp</value>
13.                <description>Abase for other temporary   directories.</description>
14.        </property>
15.         <property>
16.                <name>hadoop.proxyuser.hadoop.hosts</name>
17.                <value>\*</value>
18.        </property>
19.        <property>
20.                <name>hadoop.proxyuser.hadoop.groups</name>
21.                <value>\*</value>
22.        </property>
23. </configuration>
24.

配置文件5：hdfs-site.xml

1.  <configuration>
2.         <property>
3.                  <name>dfs.namenode.secondary.http-address</name>
4.                 <value>master:9001</value>
5.         </property>
6.       <property>
7.               <name>dfs.namenode.name.dir</name>
8.               <value>file:/home/hadoop/dfs/name</value>
9.         </property>
10.       <property>
11.               <name>dfs.datanode.data.dir</name>
12.               <value>file:/home/hadoop/dfs/data</value>
13.        </property>
14.        <property>
15.                <name>dfs.replication</name>
16.                <value>3</value>
17.         </property>
18.         <property>
19.                  <name>dfs.webhdfs.enabled</name>
20.                   <value>true</value>
21.          </property>
22. </configuration>
23.

配置文件6：mapred-site.xml

1.  <configuration>
2.            <property>                                                                  <name>mapreduce.framework.name</name>
3.                  <value>yarn</value>
4.             </property>
5.            <property>
6.                    <name>mapreduce.jobhistory.address</name>
7.                    <value>master:10020</value>
8.            </property>
9.            <property>
10.                 <name>mapreduce.jobhistory.webapp.address</name>
11.                 <value>master:19888</value>
12.        </property>
13. </configuration>
14.

配置文件7：yarn-site.xml

1.  <configuration>
2.          <property>
3.                 <name>yarn.nodemanager.aux-services</name>
4.                 <value>mapreduce\_shuffle</value>
5.          </property>
6.          <property>                                                                
7.  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
8.                 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
9.          </property>
10.         <property>
11.                <name>yarn.resourcemanager.address</name>
12.                <value>master:8032</value>
13.        </property>
14.        <property>
15.                <name>yarn.resourcemanager.scheduler.address</name>
16.                <value>master:8030</value>
17.        </property>
18.        <property>
19.             <name>yarn.resourcemanager.resource-tracker.address</name>
20.              <value>master:8031</value>
21.       </property>
22.       <property>
23.               <name>yarn.resourcemanager.admin.address</name>
24.                <value>master:8033</value>
25.        </property>
26.        <property>
27.                <name>yarn.resourcemanager.webapp.address</name>
28.                <value>master:8088</value>
29.        </property>
30. </configuration>
31.

**3****、复制到其他节点**

上面配置完毕，我们基本上完成了90%了剩下就是复制。我们可以把整个hadoop复制过去：使用如下命令：

sudo scp -r /home/hadoop/hadoop hadoop@slave1:/home/hadoop

sudo scp -r /home/hadoop/hadoop hadoop@slave2:/home/hadoop

后面我们会经常遇到问题，经常修改配置文件，所以修改完一个配置文件后，其他节点都需要修改，这里附上脚本操作方便：

**4.****配置环境变量**

第一步：

vi /etc/environment

第二步：添加如下内容：记得如果你的路径改变了，你也许需要做相应的改变(注意路径为**/home/hadoop/)**

![/images/20220515/a93dc45a3e4c420481a50a31d339d95d.png][http_www.aboutyun.com_data_attachment_forum_201405_12_191554b4i1nnoi10tuecdx.png]

将environment文件覆盖掉slave1和slave2的对应位置使用scp命令

**启动验证**

**启动****hadoop**

格式化namenode：

1.  hdfs namenode –format

或则使用下面命令：

1.  hadoop namenode format

启动hadoop

cd /home/hadoop/hadoop

./sbin/start-all.sh

master有如下进程：

![/images/20220515/5c5b55cfe56c4030a0c72f85e7d784bf.png][http_www.aboutyun.com_data_attachment_forum_201405_12_192416xkbc3g4vdj3dn3s4.png]

此处可能会出现namenode无法启动现象，详细查看文档**《因****namenode****未格式化，无法启动解决方案》**

slave1有如下进程  
![/images/20220515/1bd1c49d05804571a765f3258d559d8d.png][http_www.aboutyun.com_data_attachment_forum_201405_12_192418txvotq7k0ufkctcc.png]

此时hadoop集群已全部配置完成！！！

【注意】：而且所有的配置文件<name>和<value>节点处不要有空格，否则会报错！

1.  [http://master:8088/][http_master_8088]
2.  [http://master:50070/][http_master_50070]

实际生产环境下，集群规模大，需要修改linux的部分配置，否则hdfs报错

1.提高网络队列长度：

sudo vim /etc/sysctl.conf

net.core.somaxconn = 4000     文件末尾加入

sudo sysctl -p

2.提高同时打开的文件数

（1） sudo vim /etc/security/limits.conf

文件尾追加

\* hard nofile 65535

\* soft nofile 65535

（2） sudo vim /etc/pam.d/su

将 pam\_limits.so 这一行注释去掉

（3） sudo vim /etc/profile

最后一行加上

ulimit -SHn 65535

1.提高网络队列长度 和 2.提高同时打开的文件数 都做完后 重启系统

## 8.安装spark配置环境变量，修改配置文件，通过ssh传给其他工作节点 ##

解压缩spark到/home/hadoop目录下

![70 14][]

修改配置文件（cd /home/hadoop/conf） 中的slaves 和 spark-env.sh.  spark本身没有slaves和spark-env.sh文件，只有 slaves.template和spark-env.sh.template文件

![70 15][]

通过命令

scp slaves.template slaves 和 scp spark-env.sh.template spark-env.sh创建两文件

**修改slaves****（gedit slaves****）**

![70 16][]

**修改spark-env.sh****（gedit spark-env.sh****），spark****有很多运行模式，该配置为standalone****模式**

![70 17][]

**配置环境变量**

![70 18][]

**sudo gedit /etc/environment   (****添加红线标示行)**

![70 19][]

**将spark****文件夹和environment****文件覆盖slave1****和slave2****的对应位置**

sudo scp -r /home/hadoop/spark hadoop@slave1:/home/hadoop

sudo scp -r /home/hadoop/spark hadoop@slave2:/home/hadoop

将environment文件覆盖掉slave1和slave2的对应位置使用scp命令

**启动spark**

**cd /home/hadoop/spark**

**./sbin/start-all.sh**

在web页面访问Spark集群[http://master:8080][http_master_8080]

![70 20][]

**使用**

**cd /home/hadoop/spark**

**./bin/spark-shell**

**启动spark****（scala****版本）控制台（下图左）**

**此时可使用**

[**http://master:4040**][http_master_4040]**访问 webUI****（下图右）**

** **![70 21][]![70 22][]

**此时可能会出现一个警告为**

**WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable**

**解决办法详见《spark****中本地hadoop****运行库加载失败解决方案》**

[70]: /images/20220515/bbd488382ad147758536d1ddb964592f.png
[70 1]: /images/20220515/e9ad8c7cc8154bbeb256a25a52f840fb.png
[70 2]: /images/20220515/356c29f3c62449c491fa77d8ceafb6a9.png
[70 3]: /images/20220515/7052d3ffc5884770b1207e41698d7034.png
[70 4]: /images/20220515/80f2a6c70181480496e71c65e05f8250.png
[70 5]: /images/20220515/20579e2bd6b04d8cbc999e6e7816a895.png
[70 6]: /images/20220515/288124bcbf374f0c89be3ce41593042e.png
[70 7]: /images/20220515/03e126ae06d94af99ac6375f2d8a7129.png
[70 8]: /images/20220515/73851ad61e8341af98bd982c0362c208.png
[70 9]: /images/20220515/2e7dde29f04042939e9b63f1e7b83903.png
[70 10]: /images/20220515/0465439a082a4d6ba144391c08f5c5f7.png
[70 11]: /images/20220515/47738ef6284e491891f5226288cf161f.png
[70 12]: /images/20220515/55293568b4ac4612b9d27020c499f14d.png
[Hadoop_Hadoop_ubuntu]: http://www.aboutyun.com/thread-6487-1-1.html
[CentOS6.4_SSH]: http://www.aboutyun.com/blog-3779-85.html
[Link 1]: http://www.aboutyun.com/blog-61-127.html
[http_www.aboutyun.com_data_attachment_forum_201405_12_180226k2qqdqybqz5d80hy.png]: /images/20220515/158b296f961744e29cc8b3579f450bbe.png
[http_www.aboutyun.com_data_attachment_forum_201405_12_174735wniehuieuuavzuhu.png]: /images/20220515/5233a3a39d55459e94529f498fd6fddf.png
[http_www.aboutyun.com_data_attachment_forum_201405_12_174741lp9thdtmpdaacb0c.png]: /images/20220515/3846efd3da5b488cb134c8d18e5000dc.png
[hadoop_slave1_.ssh]: mailto:hadoop@slave1:~/.ssh
[http_www.aboutyun.com_data_attachment_forum_201405_11_192950itlm3pw9b97b7atz.png]: /images/20220515/57c156a5b6fb4cbc8bf95a99799be0d6.png
[http_www.aboutyun.com_data_attachment_forum_201405_11_192953af0eerzqr0avsref.png]: /images/20220515/2729cfdee78642b8b511831ec21deb3c.png
[70 13]: /images/20220515/ff2c912eeb484440854505779f6461df.png
[http_www.aboutyun.com_data_attachment_forum_201405_12_185900q4086udwj00zsgun.png]: /images/20220515/ac299a5e38e246908770bf992ec497df.png
[http_www.aboutyun.com_data_attachment_forum_201405_12_190053fq4mp58pq3krr1po.png]: /images/20220515/660228f47ca4485bb5794c581b5512b9.png
[http_www.aboutyun.com_data_attachment_forum_201405_12_191554b4i1nnoi10tuecdx.png]: /images/20220515/a93dc45a3e4c420481a50a31d339d95d.png
[http_www.aboutyun.com_data_attachment_forum_201405_12_192416xkbc3g4vdj3dn3s4.png]: /images/20220515/5c5b55cfe56c4030a0c72f85e7d784bf.png
[http_www.aboutyun.com_data_attachment_forum_201405_12_192418txvotq7k0ufkctcc.png]: /images/20220515/1bd1c49d05804571a765f3258d559d8d.png
[http_master_8088]: http://master:8088/
[http_master_50070]: http://master:50070/
[70 14]: /images/20220515/7c4c8ace325849a399807f538f362636.png
[70 15]: /images/20220515/3fa6dee61cda4936ae94453c4a4b124b.png
[70 16]: /images/20220515/9e9f0d9327d0461aba1e1f7e14214d38.png
[70 17]: /images/20220515/d1ea73c6340b41d8a9c6b5deac841c6a.png
[70 18]: /images/20220515/cb00358a655b40808fb0dc39c65167ca.png
[70 19]: /images/20220515/7520457d89a1411cb9915ea1a54ab7b9.png
[http_master_8080]: http://master:8080
[70 20]: /images/20220515/e4b1cbdec3454c679b913530bc6c600c.png
[http_master_4040]: http://master:4040
[70 21]: https://img-blog.csdn.net/20180829172237870?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDQ0OTMwMA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 22]: /images/20220515/86cc914583a5418396f5d95e3fc819d0.png