八.Spark Streaming之scala,hadoop环境的搭建

忘是亡心i 2022-04-14 04:56 154阅读 0赞

**一.Scala的安装:**

1.下载:

wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

2.解压:

tar -zxvf scala-2.11.8.tgz -C ~/app/

3.配置系统环境变量:

vim .bash_profile   source .bash_profile然后加上以上配置
    
    export SCALA_HOME=/root/app/scala-2.11.8
    export PATH=$SCALA_HOME/bin:$PATH

4.检查是否安装成功:  
输入scala查看对应的版本

**二.Maven的安装:**

1.下载:

wget https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz

2.解压安装:

tar zxvf apache-maven-3.3.9-bin.tar.gz -C ~/app/

3.配置系统环境变量

vim .bash_profile然后加上一下配置
    
    export MAVEN_HOME=/root/app/apache-maven-3.3.9
    export PATH=$MAVEN_HOME/bin:$PATH
    
    source .bash_profile

4.检查:

mvn -v

**三.Hadoop的安装:**

1.下载解压:

wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
    tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/

2.环境配置:  
配置文件都在etc/hadoop目录下  
1).打开hadoop-env.sh

找到export JAVA_HOME把java的安装路径写上去

2).打开core-site.xml  
在configuration标签下加入以下配置,记得hadoop.tmp.dir的值一定要有该目录

<property>
         <name>fs.defaultFS</name>
         <value>hdfs://ligh:8020</value>
     </property>
     <property>
         <name>hadoop.tmp.dir</name>
         <value>/root/data/tmp</value>
     </property>

3).打开hdfs-site.xml:  
设置副本系数,因为只在一台机器上,所以就是单节点副本

<property>
          <name>dfs.replication</name>
          <value>1</value>
    </property>

4).打开slaves文件:

改成本机即可:
    ligh

5).在bin目录下对namenode进行格式化:

./hdfs namenode -format

成功标志如图:  
![在这里插入图片描述][20181124202124133.png]  
6).启动hadoop

进入到sbin目录下,执行./start-dfs.sh
    通过jps查看namenode,datanode,SecondaryNameNode是否启动成功
    至此hdfs就搭建好了

7).搭建yarn  
进入到etc/hadoop下的mapred-site.xml.template复制一份叫mapred-site.xml,在configuration标签中加入下面配置

<property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
    </property>

然后保存

8).配置yarn-site.xml

<property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>

启动:

./start-yarn.sh 
    jps之后显示ResourceManager,NodeManager

浏览器输入ip:8088之后,会显示一个active的节点  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70]  
检查:  
hadoop fs -ls / 查看HDFS的目录

hadoop fs -mkdir /data 创建目录
    hadoop fs -put mr-jobhistory-daemon.sh /data/  存储文件mr-jobhistory-daemon.sh到data目录下
    hadoop fs -text /data/mr-jobhistory-daemon.sh   查看文件

测试yarn.进入到root/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

等待控制台显示结果或者看浏览器中Running/Finished的Applications

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70 1]

至此hadoop就完成了安装和启动,并且测试成功。下面会更新Hbase以及Spark环境的搭建…

[20181124202124133.png]: /images/20220414/d76a1be839814cae94c29f608e31bfbb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70]: /images/20220414/aa0dfd3ee85140a69c7298fdc42ef361.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70 1]: /images/20220414/7a648481b1cc4cfa97192ec865141417.png