spark和zeppelin实践一：安装hadoop篇

╰半橙微兮° 2022-07-11 12:05 236阅读 0赞

一、安装JDK

1.7 JDK下载地址：[http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html][http_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]

下载后安装

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  rpm -ivh jdk-8u112-linux-x64.rpm

设置JDK环境变量

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  export JAVA\_HOME=/usr/java/jdk1.8.0\_112  
2.  export CLASSPATH=$JAVA\_HOME/lib/tools.jar    
3.  export PATH=$JAVA\_HOME/bin:$PATH

二、安装[Hadoop][]

1、DNS绑定  
vi /etc/hosts,增加一行内容，如下（这里我的Master节点IP设置的为192.168.80.100）：

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  192.168.80.100 IMM-SJJ01-Server18

2、SSH的免密码登录

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  cd /home/data/.ssh  
2.  ssh-keygen -t rsa  
3.  cat id\_rsa.pub >> authorized\_keys

3、安装Hadoop

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \#http://hadoop.apache.org/releases.html  
2.  \#wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz  
3.    
4.  cd /home/game/soft  
5.  tar zxvf hadoop-2.7.3.tar.gz  
6.  ln -s /home/game/soft/hadoop-2.7.3 /home/game/soft/hadoop

\#4、配置

1) 设置Hadoop环境变量

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  vim ~/.bash\_profile 或 /etc/profile  
2.  export HADOOP\_HOME=/home/game/soft/hadoop  
3.  export PATH=$HADOOP\_HOME/bin:$PATH  
4.    
5.  echo $HADOOP\_HOME

2)修改hadoop-env.sh

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  vim $HADOOP\_HOME/etc/hadoop/hadoop-env.sh  
2.  export JAVA\_HOME=$\{JAVA\_HOME\} 改为  
3.  export JAVA\_HOME=/usr/java/jdk1.8.0\_112

3)修改/etc/hosts

4)修改core-site.xml

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  cd $HADOOP\_HOME  
2.  cp ./share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml ./etc/hadoop/core-site.xml  
3.  cp ./share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml ./etc/hadoop/hdfs-site.xml  
4.  cp ./share/doc/hadoop/hadoop-yarn/hadoop-yarn-common/yarn-default.xml ./etc/hadoop/yarn-site.xml  
5.  cp ./share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml ./etc/hadoop/mapred-site.xml  
6.    
7.    
8.  vim $HADOOP\_HOME/etc/hadoop/core-site.xml  
9.  <property>  
10.   <name>fs.default.name</name>  
11.   <value>hdfs://192.168.80.100:19000</value>  
12. </property>  
13. <property>  
14.   <name>hadoop.tmp.dir</name>  
15.   <value>/home/game/hadoop/tmp</value>  
16. </property>

5)修改配置hdfs-site.xml

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  <property>  
2.    <name>dfs.namenode.rpc-address</name>  
3.    <value>192.168.80.100:19001</value>  
4.  </property>  
5.    
6.  <property>  
7.    <name>dfs.namenode.http-address</name>  
8.    <value>0.0.0.0:10070</value>  
9.  </property>

6)修改mapred-site.xml

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  cp mapred-site.xml.template mapred-site.xml  
2.  <property>  
3.    <name>mapreduce.framework.name</name>  
4.    <value>yarn</value>  
5.  </property>

7)修改yarn-site.xml

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  <property>  
2.    <description>The http address of the RM web application.</description>  
3.    <name>yarn.resourcemanager.webapp.address</name>  
4.    <value>$\{yarn.resourcemanager.hostname\}:18088</value>  
5.  </property>

5、启动

1)格式化NameNode

cd $HADOOP\_HOME/bin  
./hdfs namenode -format  
  
\#2)启动hdfs  
/home/game/soft/hadoop/sbin/start-dfs.sh  
jps查看是否启动成功  
16704 DataNode  
16545 NameNode  
16925 SecondaryNameNode  
  
hdfs dfs -ls hdfs://192.168.80.100:19001/  
  
  
\#3) 启动yarn  
/home/game/hadoop-2.7.3/sbin/start-yarn.sh  
\[game@IM-SJ01-Server18 sbin\]$ jps  
17427 NodeManager  
19668 ResourceManager  
  
  
yarn node -list  
yarn node -status  
  
  
\#4)页面显示  
192.168.80.100:10070  
192.168.80.100:18088  
  
  
\#6、上传测试  
hadoop fs -mkdir -p hdfs://192.168.80.100:19001/test/  
hadoop fs -copyFromLocal ./test.txt hdfs://192.168.80.100:19001/test/  
hadoop fs -ls hdfs://192.168.80.100:19001/  
  
  
hadoop fs -put /opt/program/userall20140828 hdfs://localhost:9000/tmp/tvbox/

[http_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[view plain]: http://blog.csdn.net/mergerly/article/details/53190069#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/1988909
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/1988909/fork
[Hadoop]: http://lib.csdn.net/base/hadoop

发表评论取消回复

表情：

评论列表（有 0 条评论，236人围观）

还没有评论，来说两句吧...

相关阅读

相关利用Java进行大数据处理：Hadoop和Spark实践

在Java中，我们可以使用Apache Hadoop和Apache Spark这两个大数据处理框架来进行实际操作。 1. **Hadoop**： - **MapReduce*

柔情只为你懂/ 2024年12月08日 00:21/ 0 赞/ 21 阅读

相关 HIVE --- zeppelin安装

目录把zeppelin压缩包拷贝到虚拟机里面解压改名修改配置文件编辑zeppelin-site.xml—将配置文件的ip地址和端口号进行修改编辑 zep

谁践踏了优雅/ 2024年03月26日 15:37/ 0 赞/ 74 阅读

相关 Hadoop(一)-hadoop安装

1.下载二进制安装包 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.10.1/hadoop-2.

末蓝、/ 2023年01月19日 03:24/ 0 赞/ 10 阅读

相关 zeppelin oracle,Apache Zeppelin安装及使用

Apache Zeppelin介绍：A web-based notebook that enables interactive data analytics. You can

阳光穿透心脏的1/2处/ 2022年10月21日 12:59/ 0 赞/ 177 阅读

相关安装zeppelin安装spark ha集群

`安装zeppelin` `1` `.默认安装好spark集群` `2` `.安装zeppelin` ` ` `1` `.解压安装包` ` `

超、凢脫俗/ 2022年07月12日 02:48/ 0 赞/ 239 阅读

相关安装zeppelin安装spark ha集群

`安装zeppelin` `1` `.默认安装好spark集群` `2` `.安装zeppelin` ` ` `1` `.解压安装包` ` `

深藏阁楼爱情的钟/ 2022年07月12日 02:48/ 0 赞/ 287 阅读

相关 spark和zeppelin实践二：安装spark和zeppelin

一、[Spark][]安装 1、安装spark \[plain\] [view plain][] [copy][view plain] [![在CODE上查看代

亦凉/ 2022年07月11日 12:07/ 0 赞/ 806 阅读

相关 spark和zeppelin实践一：安装hadoop篇

一、安装JDK 1.7 JDK下载地址：[http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downl

╰半橙微兮°/ 2022年07月11日 12:05/ 0 赞/ 237 阅读

相关【Hadoop／Spark】Hadoop、Spark安装详解

前言之前有安装过Hadoop，最近想学学spark，因为spark需要和Hadoop版本统一，索性就卸了Hadoop重新装，折腾了几个小时终于都弄好了，现在把安装步骤整

浅浅的花香味﹌/ 2022年06月06日 00:07/ 0 赞/ 327 阅读

相关 Hadoop-深入实践（一）

1. 大数据概念无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 =海量数据+复杂类型的数据 2. 核心特征数据量大类型繁多价值密

旧城等待，/ 2022年05月21日 08:55/ 0 赞/ 257 阅读