Hadoop入门——伪分布式环境的搭建

痛定思痛。 2021-09-27 04:28 476阅读 0赞

## 一.配置虚拟机 ##

设置静态ip，此处为192.168.159.130

/etc/hosts中配置如下：

192.168.159.130 hdserver1
    192.168.159.131 hdserver2

## 二.安装jdk等基础环境 ##

## 三.安装Hadoop ##

### 1.上传hadoop安装包 ###

### 2.解压hadoop安装包 ###

mkdir /cloud
    #解压到/cloud/目录下
    tar -zxvf hadoop-2.4.1.tar.gz -C /cloud/

### 3.修改配置文件（均在/cloud/hadoop-2.4.1/etc/hadoop目录下） ###

（1）修改hadoop-env.sh,将原来的JAVA\_HOME写死

export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79

（2）修改core-site.xml

新增如下：

<configuration>
       <property>
            <name>hadoop.tmp.dir</name>
            <value>/cloud/hadoop-2.4.1/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
       </property>
       <property>
            <name>fs.default.name</name>
            <value>hdfs://hdserver1:9000</value>
       </property>
    </configuration>

（3）hdfs-site.xml

<configuration>
    	
    	<property>
    	    <name>dfs.replication</name>
    	    <value>1</value>
    	</property>
    /configuration>

(4)重命名mapred-site.xml.template为mapred-site.xml，并加入相关内容

mv mapred-site.xml.template mapred-site.xml

<configuration>
    	
    	<property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    	</property>
    </configuration>

（5）yarn-site.xml

<configuration>
    	
    	<property>
    	    <name>yarn.nodemanager.aux-services</name>
    		<value>mapreduce_shuffle</value>
    	</property>
    </configuration>

### 4.将hadoop添加至环境变量 ###

export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79
    export HADOOP_HOME=/cloud/hadoop-2.4.1
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

### 5.格式化hdfs(namenode)第一次使用时要格式化 ###

hadoop namenode -format

### 6.启动hadoop ###

start-dfs.sh
    
    
    start-yarn.sh
    
    
     start-all.sh

### 7.验证是否启动成功 ###

[root@hdserver1 ~]# jps
    1735 ResourceManager
    1593 SecondaryNameNode
    1446 DataNode
    3846 Jps
    1331 NameNode
    1831 NodeManager
    [root@hdserver1 ~]#

### 8.管理界面 ###

HDFS管理界面：[http://192.168.159.130:50070][http_192.168.159.130_50070]

MR管理界面：[http://192.168.159.130:8088][http_192.168.159.130_8088]

## 四.配置SSH免登陆 ##

cd ~   进入到我的home目录
    cd .ssh/
    ssh-keygen -t rsa （四个回车）
    执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
    touch authorized_keys新建该文件
    chmod 600 authorized_keys 修改权限
    在hdserver1 上执行 scp ~/.ssh/id_rsa.pub hdserver2:~/  将公钥拷贝到要免登陆的机器上
    cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
    	或
    ssh-copy-id -i localhost 
    	
    然后在hdserver1服务器上通过ssh hdserver2（/etc/hosts文件中进行配置）命令行无需密码可直接登录

[http_192.168.159.130_50070]: http://192.168.159.130:50070/
[http_192.168.159.130_8088]: http://192.168.159.130:8088/