Hadoop伪分布式搭建

﹏ヽ暗。殇╰゛Y 2022-01-14 03:15 463阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

### 下载及安装 ###

#### 下载 ####

我先在CentOS 7.4的服务器的`/usr/`目录新建了一个hadoop目录，然后进入新建的hadoop目录，下载hadoop。

> 命令： `wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz`

![a55b1b1de2840bda241f7a97adcd3ee89ba.jpg][]

到[hadoop下载页面][hadoop]选择合适的hadoop版本进行下载，我使用的是2.8.5，截止现在，因为hbase最高支持2.8.X的版本，使用Hadoop2.9.X会有问题。

#### 安装 ####

把下载好的压缩包解压出来

> 命令：`tar xvzf hadoop-2.8.5.tar.gz`

![aaea52fc00178c4f70a2f44e3d9f6c82800.jpg][]

配置/etc/profile的JAVA\_HOME

![20c142faef5295b8e4f4dfc36925d051af8.jpg][]

### 配置 ###

配置`${HADOOP_HOME}/etc/hadoop/core-site.xml`

<configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
    </configuration>

![cdc36c1baa03c4f7c10dcd8b425aead4355.jpg][]

配置`${HADOOP_HOME}/etc/hadoop/hdfs-site.xml` 这个配置是配置HDFS的备份数的，不配置的话默认是备份3分，因为这里是测试，所以1份就够了。一般用默认配置，土豪可以调3+。

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

### 设置passphraseless ssh ###

现在通过`ssh localhost`看看需不需要密码访问。如果发现需要密码访问，那么试用一下命令配置`ssh-keygen`:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 0600 ~/.ssh/authorized_keys

### 运行 ###

1.  format namenode

${HADOOP_HOME}/bin/hdfs namenode -format

1.  启动NameNode和DataNode：

${HADOOP_HOME}/sbin/start-dfs.sh

1.  使用jps命令查看是否启动成功：

![f2487c0cd9f0b83f8681a654a063240853b.jpg][]

1.  访问localhost:50070

![a2b593e758f11e0e036dc51a7459d1b57eb.jpg][]

### 运行官方提供的测试examples ###

1.  创建执行MapReduce作业所需的HDFS目录:

${HADOOP_HOME}/bin/hdfs dfs -mkdir /user
    ${HADOOP_HOME}/bin/hdfs dfs -mkdir /user/<username>

1.  拷贝官方提供的input文件到分布式文件系统中：

${HADOOP_HOME}/bin/hdfs dfs -put etc/hadoop input

1.  运行examples

${HADOOP_HOME}/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar grep input output 'dfs[a-z.]+'

跑完会输出这个：

![53b077055bab2148a4080711d6bf7ab873d.jpg][]

最后停止运行：

${HADOOP_HOME}/sbin/stop-dfs.sh

### 配置YARN ###

先配置MapReduce的管理工具为yarn:

cp ${HADOOP_HOME}/etc/hadoop/mapred-site.xml.template ${HADOOP_HOME}/etc/hadoop/mapred-site.xml
    vim ${HADOOP_HOME}/etc/hadoop/mapred-site.xml

mapred-site.xml配置如下：

<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

配置yarn-site.xml：

$ vim ${HADOOP_HOME}/etc/hadoop/yarn-site.xml
    
    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

启动yarn：

${HADOOP_HOME}/sbin/start-yarn.sh
    jps
    32934 NodeManager
    32999 Jps
    32857 ResourceManager

转载于:https://my.oschina.net/u/3152087/blog/3048491

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220113/5304adc23a5a4b279cfb8203fccaa186.png
[a55b1b1de2840bda241f7a97adcd3ee89ba.jpg]: /images/20220113/62b34da4293f4360897da1a730b01585.png
[hadoop]: https://hadoop.apache.org/releases.html
[aaea52fc00178c4f70a2f44e3d9f6c82800.jpg]: /images/20220113/aef6ac7c5d9d47a4a4463dbf0a563953.png
[20c142faef5295b8e4f4dfc36925d051af8.jpg]: /images/20220113/068839ac8be74f1ebfaf802a13f9efa7.png
[cdc36c1baa03c4f7c10dcd8b425aead4355.jpg]: /images/20220113/12eb96dea83c45dca37fed00ca4950b3.png
[f2487c0cd9f0b83f8681a654a063240853b.jpg]: /images/20220113/6a70d13d29c34f47b4fe42a4fb3e2e2c.png
[a2b593e758f11e0e036dc51a7459d1b57eb.jpg]: /images/20220113/5ed2123fdb784b2abb56bec83c369584.png
[53b077055bab2148a4080711d6bf7ab873d.jpg]: /images/20220113/d59a2317be1f48edac3da0db61696a54.png