hadoop伪分布式集群安装

短命女 2023-02-12 05:55 33阅读 0赞

## 一、下载hadoop安装包 ##

hadoop安装包分为apache官方以及CDH，具体区别在此不做介绍，本次搭建选择的是`hadoop-2.6.0-cdh5.7.0`版本  
下载路径http://archive.cloudera.com/cdh5/

--------------------

## 二、配置hadoop ##

hadoop相关配置文件在`/etc`目录下  
我们需要修改的文件有  
`core-site.xml`，`hadoop-env.sh`，`hdfs-site.xml`

1.  对`hadoop-env.sh`文件中的`JAVA_HOME`进行一下配置
2.  在`hdfs-site.xml`文件中添加配置
    
        <configuration>
            <property>
            
                <name>dfs.replication</name>
                <value>1</value>
            </property>
            
            <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/XXX/Hadoop/dfs/name</value>
            </property>
            
            <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/XXX/Hadoop/dfs/data</value>
            </property>
        </configuration>
    
    配置好之后我们需要创建`/XXX/Hadoop/dfs/name`和`/XXX/Hadoop/dfs/data`这两个文件
3.  配置`core-site.xml`
    
        <configuration>
            
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
            </property>
            
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/XXX/Hadoop/tmp</value>
            </property>
        </configuration>
    
    之后我们需要进到/bin目录下面执行`./hdfs namenode -format`对namenode进行格式化  
    如果看到下面这段话则说明格式化成功
    
        19/12/07 15:04:31 INFO util.ExitUtil: Exiting with status 0

--------------------

## 三、启动 ##

1.  /sbin目录下面使用`./start-dfs.sh`启动hdfs集群
2.  使用`./hdfs dfs -ls /`查看hdfs根目录为空
3.  然后我们在执行`./hdfs dfs -mkdir /test`之后再查询会发现根目录已经存在/test文件