Hadoop 安装与配置

左手的ㄟ右手 2021-09-23 15:14 476阅读 0赞

最近打算自己装一套大数据相关的东西整着玩儿，下面就来记录并分享一下hadoop的安装步骤：

1、下载安装包

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

2、解压安装包

tar -xzvf hadoop-3.2.1.tar.gz

3、配置  
1）etc/hadoop/core-site.xml

<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

2）etc/hadoop/hdfs-site.xml

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

4、通过以下命令检查一下在没有密码的情况下ssh是否可以正常连接连接localhost

ssh localhost

如果不能正常连接，则需要执行以下命令：

ssh-keygen -t rsa -P '' -f  ~/.ssh/id_rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 0600 ~/.ssh/authorized_keys

5、在本地运行MapReduce任务  
1）格式化文件系统

bin/hdfs namenode -format

2）启动守护进程

sbin/start-dfs.sh
    
    守护进程的日志将会输出到$HADOOP_LOG_DIR文件夹下，默认在$HADOOP_HOME/logs下

3）查看是否启动

NameNode - http://localhost:9870/

4）新建一个HDFS文件夹用来执行MapReduce任务

bin/hdfs dfs -mkdir /user
    bin/hdfs dfs -mkdir /user/<username>

5）将输入文件复制到分布式文件系统

bin/hdfs dfs -mkdir input
    bin/hdfs dfs -put etc/hadoop/*.xml input

6）运行一下已提供的示例

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'

7）检查输出文件  
a、将输出文件从分布式文件系统复制到本地文件系统

bin/hdfs dfs -get output output
    cat output/*

b、在分布式文件系统查看

bin/hdfs dfs -cat output/*

8）停止守护进程命令

sbin/stop-dfs.sh

6、可以在YARN上运行MapReduce任务  
1）-4）步与上一小节一样  
5）修改配置文件  
a、etc/hadoop/mapred-site.xml

<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapreduce.application.classpath</name>
            <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
        </property>
    </configuration>

b、etc/hadoop/yarn-site.xml

<configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.env-whitelist</name>
            <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>
    </configuration>

6）启动守护进程

sbin/start-yarn.sh

7）访问验证

http://localhost:8088/

8）运行MapReduce任务  
9）停止守护进程

sbin/stop-yarn.sh