大数据系列hadoop——开发环境配置

谁践踏了优雅 2022-05-17 05:49 191阅读 0赞

**目录**

简介

安装配置插件

环境变量

代码中的配置

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

mapReduce

--------------------

# 简介 #

一般来说，我们的hadoop部署在linux服务器上，我们在windows上用eclipse进行开发，所以我们要进行开发环境配置。

工具和版本号

JDK：1.8

Eclipse：Jee Oxygen

Hadoop：2.6.5

hadoop-eclipse-plugin：2.6.5

winutils.exe

hadoop.dll

## 安装配置插件 ##

下载插件，放到eclipse安装目录下的dropins文件夹中，重启eclipse

![70][]

注意服务端必须对外开放9000端口， 或者在防火墙中进行配置

![70 1][]

## 环境变量 ##

下载hadoop到开发机并解压，将winutils.exe放到bin目录下

把hadoop.dll放到System32文件夹下

设置环境变量HADOOP\_HOME=hadoop安装目录

设置环境变量PATH=%HADOOP\_HOME%/bin

## 代码中的配置 ##

*  ### core-site.xml ###

fs.defaultFS需要修改成master的ip，其余和服务器上一致

*  ### hdfs-site.xml ###

在开发机上用服务器上的hadoop进行调试时，操作hadoop的用户名默认为开发机的用户名，因此可能存在权限问题。在hdfs-site.xml中有一个配置可以禁用权限验证。需要服务器上做同样的配置

dfs.permissions配置为false，其余和服务器上一致

注意：权限问题还有其它几个办法

1、修改开发机用户名和服务器上的一样

2、代码中设置System.setProperty("HADOOP\_USER\_NAME","服务器用户名");

*  ### mapred-site.xml ###

和服务器上一致

*  ### yarn-site.xml ###

和服务器上一致

注意：如果打包到服务器上调用的时候，需要配置

![70 2][]

否则报错如下

![70 3][]

*  ### mapReduce ###

1、开发环境

上面提到的权限问题，可以通过代码System.setProperty("HADOOP\_USER\_NAME","服务器用户名");设置

设置开发机的hadoop路径System.setProperty("hadoop.home.dir","hadoop路径");

config.set("mapreduce.app.submission.cross-platform", "true");  
            config.set("mapreduce.framework.name", "local");

2、服务器环境

config.set("mapreduce.framework.name", "yarn");

config.set("yarn.resourcemanager.hostname", "master的ip");

[70]: /images/20220517/ee9d43681f594d8b9532fa6f69508c1e.png
[70 1]: /images/20220517/0478e3296b8c41299d7726a7f2f8e6df.png
[70 2]: /images/20220517/dc76fe4e0a6d43e49d5e0bc6243fab7c.png
[70 3]: /images/20220517/e7eec02c68a0449aac968266cf4f5e5d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，191人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据技术原理与应用课程实验报告（Hadoop开发环境配置作业）

大数据技术原理与应用课程实验报告（Hadoop开发环境配置作业）一、实验目的完成Hadoop开发环境配置实验作业二、实验内容 Hadoop开发环境配

今天药忘吃喽~/ 2023年09月24日 19:23/ 0 赞/ 17 阅读

相关大数据Hadoop系列之Map-ETL实战开发

1. 输入数据 122.245.205.218^A 1450572279.254^A hadoop-master.volitation.com^A

柔情只为你懂/ 2023年07月21日 11:24/ 0 赞/ 5 阅读

相关 Java大数据开发：Hadoop-HDFS

在刚开始的学习中，曾经介绍过，hadoop组成部分包含HDFS，MapReduce,下面我们就来看一下HDFS吧。 HDFS概念 1.1 概念 HDFS，它是一个

以你之姓@/ 2023年07月19日 11:00/ 0 赞/ 15 阅读

相关大数据系列教程003-hadoop伪分布式环境搭建步骤

> 声明：大数据系列教程文章由Java潘老师辛苦原创，免费公开供java爱好者学习。如需转载请获得潘老师授权并保留原文链接，如有疑问或建议，可以联系潘老师： > > Q：15

快来打我*/ 2023年03月13日 05:08/ 0 赞/ 16 阅读

相关头歌Educoder——大数据Hadoop开发环境搭建

文章目录第1关：配置开发环境 - JavaJDK的配置任务描述相关知识下载JDK 解压

曾经终败给现在/ 2022年11月07日 11:38/ 0 赞/ 1650 阅读

相关大数据学习系列之一 ----- Hadoop环境搭建(单机)

一、环境选择 1，服务器选择阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu：1核内存：1G 硬盘:40G

叁歲伎倆/ 2022年06月05日 11:30/ 0 赞/ 292 阅读

相关大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言在上一篇中 [大数据学习系列之五 —– Hive整合HBase图文详解][_ Hive_HBase] ： [http://www.panchengming.com/

素颜马尾好姑娘i/ 2022年06月03日 05:26/ 0 赞/ 226 阅读

相关大数据Hadoop系列之Hadoop机架感知配置

1）编写topology.data IP地址主机名交换机/机架 192.168.9.60 master60 /dc1/

亦凉/ 2022年05月23日 08:28/ 0 赞/ 247 阅读

相关大数据系列hadoop——开发环境配置

目录简介安装配置插件环境变量代码中的配置 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.x

谁践踏了优雅/ 2022年05月17日 05:49/ 0 赞/ 192 阅读

相关大数据Hadoop系列之Hadoop服务开机自启动配置

1. 编写运行脚本 > $ sudo cd /etc/init.d > $ sudo vi hadoop !/bin/bash chkconfig

绝地灬酷狼/ 2022年05月15日 16:43/ 0 赞/ 825 阅读