20180517早课记录12-Hadoop

小咪咪 2022-05-24 00:57 135阅读 0赞

##### 1.hadoop的广义和狭义的理解 #####

狭义: Hadoop软件(HDFS、MapReduce、Yarn)  
广义: 以hadoop为主的生态圈

##### 2.hadoop三大组件是什么?分别是做什么? #####

HDFS: 分布式文件管理系统 存储  
MapReduce: 执行引擎 计算  
Yarn: 资源(memory cpu)和作业调度平台 资源

##### 3.hdfs伪分布式部署时我们需要配置当前用户对当前机器的无密码信任关系，那么你们会配置吗? root和其他用户有什么区别? 知道在哪找吗? #####

会 其他用户注意authorized\_keys权限 要改为600  
[http://hadoop.apache.org/docs/r2.8.3/hadoop-project-dist/hadoop-common/SingleCluster.html][http_hadoop.apache.org_docs_r2.8.3_hadoop-project-dist_hadoop-common_SingleCluster.html]官网有介绍

##### 4.xml配置文件官网怎么找，会不? #####

会 [http://hadoop.apache.org/docs/r2.8.3/][http_hadoop.apache.org_docs_r2.8.3] 拉到最后在左侧栏

##### 5.hdfs启动时，报JAVA home没有，怎么修改呢？ #####

vi etc/hadoop/hadoop-env.sh  
将export JAVA\_HOME=$\{JAVA\_HOME\}改为  
export JAVA\_HOME=/usr/java/jdk1.8.0\_45

##### 6.假如java配置OK了，就是用不了，估计什么问题?（昨天小伙伴的问题） #####

权限问题 hadoop安装包解压后用户和用户组出现问题

##### 7.hdfs的三个进程是什么?默认存储在哪? #####

DataNode  
NameNode  
SecondaryNameNode  
默认存储在/tmp下

##### 8.jps 发现进程不可用信息，生产上正确处理流程是什么? #####

ps -ef|grep pid看下是否存在

##### 9.hdfs的web界面端口号是多少 #####

50070

##### 10.yarn的web界面端口号是多少 #####

8088

##### 11.假如让你们该这两个默认端口号，请问怎么改，去哪找?（跳跃思维） #####

可以去官网找相应配置说明  
更改dfs.namenode.http-address及yarn.resourcemanager.webapp.address参数

##### 12.mapreduce案例 jar，我也不记得路径在哪，该怎么办 #####

在hadoop安装目录find ./ -name “*example*”

##### 13.我们学习了第一个提交 jar到yarn平台，那么命令是什么 #####

hadoop jar

[http_hadoop.apache.org_docs_r2.8.3_hadoop-project-dist_hadoop-common_SingleCluster.html]: http://hadoop.apache.org/docs/r2.8.3/hadoop-project-dist/hadoop-common/SingleCluster.html
[http_hadoop.apache.org_docs_r2.8.3]: http://hadoop.apache.org/docs/r2.8.3/

发表评论取消回复

表情：

评论列表（有 0 条评论，135人围观）

还没有评论，来说两句吧...

相关阅读

相关 20180502早课记录01

1.是否完成部署centos，及配置固定IP访问外网因为本机配置较低，没有部署centos;目前使用公司虚拟机或云主机做测试。

川长思鸟来/ 2022年05月26日 12:25/ 0 赞/ 176 阅读

相关 20180514早课记录09-MySQL&Hadoop

1.排序语法，默认是降序吗不是默认是升序 2.限制多少行语法 limit 100 3.分组函数有哪些 group by 4.分组语法是什么 g

比眉伴天荒/ 2022年05月25日 11:42/ 0 赞/ 158 阅读

相关 20180528早课记录19-Hadoop

1.yarn的进程哪两个? NodeManager,ResourceManager 2.rm进程包含哪两个? Applications Master, Resou

╰半橙微兮°/ 2022年05月24日 13:14/ 0 赞/ 143 阅读

相关 20180525早课记录18-Hadoop

1.昨晚若泽分享了一个开源组件叫什么？ hystrix 2.jps如果看了信息不可用，我们该怎么做 ps一下进程进入相应用户下去看 3.hadoop pid

╰+哭是因爲堅強的太久メ/ 2022年05月24日 13:14/ 0 赞/ 115 阅读

相关 20180524早课记录17-Hadoop

1.MapReduce谈谈你们的理解执行引擎计算 2.Map是什么 map：映射函数 3.Reduce是什么 reduce：规约函数 4.shuf

绝地灬酷狼/ 2022年05月24日 13:14/ 0 赞/ 42 阅读

相关 20180523早课记录16-Linux&Hadoop

1.说说vi命令的怎样覆盖文件内容，从记事本复制过去呢？哪些命令命令行模式下gg + dG删除原内容，然后进入编辑默认粘贴进去新的内容 2.tar压缩和解压参数

爱被打了一巴掌/ 2022年05月24日 07:19/ 0 赞/ 126 阅读

相关 20180521早课记录14-Hadoop

1.hadoop是什么狭义: Hadoop软件(HDFS、MapReduce、Yarn) 广义: 以hadoop为主的生态圈 2.hadoop三大组件是什么?分

水深无声/ 2022年05月24日 05:08/ 0 赞/ 139 阅读

相关 20180517早课记录12-Hadoop

1.hadoop的广义和狭义的理解狭义: Hadoop软件(HDFS、MapReduce、Yarn) 广义: 以hadoop为主的生态圈 2.hadoop三大组

小咪咪/ 2022年05月24日 00:57/ 0 赞/ 136 阅读

相关 20180601早课记录23-Hadoop

1.hdfs是属于什么架构高可用的分布式架构 2.hdfs部署后进程哪些?按启动顺序说 NameNode,DataNode,SecondaryNameNode

拼搏现实的明天。/ 2022年05月23日 03:53/ 0 赞/ 124 阅读

相关 20180530早课记录-Linux

1.tar解压什么问题用户用户组 2.搜寻xxx命令是什么 find / -name xxx 3.我们执行命令，其实去哪个变量去找 PATH 4.说

清疚/ 2022年05月23日 00:46/ 0 赞/ 198 阅读