Hadoop问题笔记之五问五答-日志配置

骑猪看日落 2022-04-12 07:54 70阅读 0赞

\[b\]\[color=green\]\[size=large\]接着上次，散仙所写的\[url=http://qindongliang.iteye.com/blog/2200400\]文章\[/url\]，在Win7上的eclipse中使用Apache Hadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2的集群上（公司有两种hadoop集群（CDH的和Apache的））在使用过程中遇到一下几个问题，特记于此：\[/size\]\[/color\]\[/b\]  
  
\[b\]\[color=olive\]\[size=large\]  
问题清单：  
\[table\]  
|修真门槛|障碍描述|  
|1 |手写MapReduce中如何指定hadoop开启递归文件夹功能？|  
|2 |关于在Hadoop中使用配置文件，或者如何共享配置文件？|  
|3 |我在自己写的Mapper或者Reducer中使用Log4j记录的log究竟在哪里可以看到？  
|4|出现Connection Refused异常时，该如何解决？  
|5|如何启用hadoop的JobHistoryServer？  
\[/table\]  
  
\[/size\]\[/color\]\[/b\]  
  
\[b\]\[color=green\]\[size=large\]  
  
问题一：  
  
默认的hadoop的inputpath的路径，是只能读取到一级的，也就是说你这个目录下只能放文件，不能在放目录了，如果你放了目录，那么hadoop就会抛出异常，说当前path不是一个文件，所以你可以开启递归读取的功能，在main方法中的驱动类中，加入代码如下：  
  
\[/size\]\[/color\]\[/b\]

FileInputFormat.setInputDirRecursive(job, true);//设置可以递归读取目录

\[b\]\[color=black\]\[size=large\]  
问题二：  
  
这个问题在hadoop也比较常见，关于共享文件的配置，请参考，散仙以前的  
http://qindongliang.iteye.com/blog/2038108\[url=http://qindongliang.iteye.com/blog/2038108\]文章\[/url\]  
  
在这里，散仙扩展另外一个问题，关于如何在hadoop使用共享变量，比如初始化时，我有一个Map记录了一些公用的信息，在MapReduce的执行过程中，每个map或reduce方法，都有可能访问这个HashMap来获取一些信息，那么这个Map应该在什么时候初始化？  
  
答案： 是在Hadoop的setup方法时，初始化才有效，如果你在main方法的第一行代码，就初始化了这个HashMap，那么在mapreduce过程中去访问这个变量是不会生效的，因为main方法启动jvm和Hadoop的jvm不是同一个jvm，所以就相当于刻舟求剑了，这一点需要注意下，只有在setup里面初始化的资源，才是和map或者reduce方法，共享同一个jvm  
  
\[/size\]\[/color\]\[/b\]  
  
\[b\]\[color=olive\]\[size=large\]  
问题三：  
  
关于如何在hadoop中，查看我们使用log4j记录的日志信息，请参考，散仙以前的http://qindongliang.iteye.com/blog/2038096\[url=http://qindongliang.iteye.com/blog/2038096\]文章\[/url\]  
  
问题四：  
出现Connection Refused异常时，如何解决？ 这个问题，hadoop官网已经给了很详细的解释了，感兴趣的朋友，请参考这个链接：\[url\]https://wiki.apache.org/hadoop/ConnectionRefused\[/url\]  
出现这个问题的原因，一般不是程序代码的问题，而是hadoop的集群所在的linux的hosts出现了问题，关注点：  
（1）检测linux的/etc/host文件的IP映射是否有问题  
（2）SSH的无秘钥的登陆，是否出现问题  
（3）hadoop的/etc/hadoop的配置文件，是否所有的节点都一致  
  
  
问题五：  
  
可能有的朋友，还不知道JobHistoryServer这个东东是干啥的，没关系，大家在使用hadoop时在8088的界面上，是否经常有history链接的页面打不开？ 你猜的没错，这个server就是提供了一个hadoop基于Web页面查看log的一个http链接，它在hadoop的8088的界面上的超链接如下图：  
\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0107/4589/d88d4547-360c-3e64-b095-1598a09559c8.png\[/img\]  
  
\[b\]\[color=green\]\[size=large\]具体的配置和启动，参考如下代码：\[/size\]\[/color\]\[/b\]

sbin/mr-jobhistory-daemon.sh start historyserver
    
    #yarn-site.xml
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>h1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>h1:19888</value>
    </property>
      <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
      </property>
      <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
      </property>
      <property>
        <name>yarn.log-aggregation.retain-check-interval-seconds</name>
        <value>864000</value>
      </property>
    
    
    $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver
    stop-yarn.sh
    start-yarn.sh
    
    $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

\[b\]\[color=green\]\[size=large\]比如，散仙在setup方法里，记录了一些log，那么我就可以通过这个链接地址，在web界面上看到：\[/size\]\[/color\]\[/b\]  
  
  
\[img\]http://dl2.iteye.com/upload/attachment/0107/4591/512a5a19-0986-377c-bc7d-e1549c7d0191.png\[/img\]  
  
  
\[b\]\[color=olive\]\[size=large\]  
  
最后再补充一个知识点，如何跨集群拷贝HDFS文件：  
方式一： distcp 可直接在一个HDFS集群上拷贝数据到另外一个HDFS集群上  
方式二：hdfs dfs -fs hdfs://172.175.25.78 -copyFromLocal 本地要上传的目录 /user/目标目录 可以直接在别的机器本地磁盘上拷贝文件，直接到HDSF集群上，注意他们的SSH应该是通的！  
  
  
总结：  
  
成长的过程，就是解决问题积累的过程，越是怕解决问题，就越是会出现问题，进而，我们的收获就越少，所以，我们要多总结，多思考，多分享！  
  
  
\[/size\]\[/color\]\[/b\]  
  
\[b\]\[color=green\]\[size=large\]  
最后欢迎大家扫码关注微信公众号：我是攻城师，我们一起学习，进步和交流!（woshigcs）  
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园，有什么问题随时都可以留言，欢迎大家来访！  
\[/size\]\[/color\]\[/b\]  
\[img\]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg\[/img\]