CDH-Hadoop2.6+ Apache Pig0.15安装记录

悠悠 2022-04-12 08:58 172阅读 0赞

1，使用CDH的hadoop里面有对应的组件Pig，但版本较低，所以放弃使用了，直接下载  
Apache Pig0.15最新的版本（支持Tez，比Hive更容易集成）  
下载地址：http://archive.apache.org/dist/pig/pig-0.15.0/pig-0.15.0.tar.gz  
直接下载二进制包即可  
  
2，配置Pig的环境变量如下：  
\#Pig  
export PIG\_HOME=/ROOT/server/pig  
export PIG\_CLASSPATH=$HADOOP\_HOME/etc/hadoop  
export PATH=/ROOT/server/pig/bin:$PATH  
3，直接执行pig命令，启动程序，会报如下异常  
\[main\]ERROR org.apache.pig.Main -ERROR 2998:Unhandled internal error.Found interface jline.Terminal,but class was expected  
  
原因是由于jline这个包和hadoop的yarn/lib下面的jline的包不一致造成的。  
可参考：https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started里面的解释  
  
解决方法：  
  
删掉hadoop的yarn/lib下的那个jline版本较高的包，将pig/lib下的jline-1.0.jar包拷贝到yarn/lib下，然后  
重新执行pig命令，可正常启动。  
  
  
\[img\]http://dl2.iteye.com/upload/attachment/0109/7884/51688d5b-d695-3393-a9ae-03456094c2c9.png\[/img\]  
  
  
然后执行一个pig脚本写的MapReduce作业，发现会报如下异常，但是MR作业是跑成功的：  
  
\[img\]http://dl2.iteye.com/upload/attachment/0109/7886/f987d912-8530-3e76-a80d-287f8d28fa98.png\[/img\]  
  
  
原因是，Hadoop的jobhistroy进程没有启动。  
解决办法：  
执行sbin/mr-jobhistory-daemon.sh start historyserver 命令，启动日志守护进程  
  
然后再次跑pig作业，一切正常 !

发表评论取消回复

表情：

评论列表（有 0 条评论，172人围观）

还没有评论，来说两句吧...

相关阅读

相关安装PIG

下载Pig 可以运行在Hadoop 0.20.\ http://mirror.bit.edu.cn/apache/pig/pig-0.11.1/pig-0.11.1.tar.

小咪咪/ 2022年08月26日 15:20/ 0 赞/ 223 阅读

相关 Apache Pig的前世今生

最近，散仙用了几周的Pig来处理分析我们网站搜索的日志数据，感觉用起来很不错，今天就写篇笔记介绍下Pig的由来，除了搞大数据的人，可能很少有人知道Pig是干啥的，包括一些是搞编

叁歲伎倆/ 2022年08月06日 08:26/ 0 赞/ 151 阅读

相关 Apache Pig 执行

![017f554168a2444e2556099ff9163703.png_wxfrom_5_wx_lazy_1][] 在上一章中，我们解释了如何安装Apache Pig。

雨点打透心脏的1/2处/ 2022年06月05日 11:22/ 0 赞/ 165 阅读

相关 Apache Pig 安装

![017f554168a2444e2556099ff9163703.png_wxfrom_5_wx_lazy_1][] 本章将介绍如何在系统中下载，安装和设置 Apache

迷南。/ 2022年06月05日 11:21/ 0 赞/ 222 阅读

相关 Apache Pig 概述

![017f554168a2444e2556099ff9163703.png_wxfrom_5_wx_lazy_1][] 什么是Apache Pig？ Apache P

ゞ浴缸里的玫瑰/ 2022年06月05日 11:21/ 0 赞/ 221 阅读

相关 Apache Pig 架构

用于使用Pig分析Hadoop中的数据的语言称为 Pig Latin ，是一种高级数据处理语言，它提供了一组丰富的数据类型和操作符来对数据执行各种操作。要执行特定任务

我会带着你远行/ 2022年06月05日 11:21/ 0 赞/ 200 阅读

相关 CDH-Hadoop2.6+ Apache Pig0.15安装记录

1，使用CDH的hadoop里面有对应的组件Pig，但版本较低，所以放弃使用了，直接下载 Apache Pig0.15最新的版本（支持Tez，比Hive更容易集成）下

悠悠/ 2022年04月12日 08:58/ 0 赞/ 173 阅读

相关 Apache Pig学习笔记（二）

\[img\]http://dl2.iteye.com/upload/attachment/0105/3491/7c7b3bef-0dda-3ac6-8cdb-1ecc1dd9

柔光的暖阳◎/ 2022年04月12日 07:17/ 0 赞/ 229 阅读

相关 Apache Pig的前世今生

\[b\]\[color=olive\]\[size=large\]最近，散仙用了几周的Pig来处理分析我们网站搜索的日志数据，感觉用起来很不错，今天就写篇笔记介绍下Pig的由

绝地灬酷狼/ 2022年04月12日 06:55/ 0 赞/ 286 阅读

相关 Apache Pig 教程

<table> <tbody> <tr> <td><a href="http://www.codingdict.com/article/8167" title

川长思鸟来/ 2021年09月22日 19:08/ 0 赞/ 267 阅读