Apache Pig字符串截取实战小例子

青旅半醒 2022-08-07 05:34 100阅读 0赞

**记录一个Pig字符串截取的实战小例子：  
  
需求如下，从下面的字符串里提取出第2列（冒号后面）的值：**

Java代码 [ ![复制代码][icon_copy.gif]][_icon_copy.gif] ![收藏代码][icon_star.png]![spinner.gif][]

1.  1 2 3 4
2.  a:ab\#c\#d
3.  a:c\#c\#d
4.  a:dd\#c\#d
5.  a:zz\#c\#d

1 2  3 4
    a:ab#c#d
    a:c#c#d
    a:dd#c#d
    a:zz#c#d

**如果是在java里，方法可能有很多种，比如substring，或者split多次等，在pig也大致如此，可以使用SUBSTRING内置函数来完成，但散仙推荐使用下面的方式，这种方式比较灵活，适合大部分场景的数据提取，需要用到的2个函数如下：  
  
（1）REGEX\_EXTRACT（'原始字符串','正则式',int类型的返回索引）  
  
（2）STRSPLIT('原始字符串', '正则式', 限制返回的个数)  
  
  
pig脚本写法：**

Java代码 [ ![复制代码][icon_copy.gif]][_icon_copy.gif] ![收藏代码][icon_star.png]![spinner.gif][]

1.  
2.  a = laod '/tmp/data' as (data:chararray)
3.  //注意逻辑是，先获取冒号后面的数据，然后split成tuple，再通过$1（下标访问元素）获取我们需要的数据即可。 
4.  b = foreach a generate STRSPLIT (REGEX\_EXTRACT (data, '(.\*):(.\*)', 2) ,'\#',5).$0;
5.  
6.  dump b;

a = laod '/tmp/data' as (data:chararray)
    //注意逻辑是，先获取冒号后面的数据，然后split成tuple，再通过$1（下标访问元素）获取我们需要的数据即可。
    b = foreach a generate STRSPLIT (REGEX_EXTRACT (data, '(.*):(.*)', 2) ,'#',5).$0;
    
    dump b;

[icon_copy.gif]: http://qindongliang.iteye.com/images/icon_copy.gif
[_icon_copy.gif]: http://qindongliang.iteye.com/blog/2192153#
[icon_star.png]: http://qindongliang.iteye.com/images/icon_star.png
[spinner.gif]: /images/20220805/b46586d3dcd2470d9398b73d92d4c501.png

发表评论取消回复

表情：

评论列表（有 0 条评论，100人围观）

还没有评论，来说两句吧...

相关阅读

相关 Apache Pig字符串截取实战小例子

记录一个Pig字符串截取的实战小例子：需求如下，从下面的字符串里提取出第2列（冒号后面）的值： Java代码 [ ![复制代码][icon_copy.

青旅半醒/ 2022年08月07日 05:34/ 0 赞/ 101 阅读

相关 Apache Pig的前世今生

最近，散仙用了几周的Pig来处理分析我们网站搜索的日志数据，感觉用起来很不错，今天就写篇笔记介绍下Pig的由来，除了搞大数据的人，可能很少有人知道Pig是干啥的，包括一些是搞编

叁歲伎倆/ 2022年08月06日 08:26/ 0 赞/ 152 阅读

相关 Apache Pig 执行

![017f554168a2444e2556099ff9163703.png_wxfrom_5_wx_lazy_1][] 在上一章中，我们解释了如何安装Apache Pig。

雨点打透心脏的1/2处/ 2022年06月05日 11:22/ 0 赞/ 165 阅读

相关 Apache Pig 安装

![017f554168a2444e2556099ff9163703.png_wxfrom_5_wx_lazy_1][] 本章将介绍如何在系统中下载，安装和设置 Apache

迷南。/ 2022年06月05日 11:21/ 0 赞/ 222 阅读

相关 Apache Pig 概述

![017f554168a2444e2556099ff9163703.png_wxfrom_5_wx_lazy_1][] 什么是Apache Pig？ Apache P

ゞ浴缸里的玫瑰/ 2022年06月05日 11:21/ 0 赞/ 221 阅读

相关 Apache Pig 架构

用于使用Pig分析Hadoop中的数据的语言称为 Pig Latin ，是一种高级数据处理语言，它提供了一组丰富的数据类型和操作符来对数据执行各种操作。要执行特定任务

我会带着你远行/ 2022年06月05日 11:21/ 0 赞/ 200 阅读

相关 Apache Pig字符串截取实战小例子

\[b\]\[color=olive\]\[size=large\]记录一个Pig字符串截取的实战小例子：需求如下，从下面的字符串里提取出第2列（冒号后面）的值：

ゝ一世哀愁。/ 2022年04月12日 07:30/ 0 赞/ 164 阅读

相关 Apache Pig学习笔记（二）

\[img\]http://dl2.iteye.com/upload/attachment/0105/3491/7c7b3bef-0dda-3ac6-8cdb-1ecc1dd9

柔光的暖阳◎/ 2022年04月12日 07:17/ 0 赞/ 231 阅读

相关 Apache Pig的前世今生

\[b\]\[color=olive\]\[size=large\]最近，散仙用了几周的Pig来处理分析我们网站搜索的日志数据，感觉用起来很不错，今天就写篇笔记介绍下Pig的由

绝地灬酷狼/ 2022年04月12日 06:55/ 0 赞/ 286 阅读

相关 Apache Pig 教程

<table> <tbody> <tr> <td><a href="http://www.codingdict.com/article/8167" title

川长思鸟来/ 2021年09月22日 19:08/ 0 赞/ 268 阅读