Hive创建表指定正则表达式

ゝ一世哀愁。 2022-05-28 07:15 216阅读 0赞

> hive创建表的时候我们一般使用的分隔符是’\\t’,但是有时候我们提供的源数据本身并没有按照严格的格式来，因此我们可以创建表的时候指定正则表达式，加载数据的时候指定数据格式。

#### 参考链接 ####

[hive的Apache Weblog Data][hive_Apache Weblog Data]  
案例：

#### 加载数据用的到文件 ####

链接：[https://pan.baidu.com/s/1bp-1yRKsYZrZplX2KIsv0A][https_pan.baidu.com_s_1bp-1yRKsYZrZplX2KIsv0A] 密码：rm0q  
创建表SQL

create table IF NOT EXISTS bf_log (
    remote_addr string,
    remote_user string,
    time_local string,
    request string,
    status string,
    body_bytes_sent string,
    request_body string,
    http_referer string,
    http_user_agent string,
    http_x_forwarded_for string,
    host string
    )
    ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
    WITH SERDEPROPERTIES (
      "input.regex" = "(\"[^ ]*\") (\"[-|^ ]*\") (\"[^}]*\") (\"[^}]*\") (\"[0-9]*\") (\"[0-9]*\") ([-|^ ]*) (\"[^ ]*\") (\"[^}]*\") (\"[-|^ ]*\") (\"[^ ]*\")"
    )
    STORED AS TEXTFILE;
    //加载数据
    load data local inpath '/opt/cdhmoduels/data/access.log'  into table bf_log;

#### 正则表达式网址 ####

[正则表达式网址][Link 1]

[hive_Apache Weblog Data]: https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-ApacheWeblogData
[https_pan.baidu.com_s_1bp-1yRKsYZrZplX2KIsv0A]: https://pan.baidu.com/s/1bp-1yRKsYZrZplX2KIsv0A
[Link 1]: http://wpjam.qiniudn.com/tool/regexpal/

发表评论取消回复

表情：

评论列表（有 0 条评论，216人围观）

还没有评论，来说两句吧...

相关阅读

相关【python】正则表达式获取指定部分

文章目录【python】正则表达式获取指定部分 1. 问题 2. 解决方案 3. 结果展示 4. 福利小工具

冷不防/ 2022年11月13日 04:03/ 0 赞/ 210 阅读

相关 Hive(五)--正则表达式

　[Hive][]中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代码都经过亲测，正常运行。 1.regexp

朴灿烈づ我的快乐病毒、/ 2022年09月29日 06:37/ 0 赞/ 166 阅读

相关正则表达式不包含指定字符串

参考资料 [http://www.imkevinyang.com/2009/08/%E4%BD%BF%E7%94%A8%E6%AD%A3%E5%88%99%E8%A1%A8

偏执的太偏执、/ 2022年08月05日 14:22/ 0 赞/ 225 阅读

相关 hive 创建表——指定分隔符

hive 创建表——指定分隔符 hive创建表的时候，为了后期使用方便，能够自定义分隔符。如下： create table student(id

小咪咪/ 2022年06月16日 22:40/ 0 赞/ 674 阅读

相关正则表达式抠出指定内容

抠出http://127.0.0.1/forum/\{name\}/index.html 中的变量 public static void main(String\[\] ar

た入场券/ 2022年06月12日 23:29/ 0 赞/ 235 阅读

相关 hive正则表达式详解

hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代码都经过亲测，正常运行。 1.regexp 语法:

梦里梦外;/ 2022年06月03日 06:05/ 0 赞/ 296 阅读

相关 Hive创建表指定正则表达式

> hive创建表的时候我们一般使用的分隔符是’\\t’,但是有时候我们提供的源数据本身并没有按照严格的格式来，因此我们可以创建表的时候指定正则表达式，加载数据的时候指定数据格

ゝ一世哀愁。/ 2022年05月28日 07:15/ 0 赞/ 217 阅读

相关 python正则表达式表

python正则表达式表 ![这里写图片描述][70] [70]: /images/20220523/3de37cfd5c004c7c8f9b31d9cb0a39df.

墨蓝/ 2022年05月23日 12:43/ 0 赞/ 184 阅读

相关 Hive正则表达式

前言昨日技术交流群里有人提了个问题，问题是这样子的：把一个由子母和数字组成的字符串，提取所有的字母串和数字串。简单想了下可以写udf解决，也可以用正则处理。采用正则处理

本是古典何须时尚/ 2022年01月26日 14:21/ 0 赞/ 189 阅读

相关正则表达式元字符表

<table> <thead> <tr> <th>元字符</th> <th>含义</th> </tr> </thead> <tbody>

小灰灰/ 2021年09月07日 06:04/ 0 赞/ 426 阅读