6.4 Impala和HBase进行整合,JDBC

落日映苍穹つ 2022-05-22 10:23 168阅读 0赞

Impala可以通过Hive外部表方式和HBase进行整合

步骤1：创建hbase 表，向表中添加数据

create ' test\_info', 'info'

put 'test\_info','1','info:name','zhangsan'

put 'test\_info','2','info:name','lisi'

• 步骤2：创建hive表

CREATE EXTERNAL TABLE test\_info(key string,name string )

ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'

STORED by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ("hbase.columns.mapping"=": key, info:name")

TBLPROPERTIES

("hbase.table.name" = " test\_info");

• 步骤3：刷新Impala表

invalidate metadata

整合完成，数据就能同步

要点：

1、SQL优化，使用之前调用执行计划

• 2、选择合适的文件格式进行存储

• 3、避免产生很多小文件（如果有其他程序产生的小文件，可以使用中间

表）

• 4、使用合适的分区技术，根据分区粒度测算

• 5、使用compute stats进行表信息搜集

• 6、网络io的优化：

– a.避免把整个数据发送到客户端

– b.尽可能的做条件过滤

– c.使用limit字句

– d.输出文件时，避免使用美化输出

• 7、使用profile输出底层信息计划，在做相应环境优化

--------------------

package com.sxt.impala;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

public class impalaClient \{

public static void main(String\[\] args) throws Exception \{

Class.forName(" org.apache.hive.jdbc.HiveDriver");

Connection conn = DriverManager.getConnection( "jdbc:hive2://node2:21050/;auth=noSasl", "", "");

PreparedStatement pstm = conn.prepareStatement("select id, name from t\_person limit 6");

ResultSet rs = pstm.executeQuery();

while (rs.next()) \{

System.out.println(rs.getString(1) + " " + rs.getString("name"));

\}

rs.close();

pstm.close();

conn.close();

\}

\}

发表评论取消回复

表情：

评论列表（有 0 条评论，168人围观）

还没有评论，来说两句吧...

相关阅读

相关 Impala JDBC驱动下载分享

maven仓库中虽然能找到impalaJDBC依赖，但是该依赖无法使用，本地下载是没有jar文件的，该驱动需要去官网下载，我在官网下载的jar文件上传至我的git仓库了，需

Love The Way You Lie/ 2023年09月24日 22:32/ 0 赞/ 51 阅读

相关 Impala之JDBC连接

参考文章：[Impala之JDBC连接][Impala_JDBC] 简介 > 1. 首先选择节点，Impala Daemon（守护进程）的作用是接收来自HUE、she

谁借莪１个温暖的怀抱￠/ 2023年02月09日 05:29/ 0 赞/ 23 阅读

相关 Impala 2、Impala Shell 和 Impala SQL

1、Impala 外部 Shell 　　Impala外部Shell 就是不进入Impala内部，直接执行的ImpalaShell 例如通过外部Shell查看Impala帮助可

心已赠人/ 2022年05月31日 12:05/ 0 赞/ 301 阅读

相关 Impala与HBase整合实践

实现Impala与HBase整合，我们能够获得的好处有如下几个：可以使用我们熟悉的SQL，像操作传统关系型数据库一样，很容易给出复杂查询、统计分析的SQL设计 Impa

布满荆棘的人生/ 2022年05月31日 07:15/ 0 赞/ 229 阅读

相关 6.4 Impala和HBase进行整合,JDBC

Impala可以通过Hive外部表方式和HBase进行整合步骤1：创建hbase 表，向表中添加数据 create ' test\_info', 'info' put

落日映苍穹つ/ 2022年05月22日 10:23/ 0 赞/ 169 阅读

相关 springBoot整合jdbc进行数据访问

我们在使用springBoot操作数据库的时候，可以使用jdbcTemplate来操作数据库，当我们使用的是spring-jdbc，Spring Boot会自动创建一个`Jdb

拼搏现实的明天。/ 2022年05月19日 02:39/ 0 赞/ 350 阅读

相关 impala、hive 操作hbase

impala、hive 操作hbase 数据存储在HBase中，使用Hive执行SQL语句无论是使用Hive还是Impala还是Spark，第一步都是让他们先知道

蔚落/ 2022年05月14日 07:26/ 0 赞/ 257 阅读

相关 impala jdbc

jdbc:impala://xxxxxx:21050/default;UseSasl=0;AuthMech=3;UID=impala;PWD= <impala.jdb

小灰灰/ 2022年03月02日 09:18/ 0 赞/ 273 阅读

相关 hive/impala:分区表,hbase外表

文章目录 1, hive创建hbase外表 2, 创建分区表：插入数据( 动态分区，手动分区) 3, impala 加速hive查询：避免mapredu

àì夳堔傛蜴生んèń/ 2022年02月14日 01:25/ 0 赞/ 1174 阅读

相关 Hive、HBase、Impala的简单对比

1. 什么是实时分析（在线查询）系统？大数据领域里面，实时分析（在线查询）系统是最常见的一种场景，通常用于客户投诉处理，实时数据分析，在线查询等等过。因为是查询应用，通

清疚/ 2021年07月26日 18:24/ 0 赞/ 537 阅读