HBase的Shell命令和JavaAPI

刺骨的言语ヽ痛彻心扉 2022-04-25 02:16 225阅读 0赞

HBase的shell操作和JavaAPI的使用：

# Shell #

## 表操作 ##

### 创建表 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>create 'student','info'           #表名  列族
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 插入表 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
</code></pre> </td> 
   <td> <pre><code>put 'student','1001','info:sex','male'
put 'student','1001','info:age','18'
put 'student','1002','info:name','Janna'
put 'student','1002','info:sex','female'
put 'student','1002','info:age','20'
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 查看表数据 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
</code></pre> </td> 
   <td> <pre><code>scan 'student'
scan 'student',{STARTROW =&gt; '1001', STOPROW  =&gt; '1002'}   #左闭右开
scan 'student',{STARTROW =&gt; '1001'}
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 查看表结构 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
</code></pre> </td> 
   <td> <pre><code>describe 'student'
desc 'student'             #效果相同
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 更新指定字段 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
</code></pre> </td> 
   <td> <pre><code>put 'student','1001','info:name','Nick'
put 'student','1001','info:age','100'  #  表明  rowkey  列族:列 值
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 查看指定行数据 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>get 'student','1001'
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 查看指定列族:列 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>get 'student','1001','info:name'
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 统计表行数 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>count 'student'
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 删除数据 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>deleteall 'student','1001'
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 删除rowkey的某一列 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>delete 'student','1002','info:sex'
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 清空数据 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
</code></pre> </td> 
   <td> <pre><code>truncate 'student'
#表的操作顺序为先disable，然后再truncate。
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 删除表 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>disable 'student'
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 表更表信息 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>alter 'student',{NAME=&gt;'info',VERSIONS=&gt;3} ##将info列族中的数据存放3个版本：
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

# Java API #

### 环境准备 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
11
</code></pre> </td> 
   <td> <pre><code>&lt;dependency&gt;
    &lt;groupId&gt;org.apache.hbase&lt;/groupId&gt;
    &lt;artifactId&gt;hbase-server&lt;/artifactId&gt;
    &lt;version&gt;1.3.1&lt;/version&gt;
&lt;/dependency&gt;

&lt;dependency&gt;
    &lt;groupId&gt;org.apache.hbase&lt;/groupId&gt;
    &lt;artifactId&gt;hbase-client&lt;/artifactId&gt;
    &lt;version&gt;1.3.1&lt;/version&gt;
&lt;/dependency&gt;
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

## HBaseAPI ##

### 获取Configuration对象 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
</code></pre> </td> 
   <td> <pre><code>public static Configuration conf;
static{
	//使用HBaseConfiguration的单例方法实例化
	conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "192.168.1.101"); ## 换成自己的ZK节点IP
conf.set("hbase.zookeeper.property.clientPort", "2181");
}
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 判断表是否存在 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
</code></pre> </td> 
   <td> <pre><code>public static boolean isTableExist(String tableName) throws MasterNotRunningException,
 ZooKeeperConnectionException, IOException{
//在HBase中管理、访问表需要先创建HBaseAdmin对象
	HBaseAdmin admin = new HBaseAdmin(conf);
	return admin.tableExists(tableName);
}
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 创建表 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
</code></pre> </td> 
   <td> <pre><code>public static void createTable(String tableName, String... columnFamily) throws
 MasterNotRunningException, ZooKeeperConnectionException, IOException{
	HBaseAdmin admin = new HBaseAdmin(conf);
	//判断表是否存在
	if(isTableExist(tableName)){
		System.out.println("表" + tableName + "已存在");
		//System.exit(0);
	}else{
		//创建表属性对象,表名需要转字节
		HTableDescriptor descriptor = new HTableDescriptor(TableName.valueOf(tableName));
		//创建多个列族
		for(String cf : columnFamily){
			descriptor.addFamily(new HColumnDescriptor(cf));
		}
		//根据对表的配置，创建表
		admin.createTable(descriptor);
		System.out.println("表" + tableName + "创建成功！");
	}
}
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 删除表 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
11
</code></pre> </td> 
   <td> <pre><code>public static void dropTable(String tableName) throws MasterNotRunningException,
 ZooKeeperConnectionException, IOException{
	HBaseAdmin admin = new HBaseAdmin(conf);
	if(isTableExist(tableName)){
		admin.disableTable(tableName);
		admin.deleteTable(tableName);
		System.out.println("表" + tableName + "删除成功！");
	}else{
		System.out.println("表" + tableName + "不存在！");
	}
}
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 插入数据 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
11
12
</code></pre> </td> 
   <td> <pre><code>public static void addRowData(String tableName, String rowKey, String columnFamily, String
 column, String value) throws IOException{
	//创建HTable对象
	HTable hTable = new HTable(conf, tableName);
	//向表中插入数据
	Put put = new Put(Bytes.toBytes(rowKey));
	//向Put对象中组装数据
	put.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column), Bytes.toBytes(value));
	hTable.put(put);
	hTable.close();
	System.out.println("插入数据成功");
}
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 删除多行数据 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
</code></pre> </td> 
   <td> <pre><code>public static void deleteMultiRow(String tableName, String... rows) throws IOException{
	HTable hTable = new HTable(conf, tableName);
	List&lt;Delete&gt; deleteList = new ArrayList&lt;Delete&gt;();
	for(String row : rows){
		Delete delete = new Delete(Bytes.toBytes(row));
		deleteList.add(delete);
	}
	hTable.delete(deleteList);
	hTable.close();
}
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 获取所有数据 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
</code></pre> </td> 
   <td> <pre><code>public static void getAllRows(String tableName) throws IOException{
	HTable hTable = new HTable(conf, tableName);
	//得到用于扫描region的对象
	Scan scan = new Scan();
	//使用HTable得到resultcanner实现类的对象
	ResultScanner resultScanner = hTable.getScanner(scan);
	for(Result result : resultScanner){
		Cell[] cells = result.rawCells();
		for(Cell cell : cells){
			//得到rowkey
			System.out.println("行键:" + Bytes.toString(CellUtil.cloneRow(cell)));
			//得到列族
			System.out.println("列族" + Bytes.toString(CellUtil.cloneFamily(cell)));
			System.out.println("列:" + Bytes.toString(CellUtil.cloneQualifier(cell)));
			System.out.println("值:" + Bytes.toString(CellUtil.cloneValue(cell)));
		}
	}
}
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 获取某一行数据 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
11
12
13
14
</code></pre> </td> 
   <td> <pre><code>public static void getRow(String tableName, String rowKey) throws IOException{
	HTable table = new HTable(conf, tableName);
	Get get = new Get(Bytes.toBytes(rowKey));
	//get.setMaxVersions();显示所有版本
    //get.setTimeStamp();显示指定时间戳的版本
	Result result = table.get(get);
	for(Cell cell : result.rawCells()){
		System.out.println("行键:" + Bytes.toString(result.getRow()));
		System.out.println("列族" + Bytes.toString(CellUtil.cloneFamily(cell)));
		System.out.println("列:" + Bytes.toString(CellUtil.cloneQualifier(cell)));
		System.out.println("值:" + Bytes.toString(CellUtil.cloneValue(cell)));
		System.out.println("时间戳:" + cell.getTimestamp());
	}
}
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 获取某一行指定“列族:列”的数据 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
11
12
13
</code></pre> </td> 
   <td> <pre><code>public static void getRowQualifier(String tableName, String rowKey, String family, String
 qualifier) throws IOException{
	HTable table = new HTable(conf, tableName);
	Get get = new Get(Bytes.toBytes(rowKey));
	get.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier));
	Result result = table.get(get);
	for(Cell cell : result.rawCells()){
		System.out.println("行键:" + Bytes.toString(result.getRow()));
		System.out.println("列族" + Bytes.toString(CellUtil.cloneFamily(cell)));
		System.out.println("列:" + Bytes.toString(CellUtil.cloneQualifier(cell)));
		System.out.println("值:" + Bytes.toString(CellUtil.cloneValue(cell)));
	}
}
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

## MapReduce ##

HBase的相关JavaAPI，可以实现伴随HBase操作的MapReduce过程，使用MapReduce将数据从本地文件系统导入到HBase的表中或者从HBase中读取一些原始数据后使用MapReduce做数据分析。

## Hive集成Hbase ##

编译:hive-hbase-handler-1.2.2.jar

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
</code></pre> </td> 
   <td> <pre><code>ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar  $HIVE_HOME/lib/hbase-common-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-server-1.3.1.jar $HIVE_HOME/lib/hbase-server-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-client-1.3.1.jar $HIVE_HOME/lib/hbase-client-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-protocol-1.3.1.jar $HIVE_HOME/lib/hbase-protocol-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-it-1.3.1.jar $HIVE_HOME/lib/hbase-it-1.3.1.jar
ln -s $HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar $HIVE_HOME/lib/htrace-core-3.1.0-incubating.jar
ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-hadoop-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.3.1.jar
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

hive-site.xml中修改zookeeper的属性，如下：

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
</code></pre> </td> 
   <td> <pre><code>&lt;property&gt;
	  &lt;name&gt;hive.zookeeper.quorum&lt;/name&gt;
 	 &lt;value&gt;datanode1,datanode2,datanode3&lt;/value&gt;
 	 &lt;description&gt;The list of ZooKeeper servers to talk to. This is only needed for read/write locks.&lt;/description&gt;
&lt;/property&gt;
&lt;property&gt;
 	 &lt;name&gt;hive.zookeeper.client.port&lt;/name&gt;
 	 &lt;value&gt;2181&lt;/value&gt;
  	&lt;description&gt;The port of ZooKeeper servers to talk to. This is only needed for read/write locks.&lt;/description&gt;
&lt;/property&gt;
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

### 案例 ###

创建hive关联表

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
11
12
</code></pre> </td> 
   <td> <pre><code>CREATE TABLE hive_hbase_emp_table(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_hive_emp_table_");
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

在Hive中创建临时中间表，用于load文件中的数据

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
</code></pre> </td> 
   <td> <pre><code>CREATE TABLE emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
row format delimited fields terminated by ',';
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

向Hive中间表中load数据

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>load data local inpath '/home/hadoop/emp.csv' into table emp;
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

通过insert命令将中间表中的数据导入到Hive关联HBase的那张表中

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>insert into table hive_hbase_emp_table select * from emp;
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

查看HIVE表

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>select * from hive_hbase_emp_table;
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

查看HBase表

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>scan ‘hbase_emp_table’
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

在HBase中已经存储了某一张表hbase\_emp\_table，然后在Hive中创建一个外部表来关联HBase中的hbase\_emp\_table这张表，使之可以借助Hive来分析HBase这张表中的数据。

Hive创建表

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
2
3
4
5
6
7
8
9
10
11
12
13
14
</code></pre> </td> 
   <td> <pre><code>CREATE EXTERNAL TABLE relevance_hbase_emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 
'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = 
":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno") 
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

关联后就可以使用Hive函数进行一些分析操作了

<table> 
 <tbody> 
  <tr> 
   <td> <pre><code>1
</code></pre> </td> 
   <td> <pre><code>select * from relevance_hbase_emp;
</code></pre> </td> 
  </tr> 
 </tbody> 
</table>

发表评论取消回复

表情：

评论列表（有 0 条评论，225人围观）

还没有评论，来说两句吧...

相关阅读

相关 HBASE shell 命令

`hbase shell` 命令进入 `hbase` 提供的 `shell` 工具，`help` 命令可以查看帮助。 1、查看有哪些表 hbase(main):00

本是古典何须时尚/ 2023年09月29日 18:35/ 0 赞/ 65 阅读

相关 Hbase Shell命令总结

1.create ‘student’,‘info’ 创建一个student表，并且有一个info列族 \[create ‘表名’,‘列族名1’,‘列族名2’,‘列族名N’\]

左手的ㄟ右手/ 2023年08月17日 15:28/ 0 赞/ 153 阅读

相关 HBase Shell常用的命令

场景 HBase在CentOS上分布集群安装： [https://blog.csdn.net/BADAO\_LIUMANG\_QIZHI/article/details

叁歲伎倆/ 2022年08月29日 00:28/ 0 赞/ 233 阅读

相关走向云计算之HBase的shell命令和JavaAPI详解

一、HBase的启动由上一篇可知，HBase是建立在Hadoop HDFS之上的，因此在启动HBase之前要确保已经启动了Hadoop，启动Hadoop的命令是：`st

叁歲伎倆/ 2022年06月14日 09:24/ 0 赞/ 215 阅读

相关 hbase_shell命令

进入shell： hbase shell 1. 查看共有哪些表：list 2. 查询表记录数：count ‘tablename’ 有三种方法：方法一： hbas

我就是我/ 2022年05月25日 06:46/ 0 赞/ 200 阅读

相关 shell和javaAPI两种方式创建hbase表并预分区

在hbase里面，如果我们建表不预分区，那么一个表的数据都会被一个region处理，如果数据过多就会执行region的split，如果数据量很大这样会很费性能，所以最好我们先根

本是古典何须时尚/ 2022年05月20日 04:59/ 0 赞/ 374 阅读

相关 [Hbase]HBASE SHELL常用命令

HBASE SHELL常用命令标签: `HBase Shell` -------------------- 1. 进入hbase shell console

布满荆棘的人生/ 2022年05月08日 00:06/ 0 赞/ 318 阅读

相关 HBase的Shell命令和JavaAPI

HBase的shell操作和JavaAPI的使用： Shell 表操作创建表 <table> <tbody> <tr> <td> <pr

刺骨的言语ヽ痛彻心扉/ 2022年04月25日 02:16/ 0 赞/ 226 阅读

相关 HBASE（二）—— HBase 的 JavaAPI

在 Windows 平台运行的话，需要修改 `C:\Windows\System32\drivers\etc` 目录下的 hosts 文件，将 HMaster 的主机名与 ip

雨点打透心脏的1/2处/ 2022年04月11日 10:07/ 0 赞/ 307 阅读

相关 HBase shell 命令介绍

HBase shell是HBase的一套命令行工具，类似传统数据中的sql概念，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，如果配置了HBas

清疚/ 2022年02月04日 02:57/ 0 赞/ 248 阅读