Hbase-H protobuf、优化、MR整合

野性酷女 2021-12-18 07:09 271阅读 0赞

# Hbase-protobuf、优化、MR整合 #

## 一、Hbase\_protobufuffer ##

Protocol Buffers 是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。

### protobuffer优化存储步骤： ###

#### 1 创建文件 ####

vi phone.proto

#### 2 在文件中写相关数据 ####

**—java项目包名、本类名、列的v顺序**

**—整合相同字段/去重**

package com.bjsxt.hbase;

message PhoneDetail

required string dnum = 1;

required string length = 2;

required string type = 3;

required string date = 4;

message dayPhoneDetail

repeated PhoneDetail dayPhoneDetail = 1;

#### 3 以 .java 文件导出 .proto 文件 ####

/usr/local/bin/protoc --java\_out=/root/data/ phone.proto

#### 4 将 .java文件导出后放入项目中 ####

com导出phone.java放入eclipse项目下

#### 5 将导入的文件中的类与eclipse类连接（具体代码项目是hbase01） ####

**—将文件的phone.java类PhoneDetail与原eclipse相关类(建表，加数据等等方法的类)进行连接（builder）**

#### 6 重写方法 ####

加载新数据的方法，例如添加方法insert3() 集合形式

数据解析的方法，get2() 集合形式

/**
    	 * proto插入方法	集合
    	 * 10个用户，每天产生1000条记录，每一天的所有数据放到一个集合中进行存储
    	 * @throws Exception 
    	 */
    	@Test
    	public void insert3() throws Exception{
    		List<Put> puts = new ArrayList<Put>();
    
    		for(int i = 0;i<10;i++){
    			String phoneNumber = getPhone("133");
    			String rowkey = phoneNumber+"_"+(Long.MAX_VALUE-sdf.parse(getDate2("20180529")).getTime());
    			Phone.dayPhoneDetail.Builder dayOfPhone = Phone.dayPhoneDetail.newBuilder();
    			for(int j=0;j<100;j++){
    				String dnum = getPhone("177");
    				String length = r.nextInt(99) + "";
    				String type =r.nextInt(2) + "";
    				String date = getDate("2018");
    				
    				Phone.PhoneDetail.Builder phoneDetail = Phone.PhoneDetail.newBuilder();
    				phoneDetail.setDate(date);
    				phoneDetail.setLength(length);
    				phoneDetail.setType(type);
    				phoneDetail.setDnum(dnum);
    				//dayOfPhone.setDayPhoneDetail(phoneDetail);
    				dayOfPhone.addDayPhoneDetail(phoneDetail);
    			}
    			Put put = new Put(rowkey.getBytes());
    			put.add("cf".getBytes(), "day".getBytes(), dayOfPhone.build().toByteArray());
    			puts.add(put);
    		}
    		table.put(puts);
    	}

/**
    		 * 数据解析	数据经过proto处理  get
    		 * @throws Exception
    		  * 控制台输出格式
    		 *  dnum: "17741563948"
    			length: "69"
    			type: "1"
    			date: "20180116061135"
    		 */
    		@Test
    		public void get2() throws Exception{
    			Get get = new Get("13399241216_9223370509276703807".getBytes());
    			Result result = table.get(get);
    			Phone.dayPhoneDetail parseFrom = Phone.dayPhoneDetail.parseFrom(CellUtil.cloneValue(result.getColumnLatestCell("cf".getBytes(), "day".getBytes())));
    			//DayOfPhone parseFrom = Phone.DayOfPhone.parseFrom(CellUtil.cloneValue(result.getColumnLatestCell("cf".getBytes(), "day".getBytes())));
    			int count = 0;
    			for (PhoneDetail pd : parseFrom.getDayPhoneDetailList()) {
    				System.out.println(pd);
    				count++;
    			}
    			System.out.println(count);
    		}

## 二、Hbase优化 ##

#### 1 HMaster ####

在其他节点搭建HMaster实现集群的高可用

#### 2 预分区 ####

每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高HBase性能。

默认阈值大小128M， 上限是10G 此时数据发生严重负载不均衡

hbase.hregion.memstore.flush.size默认值128MB。  
hbase.hregion.max.ilesize默认值为10GB。  
●如果初始时R= 1,那么Min(128MB,10GB)= 128MB,也就是说在第一个flush的时候就会触发分裂操作。  
●当R=2的时候Min(2\* 2\*128MB,10GB)=512MB ,当某个store file大小达到512MB的时候，就会触发分裂。  
●如此类推，当R=9的时候，store file 达到10GB的时候就会分裂，也就是说当R> =9的时候，store file达到10GB的时候就会分裂。

设定a,b,c3分区那分区结果是：负无穷–a分区 a分区–b分区 b分区–c分区 c分区–正无穷

1．手动设定预分区

hbase> create 'staff1','info','partition1',SPLITS => ['1000','2000','3000','4000']

2．生成16进制序列预分区

create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

3．按照文件中设置的规则预分区，会自动排序文件中的内容

创建splits.txt文件内容如下：
       aaaa   bbbb   cccc   dddd   
    
    然后执行：
    	create 'staff3','partition3',SPLITS_FILE => 'splits.txt'

4．使用 JavaAPI创建预分区

//自定义算法，产生一系列Hash散列值存储在二维数组中   
       yte[][] splitKeys = 某个散列值函数   
    //创建HBaseAdmin实例   
       HBaseAdmin hAdmin = new HBaseAdmin(HBaseConfiguration.create());   
    //创建HTableDescriptor实例   
       HTableDescriptor tableDesc = new HTableDescriptor(tableName);   
    //通过HTableDescriptor实例和散列值二维数组创建带有预分区的HBase表  	
    	hAdmin.createTable(tableDesc, splitKeys);

#### 3 表设计 ####

a 预先给出region数量，以便写数据写入时可以达到负载均衡（**预分区**）

b RowKey 尽量小 官方max=64k，70-100位  
 创建有规则有序  
 将经常需要批量读取的数据建立让rowkey连接  
 将经常需要作为条件查询的关键词组织到rowKey中

c 列族数尽量少2 --MS溢写带动其他MS溢写

d 数据尽量写到缓存中 列族.setInMemory(true)

e 设置表中数据的存储生命周期 eg:2天 setTimeToLive(2 \* 24 \* 60 \* 60)

f 小合并，大合并（大合并要关闭自动，手动编辑合并信息）

g 列族按照数据分类

i 合理设置compact参数值，关闭自动大合并，在低谷时间进行数据合并

#### 4 写表 ####

**关闭 Auto Flush，默认一写一更**

设置MemStore大小

关闭日志文件

批量写HTable.put(List)

多线程并发写

#### 5 读表 ####

多线程并发读

批量读 --list

扫描缓存 Scanner Caching 设置数量hbase.client.scanner.caching（默认一次一条）3种方式

读取列族的每一列，方便日后对应查找

Close ResultScanner 执行完scan操作后关闭，释放缓存

Blockcache --基于列族的读缓存 存放在SR中，只有一个，尽量大

#### 6 内存优化 ####

HBase操作过程中需要大量的内存开销，毕竟Table是可以缓存在内存中的，一般会分配整个可用内存的70%给HBase的Java堆。但是不建议分配非常大的堆内存，因为GC过程持续太久会导致RegionServer处于长期不可用状态，如果因为框架占用内存过高导致系统内存不足，框架一样会被系统服务拖死。

#### 7 基础优化 ####

1．允许在HDFS的文件中追加内容

hdfs-site.xml、hbase-site.xml
    
       属性：dfs.support.append   
       解释：开启HDFS追加同步，可以优秀的配合HBase的数据同步和持久化。默认值为true。

2．优化DataNode允许的最大文件打开数

hdfs-site.xml
    
       属性：dfs.datanode.max.transfer.threads   
       解释：HBase一般都会同一时间操作大量的文件，根据集群的数量和规模以及数据动作，设置为4096或者更高。默认值：4096

3．优化延迟高的数据操作的等待时间

hdfs-site.xml
    
       属性：dfs.image.transfer.timeout   
       解释：如果对于某一次数据操作来讲，延迟非常高，socket需要等待更长的时间，建议把该值设置为更大的值（默认60000毫秒），以确保socket不会被timeout掉。  
       Tips：MR运行时间自动判定job故障，默认值是7天

4．优化数据的写入效率

mapred-site.xml
    
       属性：   mapreduce.map.output.compress   mapreduce.map.output.compress.codec   	
       解释：开启这两个数据可以大大提高文件的写入效率，减少写入时间。第一个属性值修改为true，第二个属性值修改为：org.apache.hadoop.io.compress.GzipCodec或者其他压缩方式。

5．设置RPC监听数量

hbase-site.xml
    
       属性：hbase.regionserver.handler.count   
       解释：默认值为30，用于指定RPC监听的数量，可以根据客户端的请求数进行调整，读写请求较多时，增加此值。

6．优化HStore文件大小

hbase-site.xml
    
       属性：hbase.hregion.max.filesize   
       解释：默认值10737418240（10GB），如果需要运行HBase的MR任务，可以减小此值，因为一个region对应一个map任务，如果单个region过大，会导致map任务执行时间过长。该值的意思就是，如果HFile的大小达到这个数值，则这个region会被切分为两个Hfile。

7．优化hbase客户端缓存

hbase-site.xml
    
       属性：hbase.client.write.buffer   
       解释：用于指定HBase客户端缓存，增大该值可以减少RPC调用次数，但是会消耗更多内存，反之则反之。一般我们需要设定一定的缓存大小，以达到减少RPC次数的目的。

8．指定scan.next扫描HBase所获取的行数

hbase-site.xml
    
       属性：hbase.client.scanner.caching   
       解释：用于指定scan.next方法获取的默认行数，值越大，消耗内存越大。

9．flush、compact、split机制

当MemStore达到阈值，将Memstore中的数据Flush进Storefile；compact机制则是把flush出来的小文件合并成大的Storefile文件。split则是当Region达到阈值，会把过大的Region一分为二。

## 三、Hbase与MapReduce整合 ##

1 整合步骤大致和以往W-R相同但是有几点注意

a	读取数据主要用Run的路径去读数据
    	在Run类中要连接hdfs和hbase(zk)
    	此时指定的Reduce并非往常job.setReducerClass(xxooReducer.class);
    	TableMapReduceUtil.initTableReducerJob("表名", 指定的Reducer, job, null, null, null, 	null, false);
    b	读取数据后进行Map和Reduce的操作
    	Map	与平常一样
    	Reduce	继承TableReducer<Text, IntWritable, ImmutableBytesWritable>
    c	在reduce以put方法写数据到Hbase上
    	Put put = new Put(key.toString().getBytes());
    	put.add("列族名".getBytes(), "列族名".getBytes(), String.valueOf(sum).getBytes());
    	context.write(null, put);

## 四、Hive & Hbase ##

1．Hive – 分析框架

(1) 数据仓库

Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询

(2) 用于数据分析、清洗

Hive适用于离线的数据分析和清洗，延迟较高

(3) 基于HDFS、MapReduce

Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行

2．HBase – 存储框架

(1) 数据库

是一种面向列存储的非关系型数据库

(2) 用于存储结构化和非结构化的数据

适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作

(3) 基于HDFS

数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进行管理

(4) 延迟较低，接入在线业务使用

面对大量的企业数据，HBase可以直线单表大量数据的存储，同时提供了高效的数据访问速度

## 五、Hbase & HDFS ##

hdfs 和 hbase 各自使用场景。  
整理总结：  
首先一点需要明白：Hbase 是基于 HDFS 来存储的。  
HDFS：  
 1、一次性写入，多次读取。  
 2、保证数据的一致性。  
 3、主要是可以部署在许多廉价机器中，通过多副本提高可靠性，提供了容错和恢复机制。  
Hbase：  
 1、瞬间写入量很大，数据库不好支撑或需要很高成本支撑的场景。  
 2、数据需要长久保存，且量会持久增长到比较大的场景  
 3、hbase 不适用与有 join，多级索引，表关系复杂的数据模型  
 4、大数据量 （100s TB 级数据） 且有快速随机访问的需求。  
 如：淘宝的交易历史记录。数据量巨大无容置疑，面向普通用户的请求必然要即时响应。  
 5、容量的优雅扩展  
 大数据的驱使，动态扩展系统容量的必须的。例如：webPage DB。  
 6、业务场景简单，不需要关系数据库中很多特性（例如交叉列、交叉表，事务，连接等等）  
 7、优化方面：合理设计 rowkey。