大数据从入门到实战 - HBase开发：表的扫描与扫描的缓存和批量处理

左手的ㄟ右手 2023-01-06 04:29 190阅读 0赞

### 大数据从入门到实战 - HBase开发：表的扫描与扫描的缓存和批量处理 ###

*  一、关于此次实践
 *   *  1、实战简介
     *  2、全部任务
 *  二、实践详解
 *   *  1、第1关：批量处理
     *  2、第2关：扫描表中所有的数据
     *  3、第3关：在扫描中使用缓存和批量参数

***叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！***  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70_pic_center]

# 一、关于此次实践 #

## 1、实战简介 ##

当我们不知道一张HBase表中有多少个数据，但是想获取这张表中所有的数据的时候就可以使用表的扫描工具来完成了；

不过在扫描表的过程中，由于会发送RPC请求，所以其中又会涉及到性能问题，如果我们采用低效的方式，势必会造成很大的资源浪费；

本次实训我们来学习如何进行表的扫描和扫描的缓存和批量处理。

实验环境：
    JDK8.0
    Hadoop2.7
    HBase2.1.1

## 2、全部任务 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70]

# 二、实践详解 #

## 1、第1关：批量处理 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 1]

package step1;
    import java.util.ArrayList;
    import java.util.List;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.hbase.Cell;
    import org.apache.hadoop.hbase.CellUtil;
    import org.apache.hadoop.hbase.HBaseConfiguration;
    import org.apache.hadoop.hbase.TableName;
    import org.apache.hadoop.hbase.client.*;
    import org.apache.hadoop.hbase.client.coprocessor.Batch;
    import org.apache.hadoop.hbase.util.Bytes;
    public class Task { 
     public Object[] batchOp(String tablename) throws Exception { 
       /********* Begin *********/
       Configuration conf = HBaseConfiguration.create();
       Connection conn = ConnectionFactory.createConnection(conf);
       Table table = conn.getTable(TableName.valueOf(tablename));
       List<Row> rows = new ArrayList<>();
       //删除操作
       Delete delete = new Delete(Bytes.toBytes("row1"));
       Delete delete2 = new Delete(Bytes.toBytes("row2"));
       rows.add(delete);
       rows.add(delete2);
       //获取操作
       Get get = new Get(Bytes.toBytes("row3"));
       Get get2 = new Get(Bytes.toBytes("row10"));
       rows.add(get);
       rows.add(get2);
       //定义结果数组长度
       Object[] results = new Object[rows.size()];
       table.batch(rows, results);//这是一个同步的操作，批量操作的结果将会在操作之后放在results中
       //delete和put操作的结果为NONE 即没有结果
       return results;
       /********* End *********/
     }
    }

**测评**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 2]

## 2、第2关：扫描表中所有的数据 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 3]

package step2;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.hbase.Cell;
    import org.apache.hadoop.hbase.CellUtil;
    import org.apache.hadoop.hbase.HBaseConfiguration;
    import org.apache.hadoop.hbase.TableName;
    import org.apache.hadoop.hbase.client.*;
    public class Task { 
     public void scanTable(String tablename) throws Exception { 
       /********* Begin *********/
       Configuration conf = HBaseConfiguration.create();
       Connection conn = ConnectionFactory.createConnection(conf);
       Table table = conn.getTable(TableName.valueOf(tablename));
       Scan scan = new Scan();
       ResultScanner scanner = table.getScanner(scan);
       for(Result result : scanner){ 
         for (Cell cell : result.listCells()) { 
           System.out.println(new String(CellUtil.cloneValue(cell),"utf-8"));
         }
       } 
       /********* End *********/
     }
    }

**评测**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 4]

## 3、第3关：在扫描中使用缓存和批量参数 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 5]

package step3;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.hbase.Cell;
    import org.apache.hadoop.hbase.CellUtil;
    import org.apache.hadoop.hbase.HBaseConfiguration;
    import org.apache.hadoop.hbase.TableName;
    import org.apache.hadoop.hbase.client.*;
    import org.apache.hadoop.hbase.util.Bytes;
    public class Task { 
     public void scanTable(String tablename) throws Exception { 
       /********* Begin *********/
       Configuration conf = HBaseConfiguration.create();
       Connection conn = ConnectionFactory.createConnection(conf);
       Table table = conn.getTable(TableName.valueOf(tablename));
       Scan scan = new Scan();
       scan.setCaching(200);
       scan.setStartRow(Bytes.toBytes("1"));//设置从row3开始扫描
       scan.setStopRow(Bytes.toBytes("row199"));
       ResultScanner scanner = table.getScanner(scan);
       for (Result result : scanner) { 
         for(Cell cell :result.listCells()) { 
           System.out.println(new String(CellUtil.cloneValue(cell),"utf-8"));
         }
       }
       /********* End *********/
     }
    }

**评测**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 6]

**Ending！**  
更多课程知识学习记录随后再来吧！

就酱，嘎啦！

![在这里插入图片描述][20200207152559955.png_pic_center]

注：  
人生在勤，不索何获。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/185d1571c2ae42e29dd87f33e66260ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70]: /images/20221119/30508b1460bc48afbf54f10f337a19cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 1]: /images/20221119/99f1b0ba4ef444a9b9eff18f4be098ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 2]: /images/20221119/781a1ee75cf444908d2ea1a900706a4c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 3]: /images/20221119/72b1454ba01e470eac3502625e5ba774.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 4]: /images/20221119/7dc7d43137ab4d4daa5c27c818a9d297.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 5]: /images/20221119/7f7ca349d4ed4e9c80045d0fd72dce7c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 6]: /images/20221119/cf786826ad6d4732b71fe8d03c268e28.png
[20200207152559955.png_pic_center]: /images/20221119/8382fdab78bb4c8bb972a3b62688b8f3.png