使用StreamSets将MySQL中变化的数据实时的导入到HBase中

痛定思痛。 2021-08-30 17:15 729阅读 0赞

在之前的博客中，小编介绍了如何在CDH中安装StreamSets，文章链接为：[《CDH6.3.1中安装StreamSets3.16.0》][CDH6.3.1_StreamSets3.16.0]。透过这个文章名称也能够看出来小编使用的CDH版本以及安装的StreamSets的版本了，这里就不多说了，本文主要介绍如何使用StreamSets实时的将MySQL中的数据导入到HBase中，主要从以下三个方面进行讲解：一、直接将数据实时的导入到HBase；二、选取部分字段进行实时导入；三、使用SQL查询的方式将MySQL中的数据实时的导入到HBase中。

--------------------

#  一、环境准备 #

## 1.1 修改MySQL配置文件  ##

在进行数据导入之前需要提前将MySQL的Binlog日志功能打开，修改my.cnf文件，添加以下配置：

server-id  = 1739
    log-bin = /usr/local/mysql/arch/mysql-bin
    binlog_format = ROW

修改完成后，重启MySQL：

systemctl restart mysql

**注意：如果原先配置文件中已经有了以上的配置，则不需要做改变。**

## 1.2 上传MySQL驱动包 ##

将MySQL的驱动包上传至相关目录下：

目录1：
    /opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/streamsets-libs/streamsets-datacollector-mysql-binlog-lib/lib
    目录2：
    /opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/streamsets-libs/streamsets-datacollector-jdbc-lib/lib

建议这两个目录都上传一份，以免后期报找不到驱动的错误。

# 二、直接将数据实时的导入到HBase #

## 1、在MySQL中新建一个名为student的表 ##

mysql> show create table student;
    +---------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | Table   | Create Table                                                                                                                                                                                           |
    +---------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | student | CREATE TABLE `student` (
      `id` varchar(11) DEFAULT NULL,
      `name` varchar(20) DEFAULT NULL,
      `age` varchar(20) DEFAULT NULL,
      `score` varchar(20) DEFAULT NULL
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 |
    +---------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    1 row in set (0.00 sec)

## 2、在HBase中新建命名空间和表 ##

--创建命名空间
    create_namespace 'ljs'
    --创建表
    create 'ljs:student','info'

## 3、创建StreamSets的Pipeline ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70][]

## 4、选择Origins类别，搜索MySQL Binary Log ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1][]

## 5、配置MySQL Binary Log ##

（1）在“Properties”面板的“General”选项卡上，配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3][]

（2）在“MySQL Binary Log”选项卡上，配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 5][]

（3）在“Credentials”选项卡上，配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 7][]

（4）在“Advanced”选项卡上，配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 9][]

到此MySQL Binary Log的配置完成。

## 6、添加表过滤的Stream Selector ##

这里添加一个“Stream Selector”主要是用于过滤我们需要处理的表。

（1）在“Properties”面板的“General”选项卡上，配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 11][]

（2）在“Conditions”选项卡上， 为要创建的每个条件单击“添加”图标。可以使用简单或批量编辑模式来添加条件。每个新条件都会创建一个对应的输出位置，无法编辑或删除默认流的条件。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 12][]

## 7、添加回收站处理“Stream Selector”中“default”类型的数据 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 13][]

Trash目标端没有配置选项。

## 8、添加HBase处理模块 ##

（1）在“Properties”面板的“General”选项卡上，配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 14][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 15][]

（2）在“HBase”选项卡上，配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 16][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 17][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 18][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 19][]

## 9、测试 ##

（1）创建完成后，可以点击下图图标监测是否有问题。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 20][]

（2）如果连接没问题，可以启动Pipeline。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 21][]

（3）向MySQL中插入几条测试数据：

mysql> insert into student values('1','xzw','25','99');
    Query OK, 1 row affected (0.00 sec)
    
    mysql> insert into student values('2','yxy','25','98');
    Query OK, 1 row affected (0.00 sec)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 22][]

此处可以很清楚的看到有两条数据input和output。查看HBase中的数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 23][]

（4）向MySQL中执行update：

mysql> update student set name='lyq' where id = '2';
    Query OK, 1 row affected (0.00 sec)
    Rows matched: 1  Changed: 1  Warnings: 0

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 24][]

查看HBase中的数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 25][]

# 三、选取部分字段进行实时导入HBase #

## 1、在MySQL中新建另一个表 ##

mysql> show create table stu;
    +-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | Table | Create Table                                                                                                                                                                                                                                                            |
    +-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | stu   | CREATE TABLE `stu` (
      `id` varchar(11) DEFAULT NULL,
      `name` varchar(20) DEFAULT NULL,
      `age` varchar(20) DEFAULT NULL,
      `fav` varchar(20) DEFAULT NULL,
      `addr` varchar(20) DEFAULT NULL,
      `score` varchar(20) DEFAULT NULL
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 |
    +-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    1 row in set (0.00 sec)

## 2、同样的，选择Origins类别为MySQL Binary Log ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 26][]

## 3、选择Field Remover ##

（1）在“Properties”面板的“General”选项卡上，配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 27][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 28][]

（2）在“Remove”选项卡上，配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 29][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 30][]

此处，选择的是过滤掉的字段列表。

## 4、同样的，添加HBase处理模块 ##

![20200614161917387.png][]

## 5、测试 ##

同样的，先测试是都能够连接通过，通过后，启动Pipeline。向MySQL中插入几条数据：

mysql> insert into stu values('20','test','23','84','12','12');
    Query OK, 1 row affected (0.00 sec)
    
    mysql> insert into stu values('15','xzw','23','84','12','12');
    Query OK, 1 row affected (0.00 sec)

查看HBase中的结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 31][]

此时，更新MySQL中的数据内容：

mysql> update stu set name = 'yxy' where id = '20';
    Query OK, 1 row affected (0.00 sec)
    Rows matched: 1  Changed: 1  Warnings: 0

再次查看HBase中的数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 32][]

# 四、使用SQL查询的方式将MySQL中的数据实时的导入到HBase中 #

## 1、源端选择“JDBC Query Consumer” ##

（1）在“Properties”面板的“General”选项卡上，配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 33][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 34][]

（2）在“JDBC”选项卡上，配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 35][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 36][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 37][]

（3）要与JDBC连接字符串分开输入JDBC凭据，请在“Credentials”选项卡上配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 38][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 39][]

（4）要从Microsoft SQL Server处理变更捕获数据，请在“Change Data Capture”选项卡上，配置以下属性以按事务对行进行分组。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 40][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 41][]

（5）使用低于4.0的JDBC版本时，在“Legacy Drivers”选项卡上，可以选择配置以下属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 42][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 43][]

（6）在“Advanced”选项卡上，可以选择配置高级属性。这些属性的默认值在大多数情况下都应该起作用。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 44][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 45][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 46][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 47][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 48][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 49][]

## 2、同样的，添加HBase处理模块 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 50][]

## 3、测试 ##

（1）跟之前一样，先测试一下看是否能够连通，如果没问题的话，点击运行，向MySQL中插入几条数据：

insert into stu values('20','yxy','23','84','12','12');
    insert into stu values('15','xzw','23','84','12','12');

查看HBase中的数据情况：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 51][]

此时，更新其中的某条数据:

mysql> update stu set name = 'lyq' where id = '20';
    Query OK, 2 rows affected (0.00 sec)
    Rows matched: 2  Changed: 2  Warnings: 0

再次查看HBase中的数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 52][]

到这里，本文就接近尾声了，在此过程中，你们都遇到了什么问题，欢迎留言，让我看看你们遇到了什么问题~

[CDH6.3.1_StreamSets3.16.0]: https://blog.csdn.net/gdkyxy2013/article/details/106730617
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70]: /images/20210726/5e573d42c2e14ac4ba1bfcf7cad5bf8c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1]: /images/20210726/d425847e5d3445f59c6376ed555bf662.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2]: /images/20210726/09aed2a7e7c540ef999408854bcdb2ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3]: /images/20210726/567c004a88b543d4b82be501fba6b083.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4]: /images/20210726/bd2039c1c2744297b9e833055c93fbe0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 5]: /images/20210726/45ff70a4951c4d82a3c3887fecc9c6cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 6]: /images/20210726/923cbe0b10ec4493a7e0fbcdc8004a04.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 7]: /images/20210726/32a93c1c9ef9483fa9f54007fc79b9c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 8]: /images/20210726/a1f9034f70054a2e95d3f480ce0b8823.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 9]: /images/20210726/64c8ee91b116495186092f3223634fd4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 10]: /images/20210726/1252da1d6f4b4bad88563583faefdfd6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 11]: /images/20210726/c9f90c9155e94728baae0fe7e46b27f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 12]: /images/20210726/09e87e7209bf4cc9ac851a1a0af37599.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 13]: /images/20210726/6d26de3260d0423dbc5ae9e7745298d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 14]: /images/20210726/68f089f3d2ce4e93b1a3fd3383558e11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 15]: /images/20210726/d60fb6b88efa497eb09d492dc389a397.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 16]: /images/20210726/acffbf7520dc42829fc726857adb3a10.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 17]: /images/20210726/4428e072aa564fef8f597ac03edd355a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 18]: /images/20210726/fb2d33b374e14189ad6f8d16bc61772b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 19]: /images/20210726/83f6a65060704e7eb48baf29651e97c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 20]: /images/20210726/a52e4c4b896e441db7bf282ca2a0c133.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 21]: /images/20210726/20c7279298ed4af6983923ed181a898d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 22]: /images/20210726/a43efaefcc9c4541be2ccc79dc72c936.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 23]: /images/20210726/46f20cb575ef4c83826bf66b5b3df1b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 24]: /images/20210726/7fe62f27c8394092a879da559614843a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 25]: /images/20210726/46d417f50b3c40dcafec5c1b627c517d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 26]: /images/20210726/824662bef4ce4e4281d88d5c154ba782.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 27]: /images/20210726/d44f75083f344ed18142e2724ef6919c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 28]: /images/20210726/6813411abe184be0908b544364e9273c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 29]: /images/20210726/4b02a3de11ce4d4383881ff12bb63e9f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 30]: /images/20210726/93da9564611943798c41447d1afb6643.png
[20200614161917387.png]: /images/20210726/5fcc66a417a24f48a6873084a85f1fa2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 31]: /images/20210726/36bf141b020848e8bd3b9583294f50b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 32]: /images/20210726/7225ec97052541e2882a5e69defd0454.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 33]: /images/20210726/0f718583fe8940bea83a4f72cff8f895.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 34]: /images/20210726/ab83363bd2b34377a896a1a69224efee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 35]: /images/20210726/a564b706d24f49d3a23545bc7f0a9f41.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 36]: /images/20210726/f7536c0f84a84998a2b8d586fc2ef6a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 37]: /images/20210726/f975a258c26f4281ae2b6cfcba17170f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 38]: /images/20210726/60423ba5e72a4aaab18f17a2968693a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 39]: /images/20210726/1ec1e8e3bc57480a8dfc3987ee0135b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 40]: /images/20210726/826a37f83f17491886e781ed032d4811.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 41]: /images/20210726/a76bd51dfc754a98b698177c04bd3959.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 42]: /images/20210726/3ee553fbf378420996d911cc94a53f87.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 43]: /images/20210726/9de825f8456d4be098e330b8161d5138.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 44]: /images/20210726/0ff0645ac14243849e2c47202eef9cc7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 45]: /images/20210726/6712dab5eb444e14beddd00a2f160df4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 46]: /images/20210726/0f7b5afe0d0c41169be4ceb3515048d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 47]: /images/20210726/90c06311395349b39b14da20d4fa4f39.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 48]: /images/20210726/e536009469224fe3b9a85b52ce0dd886.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 49]: /images/20210726/d63570f9c62a41ddb578843428d78f97.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 50]: /images/20210726/0a04317fece7442da59712ec191fef85.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 51]: /images/20210726/495f329054ea41deb968b59e6707e243.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 52]: /images/20210726/22d4ee9a07334ac4842739c47979ccd5.png

发表评论取消回复

表情：

评论列表（有 0 条评论，729人围观）

还没有评论，来说两句吧...

相关阅读

相关使用BulkLoading将数据导入HBase

[https://www.jianshu.com/p/7e05a223c18c][https_www.jianshu.com_p_7e05a223c18c] [https:/

约定不等于承诺〃/ 2023年06月13日 04:46/ 0 赞/ 30 阅读

相关如何将mysql的数据导入到hive中？

先将mysql的数据导入到文件中，再将文件导入到hdfs中。再将hdfs的数据插入到表中转载于:https://www.cnblogs.com/lidapengwww/p/

冷不防/ 2023年06月05日 12:37/ 0 赞/ 20 阅读

相关使用datax将hive中的数据导入到clickhouse

{ "core": { "transport": { "channel": {

我不是女神ヾ/ 2023年01月19日 04:54/ 0 赞/ 804 阅读

相关 java excel mysql_Java将excel中的数据导入到mysql中

我们在实际工作中的一些时候会需要将excel中的数据导入数据库，如果你的数据量成百上千甚至更多，相信一点点ctrlc、ctrlv也不是办法，这里我们以mysql数据库为例，将e

素颜马尾好姑娘i/ 2023年01月11日 03:44/ 0 赞/ 207 阅读

相关将mysql中的数据导入到sqlite3中

不知道如何创建数据库的可以先看这篇： [https://blog.csdn.net/blackei/article/details/80403272][https_blog.

朴灿烈づ我的快乐病毒、/ 2022年05月24日 05:26/ 0 赞/ 715 阅读

相关 logstash将mysql中的数据同步到es中，增量实时保存

编写demo.conf input { jdbc { type => "student" jdbc_driver_libr

小灰灰/ 2022年04月11日 02:25/ 0 赞/ 317 阅读

相关将MySql上的数据导入到Redis中

> 一，问题这段时间学完了Redis，因为Redis是基于内存的数据库，它查询数据的速度比查询mysql要快，因此，下一步，我就需要将mysql上的数据导入到Redis中。

女爷i/ 2022年03月31日 12:42/ 0 赞/ 1225 阅读

相关 Mysql 到 Hbase 数据如何实时同步，强大的 Streamsets 告诉你

很多情况大数据集群需要获取业务数据，用于分析。通常有两种方式：业务直接或间接写入的方式业务的关系型数据库同步到大数据集群的方式第一种可以是在业务中编写代码

布满荆棘的人生/ 2022年03月22日 05:42/ 0 赞/ 429 阅读

相关使用Python将Excel中的数据导入到MySQL

工具 Python 2.7 xlrd MySQLdb 安装 Python 对于不同的系统安装方式不同，Windows平台有exe安装包，Ub

古城微笑少年丶/ 2022年03月09日 00:22/ 0 赞/ 490 阅读

相关使用StreamSets将MySQL中变化的数据实时的导入到HBase中

在之前的博客中，小编介绍了如何在CDH中安装StreamSets，文章链接为：[《CDH6.3.1中安装StreamSets3.16.0》][CDH6.3.1_S

痛定思痛。/ 2021年08月30日 17:15/ 0 赞/ 730 阅读