solr快速上手：配置从mysql同步数据（五）

深藏阁楼爱情的钟 2024-03-16 11:43 8阅读 0赞

## 0. 引言 ##

上一节我们已经配置了新的索引，但是数据还是手动添加的，并没有实现自动从数据库同步，所以这一节，继续来实现从mysql同步数据到solr

[solr快速上手：solr简介及安装（一）][solr_solr]

[solr快速上手：核心概念及solr-admin界面介绍（二）][solr_solr-admin]

[solr快速上手：managed-schema标签详解（三）][solr_managed-schema]

[solr快速上手：创建核心/索引/core（四）][solr_core]

## 1. 数据准备 ##

1、要配置数据库同步，首先我们要确保我们`managed-schema`或者`schema.xml`配置文件中配置的字段和数据库中是能够对应的上的

订单表：  
![在这里插入图片描述][7752e8d76ab045ca822db4d4966183ce.png]  
为了模拟关联表同步的效果，我们再创建一张标签子表：  
订单标签表  
![在这里插入图片描述][9995caa752a741cdb7cc604e4b57a4b7.png]

CREATE TABLE `orders` (
      `id` bigint NOT NULL,
      `order_no` varchar(50) COLLATE utf8mb4_general_ci DEFAULT NULL,
      `product_name` varchar(50) COLLATE utf8mb4_general_ci DEFAULT NULL,
      `create_time` datetime DEFAULT NULL,
      `create_user` varchar(50) COLLATE utf8mb4_general_ci DEFAULT NULL,
      `remarks` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
      `status` int DEFAULT NULL,
      `address` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;
    
    
    CREATE TABLE `orders_label` (
      `id` int NOT NULL,
      `name` varchar(50) COLLATE utf8mb4_general_ci DEFAULT NULL,
      `order_id` bigint DEFAULT NULL,
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

再准备一些数据

# 订单表
    INSERT INTO `orders` (`id`, `order_no`, `product_name`, `create_time`, `create_user`, `remarks`, `status`, `address`) VALUES (1, '202306010001', '苹果', '2023-06-01 23:22:26', 'mike', '送货上门，不想下楼', 1, '贵阳市观山湖xxx路');
    INSERT INTO `orders` (`id`, `order_no`, `product_name`, `create_time`, `create_user`, `remarks`, `status`, `address`) VALUES (2, '202306010002', '凤梨', '2023-05-09 23:23:12', 'lili', '挑大个的', 1, '贵阳市花溪区ttt路');
    INSERT INTO `orders` (`id`, `order_no`, `product_name`, `create_time`, `create_user`, `remarks`, `status`, `address`) VALUES (3, '202306010003', '草莓', '2023-06-01 23:24:20', 'ben', '要红的，注意新鲜', 2, '无锡市滨湖区yyy路');
    
    # 标签表
    INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (1, '送货上门', 1);
    INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (2, '生鲜', 1);
    INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (3, '24小时', 1);
    INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (4, '生鲜', 2);
    INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (5, '保质服务', 2);
    INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (6, '生鲜', 3);
    INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (7, '24小时', 3);

## 2. 数据同步配置文件详解 ##

我们实现数据同步的核心在于配置同步配置文件，该配置文件的核心标签和属性如下

*  dataSource 标签

> 用于声明同步的数据库地址、账号、密码、驱动器等连接信息  
> 其中batchSize表示每次读取数据库的数量，-1表示不限制，如果同步的数据量较大，可以设置每次读取的限制，防止solr一次性建立索引数据过多导致的内存溢出问题  
> dataSource标签可以配置多个，用于声明多个数据源，比如需要跨库链接查询时使用，可以通过name标签声明数据库名称

*  document 标签

> document标签用于声明主要文档配置，核心子标签是entity

*  entity 标签

> entity标签就是用来声明我们要同步的sql以及字段映射的，核心的属性如下
> 
>  *  name 定义对应的solr中索引/核心名称
>  *  pk 主键字段名称，确保实体每一条记录唯一
>  *  dataSource 数据源，如果只有一个数据源时可以不用配置，与dataSource标签中的name属性对应
>  *  query 定义全量同步时的查询sql
>  *  deltaImportQuery 定义增量同步时的查询sql，自带的$\{dataimporter.delta.id\}属性表示正在同步的数据的主键
>  *  deltaQuery 定义需要增量同步的id,  d a t a i m p o r t e r . d e l t a . i d 的值也就来源于此， \{dataimporter.delta.id\}的值也就来源于此， dataimporter.delta.id的值也就来源于此，\{dataimporter.last\_index\_time\}表示上一次完成增量同步的时间，由系统自动记录生成

<entity name="orders"
                    query="select id,order_no,product_name,create_time,create_user,remarks,status,address from orders"
                    deltaImportQuery="select id,order_no,product_name,create_time,create_user,remarks,status,address from orders WHERE id='${dataimporter.delta.id}'"
                    deltaQuery="SELECT id FROM orders WHERE create_time >= '${dataimporter.last_index_time}'">
                <field name="id" column="id"/>
                <field name="order_no" column="order_no"/>
                <field name="product_name" column="product_name"/>
                <field name="create_time" column="create_time"/>
    </entity>

## 3. 实操 ##

1、修改`solrconfig.xml`配置文件，配置数据库同步配置文件

# 进入solr安装目录
    cd /data/solr-8.2.0
    # orders是上一节创建的索引/核心 文件夹
    vim server/solr/orders/solrconfig.xml

添加如下内容

<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*\.jar" />
      <lib dir="${solr.install.dir:../../../..}/dist/" regex="mysql-connector-java-.*\.jar" />
    
      <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
         <lst name="defaults">
            <str name="config">data-config.xml</str>
         </lst>
      </requestHandler>

2、在`server/solr/orders`下创建`data-config.xml`配置文件

这里需要注意，如果要配置父子表同步时再定义一个`<entity>`标签即可，其中的`<field>`中的`name`要与`maneged-schema`文件中定义的`labels`保持一致，具体如下

完整配置文件：

<?xml version="1.0" encoding="UTF-8" ?>
    
    <dataConfig>
        <dataSource driver="com.mysql.cj.jdbc.Driver"
                    url="jdbc:mysql://192.168.244.50:3306/test?useUnicode=true&characterEncoding=UTF8&autoReconnect=true&zeroDateTimeBehavior=convertToNull&serverTimezone=UTC&tinyInt1isBit=false"
                    user="root" password="123456" batchSize="-1"/>
    
        <document>
            <entity name="orders"
                    query="select id,order_no,product_name,create_time,create_user,remarks,status,address from orders"
                    deltaImportQuery="select id,order_no,product_name,create_time,create_user,remarks,status,address from orders WHERE id='${dataimporter.delta.id}'"
                    deltaQuery="SELECT id FROM orders WHERE create_time >= '${dataimporter.last_index_time}'">
                <field name="id" column="id"/>
                <field name="order_no" column="order_no"/>
                <field name="product_name" column="product_name"/>
                <field name="create_time" column="create_time"/>
                <field name="create_user" column="create_user"/>
                <field name="remarks" column="remarks"/>
                <field name="status" column="status"/>
                <field name="address" column="address"/>
                <entity name="lables" pk="id" 
                  query="select name from orders_label where order_id = '${orders.id}'">
                    <field name="labels" column="name"/>
                </entity>
             </entity>
        </document>
    </dataConfig>

3、在`server/solr/orders/conf/`下创建`dataimport.properties`配置文件

mkdir -p /data/solr-8.2.0/server/solr/orders/conf/
    vim /data/solr-8.2.0/server/solr/orders/conf/dataimport.properties

配置内容为最后同步的时间，如果不填将会自动生成

orders.last_index_time=2023-06-04 02\:25\:05

4、添加`jar`包，因为我演示的数据库是mysql8.0，所以需要引入`com.mysql.cj.jdbc.Driver`的驱动器jar包，同时还要引入同步用的jar包`solr-dataimporthandler*`

（1）将`solr安装路径/dist`目录下的两个`solr-dataimporthandler*` jar包复制到`server/solr-webapp/WEB-INF/lib`下

cd /data/solr-8.2.0 
    cp dist/solr-dataimporthandler-* server/solr-webapp/webapp/WEB-INF/lib/

（2）将数据库驱动jar包（自己下载）也添加到`server/solr-webapp/webapp/WEB-INF/lib`下

> 我这里因为采用的是mysql8.0，所以传输8.0版本的驱动器jar包

![在这里插入图片描述][e35723aa6b9a4145a298d23de2d5ee14.png]

5、重启 solr

6、在solr-admin管理页面，`Dataimport`菜单中执行同步操作，选择`full-import`，第一次同步进行一次全量同步

![在这里插入图片描述][bffbb321711c447f9f9e660585a4afbf.png]

7、如果发现没有同步成功，可以在`Logging`页面查看日志，点击具体的日志即可查看详情，如下所示，根据具体日志进行问题排查

同时也可在服务端日志`server/logs/solr.log`中查询详细报错堆栈信息

![在这里插入图片描述][bd8375f2075e4feab0f6f4ddd136e487.png]

8、同步成功后，在输出页面会有绿色的标识，并告知同步了多少条数据

![在这里插入图片描述][09d911f08bde4e489e700b1df1d247fa.png]

9、在`Query`菜单，查询全部数据，发现同步成功！  
![在这里插入图片描述][65c367e23b7248de8b9dc07504df6104.png]

10、数据库新增一条数据

![在这里插入图片描述][03074157e5c24cab87c9a5237d5a5d5b.png]

11、在solr-admin中点击`delta-import`进行增量同步，结果显示同步了一条新增数据

![在这里插入图片描述][a31f877871d54b33941fe1abfbcde547.png]

查询可以看到新增的数据

![在这里插入图片描述][9202507ffefe4797ae2e77b28d1037a8.png]

至此，我们全量和增量同步都成功了！

## 4. 常见报错 ##

### 1. Error creating document : SolrInputDocument ###

问题：

> Error creating document : SolrInputDocument(fields: \[order\_no=202306010001, address=贵阳市观山湖xxx路, create\_time=2023-06-01 23:22:26.0, id=1, create\_user=mike, product\_name=苹果, remarks=送货上门，不想下楼, status=1, *version*=1767733224539160576\])

解决：  
从问题可以看到同步数据时出现了问题，没有写入数据，这一般是字段配置的问题，但是如果仅仅只是猜测的话，可能会花费较多的时间，这时候我们可以查看solr服务端日志，了解具体的报错详情

tail -500f /data/solr-8.2.0/server/logs/solr.log

![在这里插入图片描述][9d037f7a52bb451e83b5036a953041ff.png]  
从上述日志可以看到是因为有一个必填字段`labels`，但是没有传值进来，导致新增数据失败

修改`managed-schema`或者`schema.xml`文件，将该字段设置为非必填即可

![在这里插入图片描述][e861be264c6f46128ccfbce177d3b2e7.png]  
修改完重启solr，再重新同步即可

### 2. Could not write property file ###

问题：  
solr-admin中查看Logging，发现报错`DocBuilder Could not write property file`  
解决：

1、查看详细的服务日志

tail -500f /data/solr-8.2.0/server/logs/solr.log

![在这里插入图片描述][087f4f5fd4564f47bea86d63b65eac44.png]

2、通过日志可以看到是`FileNotFoundException: /data/solr-8.2.0/server/solr/orders/conf/dataimport.properties`

这就非常清晰了，dataimport.properties 文件未找到，我们创建一个即可

mkdir -p /data/solr-8.2.0/server/solr/orders/conf/
    touch /data/solr-8.2.0/server/solr/orders/conf/dataimport.properties

3、重启solr即可

## 5. 总结 ##

mysql同步solr的核心在于配置文件的书写，当发现有错误时，可以通过服务端日志排查具体错误。

但数据同步还未完成，我们目前还没有实现自动的同步，还需要手动点击同步，下一节继续讲解，solr从mysql自动同步数据

[solr_solr]: https://wu55555.blog.csdn.net/article/details/130612310
[solr_solr-admin]: https://wu55555.blog.csdn.net/article/details/130631809
[solr_managed-schema]: https://wu55555.blog.csdn.net/article/details/130793603
[solr_core]: https://wu55555.blog.csdn.net/article/details/130908008
[7752e8d76ab045ca822db4d4966183ce.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/531af45a89b04a2ca4a6bebe816cdfb5.png
[9995caa752a741cdb7cc604e4b57a4b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/51897bc8d05949ccb20e45584f0afa07.png
[e35723aa6b9a4145a298d23de2d5ee14.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c9fc59ac7e764d33b12114502e88d67e.png
[bffbb321711c447f9f9e660585a4afbf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ff7512f49dff4669bcd09dab61f483fb.png
[bd8375f2075e4feab0f6f4ddd136e487.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/348e66f4203642e8b32fc606ca055a09.png
[09d911f08bde4e489e700b1df1d247fa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/128ecbb4e7da4bc181988c481019ed12.png
[65c367e23b7248de8b9dc07504df6104.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6e986d3897374e1987e84d843bda220b.png
[03074157e5c24cab87c9a5237d5a5d5b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5fdb8a2983144c88b530f4912a1f2282.png
[a31f877871d54b33941fe1abfbcde547.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/417dc27b5ad34365b732e0cc6149516b.png
[9202507ffefe4797ae2e77b28d1037a8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/965a5f29ab9c43a29581b429202e2e2a.png
[9d037f7a52bb451e83b5036a953041ff.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c27a1f0e38814e3b931e7f40e0273848.png
[e861be264c6f46128ccfbce177d3b2e7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e9699d76b97a4ae092831a2f0a71abc3.png
[087f4f5fd4564f47bea86d63b65eac44.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e63b1ce1014f4e5baf1e65da39b15d3a.png