Solr全量索引

喜欢ヅ旅行 2022-08-06 13:03 193阅读 0赞

Solr DIH（Data Import Handler）组件的实现类为org.apache.solr.handler.dataimport.DataImportHandler，在Solr的solrconfig.xml中配置两个handler，配置分别说明如下：

solrconfig.xml配置如下：

<requestHandler name="/dataimport"
         class="org.apache.solr.handler.dataimport.DataImportHandler">
         <lst name="defaults">
              <str name="config">data-config.xml</str>
         </lst>
    </requestHandler>

data-config.xml

<dataConfig>
        <dataSource name="jdbc" driver="com.mysql.jdbc.Driver"
            url="jdbc:mysql://localhost:3306/test?zeroDateTimeBehavior=convertToNull"
            user="root" password="shyh"/>
        <document name="st_data">
            <entity name="solrtext" pk="id"
                    query="select * from solrtext limit ${dataimporter.request.length} offset ${dataimporter.request.offset}"
                    transformer="RegexTransformer">
                <field column="id" name="id" />
                <field column="url" name="url" />
                <field column="title" name="title" />
                <field column="author" name="author" />
    	    <field column="addon" name="addon" />
    	    <field column="path" name="path" />
            </entity>
        </document>
    </dataConfig>

说明：column为数据库字段名，name为schema.xml中对应的字段名

schmea.xml增加域

<field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /> 
       <field name="url" type="text_general" indexed="true" stored="true" />
       <field name="title" type="text_general" indexed="true" stored="true"/>
       <field name="author" type="text_general" indexed="true" stored="true"/>
       <field name="addon" type="string" indexed="true" stored="true"/>
        <field name="path" type="string" indexed="false" stored="true"/>

上面主要是通过内置变量 “$\{dataimporter.request.length\}”和 “$\{dataimporter.request.offset\}”来设置一个批次索引的数据表记录数，请求的URL示例如下：

[http://localhost:8080/solr/dataimport?command=full-import&commit=true&clean=false&offset=1000000&length=100000][http_localhost_8080_solr_dataimport_command_full-import_commit_true_clean_false_offset_1000000_length_100000]

也可以直接进入solr的Dataimport页面导入：![Center][]

上面表示，对数据表中id范围为\[10000000, 1100000\]的记录进行索引，因为数据表可能达到千万记录数，而且线上有业务在操作数据库，所以要选择分批进行索引。

如果数据量小可以直接全量导入不需分批：

<pre name="code" class="java"> <dataConfig>
        <dataSource name="jdbc" driver="com.mysql.jdbc.Driver"
            url="jdbc:mysql://localhost:3306/test?zeroDateTimeBehavior=convertToNull"
            user="root" password="shyh"/>
        <document name="st_data">
            <entity name="solrtext" pk="id"
                    query="select * from solrtext"
                    transformer="RegexTransformer">
                <field column="id" name="id" />
                <field column="url" name="url" />
                <field column="title" name="title" />
                <field column="author" name="author" />
    	    <field column="addon" name="addon" />
    	    <field column="path" name="path" />
            </entity>
        </document>
    </dataConfig>

**注：执行导入操作时需要在webapps的solr项目的lib目录中加入数据库的驱动包以及solr-dataimporthandler-4.5.1.jar和solr-dataimporthandler-extras-4.5.1.jar这两个jar包（后两个jar包位于solr的解压包的dist目录）**

[http_localhost_8080_solr_dataimport_command_full-import_commit_true_clean_false_offset_1000000_length_100000]: http://172.0.8.212:8080/search-server/core0/dataimport?command=full-import&commit=true&clean=false&offset=1000000&length=100000
[Center]: /images/20220806/b89d8f2722d74062a3e8ed38254fc947.png

发表评论取消回复

表情：

评论列表（有 0 条评论，193人围观）

还没有评论，来说两句吧...

相关阅读

相关搜索引擎solr系列---core的创建及数据全量导入

有关官方配置的步骤，我已经在这篇文章里写了，连接是[官方配置solr步骤（一）—solr下载及单节点的启动、配置说明][solr_solr] 大家都知道，sol

缺乏、安全感/ 2023年10月17日 15:54/ 0 赞/ 105 阅读

相关 Solr增量索引

注：全量索引和增量索引data-config.xml和delta-data-config.xml配置文件默认放在和solrconfig.xml同级目录 solrconfig.

电玩女神/ 2022年08月06日 13:04/ 0 赞/ 221 阅读

相关 Solr全量索引

Solr DIH（Data Import Handler）组件的实现类为org.apache.solr.handler.dataimport.DataImportHandler

喜欢ヅ旅行/ 2022年08月06日 13:03/ 0 赞/ 194 阅读

相关 solr配置dataimport步骤增量全量同步配置

按照昨天的步骤，可以看到一个无内容的solr管理界面，其中，collection1中没有任何数据内容，这次就详细说明一下如果配置solr中的相关文件进行直接的[数据库][Lin

不念不忘少年蓝@/ 2022年06月12日 15:11/ 0 赞/ 410 阅读

相关【Solr】solr删除全部索引数据

SOLR 删除全部索引数据： <delete><query>:</query></delete><commit/> ![这里写图片描述][SouthEast]

﹏ヽ暗。殇╰゛Y/ 2022年06月12日 07:17/ 0 赞/ 305 阅读

相关 solr通过http方式全量更新索引

启动tomcat，访问http://localhost:8080/solr/dataimport?command=full-import 将数据全部导入solr服务器进行索引

喜欢ヅ旅行/ 2022年06月10日 03:44/ 0 赞/ 171 阅读

相关 solr 从数据库导入数据，全量索引和增量索引

首先说一下是从[MySQL][][数据库][MySQL]导入数据 elasticsearch与solr技术学习，更多知识请访问[https://www.itkc8.com][

太过爱你忘了你带给我的痛/ 2022年06月09日 01:00/ 0 赞/ 229 阅读

相关 Elasticsearch 索引的全量/增量更新

当你的es 索引数据从mysql 全量导入之后，如何根据其他客户端改变索引数据源带来的变动来更新 es 索引数据呢。首先用 Python 全量生成 Elasticsearc

我就是我/ 2022年05月31日 04:25/ 0 赞/ 427 阅读

相关 solr合并索引

solr下可以通过mergeindexes命令完成一个或多个core到其他core的索引合并，合并索引需要保证要被合并到的core的schema要与其他来源core的schem

青旅半醒/ 2022年03月29日 13:17/ 0 赞/ 273 阅读

相关 Solr之索引

下面来记录并分享下solr对索引的添加、修改及删除操作：一、简介在solr中，通过向部署在servlet容器中的solr web应用程序发送HTTP请求来启动索引，

骑猪看日落/ 2021年09月29日 03:50/ 0 赞/ 366 阅读