Windows下elasticsearch安装并且同步数据库

朱雀 2023-08-17 15:38 144阅读 0赞

链接：https://pan.baidu.com/s/1xuKhptYIlUrIHzn6QihTNg   
提取码：v64e   
复制这段内容后打开百度网盘手机App，操作更方便哦

**1、安装下载elasticsearch**

首先要安装有Java环境，没有请先自行安装

![20190926221611309.png][]

然后去官网下载https://www.elastic.co/cn/downloads/elasticsearch

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70][]

**2、运行elasticsearch**

下载完解压即可：直接双击/bin/ElasticSearch.bat

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 2][]

浏览器输入：http://127.0.0.1:9200 查看效果

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 3][]

修改一下config/elasticsearch.yml配置文件,修改后重启

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 5][]

**3、下载nodejs**

还没安装的，请看官方教程https://www.runoob.com/nodejs/nodejs-install-setup.html

![20190926222217265.png][]

到安装node.js的目录下，输入栏中输入cmd即可进入cmd命令操作符界面：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 6][]

cmd 输入  npm install -g grunt-cli

![20190926222257532.png][]

cmd 输入 grunt -version

![20190926222314323.png][]

如果此时报错“grunt不是内部或外部命令，也不是可运行的程序 或批处理文件”，

解决方案：

①进入C:\\Users\\Administrator\\AppData\\Roaming\\npm，将此路径添加到环境变量PATH中。然后重新打开输入，依旧报错请执行第②步

②进入nodejs安装目录，将如下文件复制到C:\\Users\\Administrator\\AppData\\Roaming\\npm；然后进入nodejs的node\_global目录，将grunt-cli和npm文件夹整体复制到C:\\Program Files\\nodejs\\node\_global\\node\_modules中。

重新打开输入命令即可

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 8][]

**4、下载elasticsearch-head**

修改文件Gruntfile.js

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 9][]

找到connect，复制下面数据替换原始数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 10][]

同样输入框：cmd 到该目录

输入命令  npm install  回车执行

输入  npm run start 启动服务

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 11][]

浏览器中输入：http://localhost:9100 查看

![20190926223105707.png][]

另一种方式：打开翻墙工具（本人之前用的翻墙工具所连接的服务器已经过期，所以请自行解决），进入Chrome浏览器插件中心，搜索elasticsearch-head，然后安装，打开之后的效果是一样的【推荐使用这个，简单快捷】

![20190926223219755.png][]

**5、下载logstash**

网址https://www.elastic.co/cn/downloads/logstash

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 12][]

解压，进入bin目录，创建bin文件夹(本例子为bin,命名没有要求)，jdbc.sql，logstash.conf文件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 13][]

bin 文件夹放数据库连接包

jdbc.sql 文件放入sql语句

![20190926223636131.png][]

logstash.conf文件输入以下内容

input {
        stdin {
        
        }
        jdbc {
           # mysql 数据库链接
          jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"
          # 用户名和密码
          jdbc_user => "root"
          jdbc_password => "123456"
          # 驱动 修改为mysql连接包位置
          jdbc_driver_library => "F:\wzn\elasticsearch\logstash-6.8.1\bin\bin\mysql-connector-java-5.1.7-bin.jar"
          # 驱动类名
          jdbc_driver_class => "com.mysql.jdbc.Driver"
          jdbc_paging_enabled => "true"
          jdbc_page_size => "50000"
    #你的SQL的位置，当然，你的SQL也可以直接写在这里。
          #statement => select * from aaa
          # 执行的sql 文件路径+名称 
          statement_filepath => "jdbc.sql"
          # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
          schedule => "* * * * *"
        }
    }
    output {
        elasticsearch {
            # ES的IP地址及端口
            hosts => ["localhost:9200"]
            # 索引名称 可自定义
            index => "test02"
            # 需要关联的数据库中有有一个id字段，对应类型中的id
            document_id => "%{id}"
            document_type => "test02"
        }
        stdout {
            # JSON格式输出
            codec => json_lines
        }
    }

logstash.conf更多配置详情请看https://yq.aliyun.com/articles/152043

cmd输入  logstash -f logstash.conf

注意：此工具不能停止运行，一旦停止运行，则无法实时同步数据库的数据！

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 14][]

**补充：**

①多sql语句配置

#如果要同步数据库多个表，需要添加多个jdbc{}，因为一个jdbc只能执行一条sql语句
    	jdbc {
          # mysql 数据库链接
          jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"
          # 用户名和密码
          jdbc_user => "root"
          jdbc_password => "123456"
          # 驱动 修改为mysql连接包位置
          jdbc_driver_library => "F:\wzn\elasticsearch\logstash-6.8.1\bin\bin\mysql-connector-java-5.1.7-bin.jar"
          # 驱动类名
          jdbc_driver_class => "com.mysql.jdbc.Driver"
          jdbc_paging_enabled => "true"
          jdbc_page_size => "50000"
    	  #你的SQL的位置，当然，你的SQL也可以直接写在这里。
          #statement => select * from aaa
          # 执行的sql 文件路径+名称 
          statement_filepath => "jdbc1.sql"
          # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
          schedule => "* * * * *"
        }

②多数据源配置（Oracle、SqlServer）

#如果要同步多个数据源，需要添加多个jdbc{}
    	jdbc {
          # mysql 数据库链接,mybatis为数据库名
          jdbc_connection_string => "jdbc:oracle:thin:@127.0.0.1:1521:test"
          # 用户名和密码
          jdbc_user => "root"
          jdbc_password => "123456"
          # 驱动 修改为mysql连接包位置
          jdbc_driver_library => "F:\wzn\elasticsearch\logstash-6.8.1\bin\bin\ojdbc6.jar"
          # 驱动类名
          jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
          jdbc_paging_enabled => "true"
          jdbc_page_size => "50000"
    	  #你的SQL的位置，当然，你的SQL也可以直接写在这里。
          #statement => select * from aaa
          # 执行的sql 文件路径+名称 
          statement_filepath => "jdbc2.sql"
          # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
          schedule => "* * * * *"
        }

#如果要同步多个数据源，需要添加多个jdbc{}
    	jdbc {
          # mysql 数据库链接,mybatis为数据库名
          jdbc_connection_string => "jdbc:sqlserver://127.0.0.1:1433;DatabaseName=test;"
          # 用户名和密码
          jdbc_user => "sa"
          jdbc_password => "123456"
          # 驱动 修改为mysql连接包位置
          jdbc_driver_library => "F:\wzn\elasticsearch\logstash-6.8.1\bin\bin\mssql-jdbc-7.0.0.jre8.jar"
          # 驱动类名
          jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
          jdbc_paging_enabled => "true"
          jdbc_page_size => "50000"
    	  #你的SQL的位置，当然，你的SQL也可以直接写在这里。
          #statement => select * from aaa
          # 执行的sql 文件路径+名称 
          statement_filepath => "jdbc3.sql"
          # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
          schedule => "* * * * *"
        }

**6、启动步骤**

启动elasticsearch，双击elasticsearch.bat

启动elasticsearch-head，cmd输入npm run start

启动logstash，cmd输入logstash -f logstash.conf

[20190926221611309.png]: /images/20230810/0957e9dd3bc64a6a9d542ab956c5c0e6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70]: /images/20230810/5d02a66d07e24a3d8843c331b424f447.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 1]: /images/20230810/aa1da7d5e29e4392b1cc7a3ac9d0b1bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 2]: /images/20230810/7f9cea1be94945e3aac4e8d4605eb184.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 3]: /images/20230810/1fb5215816494bbcb56c968846d2ac86.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 4]: /images/20230810/e56ef7d6cf5844c2ab6e0e53a536a4cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 5]: /images/20230810/7512ad09595e4103b0e57efe8976bf93.png
[20190926222217265.png]: /images/20230810/c6710cd7874943548b10ff37e73b3339.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 6]: /images/20230810/165ee6037d374a4192899ac763d1f560.png
[20190926222257532.png]: /images/20230810/58bd8d88a798463b99f93dd33246b518.png
[20190926222314323.png]: /images/20230810/a6ebfe16d0584726b25f0a4e4e54b388.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 7]: /images/20230810/2e95fe004d4240deb9cff6c30cc6160b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 8]: /images/20230810/d5a7c3adeaf048d484db76e96e0ea834.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 9]: /images/20230810/a4c5f3e3e0e84ac8bcbeac79582229f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 10]: /images/20230810/d7ccccd5a55f429d8a84fa2c57728861.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 11]: /images/20230810/972d1a661c2a4517a722323ee8728a3a.png
[20190926223105707.png]: /images/20230810/f624b5071a1842498c0e991f8e500ee7.png
[20190926223219755.png]: /images/20230810/b0d2e3ac75d148c0a8aac10f25732ef4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 12]: /images/20230810/fe154cb3737b42dd8ad7538d36abb1ba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 13]: /images/20230810/525ad57a8872482eb169a8f6b741675c.png
[20190926223636131.png]: /images/20230810/fa221de1e413409583dc3bbddf6d4010.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6bjEwNTQxNjIyMjk_size_16_color_FFFFFF_t_70 14]: /images/20230810/95c38550b27d4a0ea81df9d47dce1f79.png