ElasticSearch集群安装配置

缺乏、安全感 2021-10-19 21:24 559阅读 0赞

# **ElasticSearch****集群安装配置** #

ElasticSearch 7.2.0

1.  操作系统    
2.  软件及版本    
3.  安装包准备    
4.  JDK安装    
5.  ElasticSearch安装    
6.  ElasticSearch-head安装    
7.  Kibana安装    
8.  集群配置    
9.  安全验证

对人工智能感兴趣点下面链接

[现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。][Link 1]

[https://www.cbedai.net/u014646662][Link 1]

## **1 操作系统** ##

*  操作系统：CentOS7.6
 *  关闭防火墙：systemctl stop firewalld
 *  禁止开机启动防火墙：systemctl disable firewalld
 *  关闭linuxSE

vim /etc/selinux/config
    
    SELINUX=disabled

## **2 软件及版本** ##

<table style="width:311.1pt;"> 
 <tbody> 
 <tr> 
 <td colspan="2" style="vertical-align:bottom;width:219pt;"> JDK </td> 
 <td colspan="3" style="vertical-align:bottom;width:92.1pt;"> 11 </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td colspan="2" style="vertical-align:bottom;width:219pt;"> nodejs </td> 
 <td colspan="3" style="vertical-align:bottom;width:92.1pt;"> 10.16.0 </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;width:204.8pt;"> elasticsearch </td> 
 <td style="vertical-align:bottom;width:14.2pt;">&nbsp;</td> 
 <td colspan="3" style="vertical-align:bottom;width:92.1pt;"> 7.2.0 </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;width:204.8pt;"> elasticsearch-head </td> 
 <td style="vertical-align:bottom;width:14.2pt;">&nbsp;</td> 
 <td colspan="3" style="vertical-align:bottom;width:92.1pt;"> 7.2.0 </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td colspan="2" style="vertical-align:bottom;width:219pt;"> elasticsearch-analysis-ik </td> 
 <td colspan="3" style="vertical-align:bottom;width:92.1pt;"> 7.2.0 </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td colspan="2" style="vertical-align:bottom;width:219pt;"> elasticsearch-analysis-pinyin </td> 
 <td colspan="3" style="vertical-align:bottom;width:92.1pt;"> 7.2.0 </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;width:204.8pt;"> Kibana </td> 
 <td style="vertical-align:bottom;width:14.2pt;">&nbsp;</td> 
 <td colspan="3" style="vertical-align:bottom;width:92.1pt;"> 7.2.0 </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td colspan="3" style="vertical-align:bottom;width:257.35pt;"> metricbeat </td> 
 <td style="vertical-align:bottom;width:3.65pt;">&nbsp;</td> 
 <td colspan="2" style="vertical-align:bottom;width:112pt;"> 7.2.0 </td> 
 </tr> 
 <tr> 
 <td colspan="3" style="vertical-align:bottom;width:257.35pt;"> Logstash </td> 
 <td style="vertical-align:bottom;width:3.65pt;">&nbsp;</td> 
 <td colspan="2" style="vertical-align:bottom;width:112pt;"> 7.2.0 </td> 
 </tr> 
 <tr> 
 <td>&nbsp;</td> 
 <td>&nbsp;</td> 
 <td>&nbsp;</td> 
 <td>&nbsp;</td> 
 <td>&nbsp;</td> 
 <td>&nbsp;</td> 
 </tr> 
 </tbody> 
</table>

## **3 安装包准备** ##

**目录：/data/es/sort**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2NDY2NjI_size_16_color_FFFFFF_t_70][]

## **4 JDK****安装** ##

**1、卸载openJDK**

**查看openJDK：**

rmp -qa |grep java

**将上述查询结果全部卸载**

yum remove open-java-1.7… … …

**2、进入/opt目录下**

cd /opt

**3、解压JDK**

tar -xzvf /data/es/sort/jdk-11.0.3_linux-x64_bin.tar.gz -C /opt/
    
    mv  jdk-11.0.3 jdk

**4、环境变量配置（这里包含了Node的环境变量）**

export JAVA_HOME=/opt/jdk
    
    export NODE_HOME=/opt/node
    
    export NODE_PATH=$NODE_HOME/lib/node_modules
    
    export CLASSPATH=.:$JAVA_HOME/lib
    
    export PATH=$JAVA_HOME/bin:$NODE_HOME/bin:$PATH

## **5 ElasticSearch****安装** ##

**1、安装步骤：可参见**

[**https://blog.csdn.net/u014646662/article/details/88397715**][https_blog.csdn.net_u014646662_article_details_88397715]

**使用非root用户（elk）**

cd /opt
    
    cp /data/es/sort/elasticsearch-7.2.0-linux-x86_64.tar.gz  ./
    
    tar -xzvf elasticsearch-7.2.0-linux-x86_64.tar.gz
    
    mv elasticsearch-7.2.0 elasticsearch

**2、安装IK分词器**

**在/opt/elasticsearch/plugins下创建ik目录**

mkdir /opt/elasticsearch/plugins/ik
    
    cd /opt/elasticsearch/plugins/ik

**把elasticsearch-analysis-ik-7.2.0.zip复制到/opt/elasticsearch/plugins/ik**

cp /data/es/sort/elasticsearch-analysis-ik-7.2.0.zip  ./

**解压**

unzip elasticsearch-analysis-ik-7.2.0.zip
    
    rm elasticsearch-analysis-ik-7.2.0.zip

**3、安装pinyin分词器**

**在/opt/elasticsearch/plugins下创建pinyin目录**

mkdir /opt/elasticsearch/plugins/pinyin
    
    cd /opt/elasticsearch/plugins/pinyin

**把elasticsearch-analysis-pinyin-7.2.0.zip复制到/opt/elasticsearch/plugins/pinyin**

cp /data/es/sort/elasticsearch-analysis-pinyin-7.2.0.zip  ./

**解压**

unzip elasticsearch-analysis-pinyin-7.2.0.zip
    
    rm elasticsearch-analysis-pinyin-7.2.0.zip

**4、系统优化（允许远程访问）**

**不做优化，开启远程访问，es则无法启动**

**编辑: config/elasticsearch.yml、/etc/security/limits.conf、/etc/security/limits.d/20-nproc.conf、/etc/sysctl.conf四个文件(用root)**

编辑：elasticsearch.yml（集群配置见本节第5步）

#修改 network.host: 自己的主机名或IP
    vim config/elasticsearch.yml

编辑：/etc/security/limits.conf

vim /etc/security/limits.conf

# 在文件尾部追加下列内容
    # esuser是你的用户名（elk）
    
    esuser soft nofile 65536
    esuser hard nofile 65536
    esuser soft nproc 4096
    esuser hard nproc 4096

编辑：/etc/security/limits.d/20-nproc.conf

vim /etc/security/limits.d/20-nproc.conf
    # 修改为 esuser soft nproc 4096

编辑：/etc/sysctl.conf

vim /etc/sysctl.conf
    vm.max_map_count=655360

使配置生效

sysctl -p

5、elasticsearch.yml配置

#集群名
    
    cluster.name: cluster-name
    
    # 主节点
    
    node.master: true
    
    # 数据节点
    
    node.data: true
    
    # 数据存储位置
    
    path.data: /data……
    
    # 地址绑定
    
    network.host: 0.0.0.0
    
    # 端口（默认）
    
    http.port: 9200
    
    transport.tcp.port: 9300
    
    #发现主机
    
    discovery.seed_hosts: ["elk01","elk02","elk03"]
    
    cluster.initial_master_nodes: ["elk01","elk02","elk03"]
    
    # 允许插件访问
    
    http.cors.enabled: true
    
    http.cors.allow-origin: "*"
    
    #开启安全验证
    
    xpack.security.enabled: true
    
    xpack.security.transport.ssl.enabled: true
    
    xpack.security.transport.ssl.verification_mode: certificate
    
    xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
    
    xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12
    
    http.cors.allow-headers: Authorization

6、启动es

第一次启动建议/opt/elasticsearch/bin/elasticsearch，既可以直接看到日志，也可以随时停止Ctrl+c

确定正常后，启动方式：/opt/elasticsearch/bin/elasticsearch -d（后台运行）

可通过kill杀死（jps可以看到es的进程id）

## 6 ElasticSearch-head安装 ##

如果不做安全验证，这个可以装一下，这个工具还算是很好用

1、安装配置见：[https://blog.csdn.net/u014646662/article/details/89491874][https_blog.csdn.net_u014646662_article_details_89491874]/

2、安装nodejs

把node-v10.16.0-linux-x64.tar.xz复制到/opt下

解压：

node-v10.16.0-linux-x64.tar.xz
    
    tar -xJvf node-v10.16.0-linux-x64.tar.xz
    
    mv node-v10.16.0-linux-x64 node

环境变量：JDK环境变量配置时已经配过来

测试node

node -v
    npm -v

3、安装Head

a、把elasticsearch-head-master.zip复制到/opt/elasticsearch目录下

b、解压：

unzip elasticsearch-head-master.zip
    
    mv elasticsearch-head-master elasticsearch-head

c、进入elasticsearch-head

cd elasticsearch-head

d、查看package.json

![20190816090358878.png][]

e、更改Gruntfile.js

在connect-->server-->options下面添加：hostname:’\*’，允许所有IP可以访问

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2NDY2NjI_size_16_color_FFFFFF_t_70 1][]

f、修改elasticsearch-head/\_site/app.js

更改：this.base\_uri = this.config.base\_uri || this.prefs.get("app-base\_uri") || "http://localhost:9200 把localhost改为当前主机名或ip

![20190816092834867.png][]

g、 安装grunt

不要急，一步一步走

cd /opt/hadoop/elasticsearch/elasticsearch-head
    
    npm install -g grunt-cli
    
    npm install

h、 测试grunt

grunt -version

1.  启动Head（es启动后在启动）

cd elasticsearch-head

grunt server

5、访问

http://<IP||主机名>:9100

Head插件在没有安全验证时可以正常使用（es配置安全验证后，暂时未有解决办法）

## 7 Kibana安装 ##

1、安装配置：https://blog.csdn.net/u014646662/article/details/88403679/

2、把kibana-7.2.0-linux-x86\_64.tar.gz复制到/opt下

3、解压

tar kibana-7.2.0-linux-x86_64.tar.gz
    
    mv kibana-7.2.0 kibana

4、配置

vim kibana.yml

#绑定ip
    
    server.host: "0.0.0.0"
    
    #es集群
    
    elasticsearch.hosts: ["http://elk01:9200","http://elk02:9200","http://elk03:9200"]
    
    #es如果有安全验证
    
    #elasticsearch.username: "user"
    
    #elasticsearch.password: "pass"
    
    #中文
    
    i18n.locale: "zh-CN"

5、启动

/opt/kibana/bin/kibana &

6、访问

http://IP:5601

## 8 集群配置 ##

1、免密登录

ssh-keygen -t rsa （三次回车）

![20190816090358925.png][]

cat id_rsa.pub > authorized_keys
    
    chmod 600 authorized_keys

authorized\_keys的权限必须是600，否则免密登录失败

2、克隆现有状态

a、清理干净

如果在这之前，es启动过，无论是否成功，都要把数据全部删除，即把path.data的目录下的所有内容删除（清空目录）

b、克隆机器

克隆出两台机器，然后将这三台机器全部启动

c、启动es

首次启动es：bin/elasticsearch

当一切都配置好后，并且没有问题：bin/elasticsearch -d

## 9 安全验证 ##

1、事前准备

A、ES的配置必须开启安全验证（具体配置内容，第5节已经说过来）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2NDY2NjI_size_16_color_FFFFFF_t_70 2][]

B、es集群已经正常启动

C、只需要在一台机器上执行下面的操作（只要是master就可以）

2、配置CA证书

cd /opt/elasticsearch
    
    bin/elasticsearch-certutil ca
    
    两次回车
    bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 
    三次回车
    mkdir config/certs
    
    mv elastic-*.p12 config/certs/
    scp -r  /opt/elasticsearch/config/certs esuser@node02:/opt/elasticsearch/config/
    scp -r  /opt/elasticsearch/config/certs esuser@node03:/opt/elasticsearch/config/

将es的配置添加完整，即开启安全验证的相关配置（所有节点）

重启es

3、配置密码

bin/elasticsearch-setup-passwords interactive

根据提示逐个输入各个用户的密码

配置完成后重启es集群

4、Kibana配置密码

elasticsearch.username: "elastic"
    elasticsearch.password: "*******"

启动Kibana

5、Kibana账户管理

a、访问IP:5601

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2NDY2NjI_size_16_color_FFFFFF_t_70 3][]

b、进入管理界面

这时你可以先添加测试数据（这里就不说了）

点击管理

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2NDY2NjI_size_16_color_FFFFFF_t_70 4][]

其他插件后续更新

[Link 1]: https://www.cbedai.net/u014646662
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2NDY2NjI_size_16_color_FFFFFF_t_70]: /images/20211019/a27f51ef5b12444bb05f9865722cd0f7.png
[https_blog.csdn.net_u014646662_article_details_88397715]: https://blog.csdn.net/u014646662/article/details/88397715
[https_blog.csdn.net_u014646662_article_details_89491874]: https://blog.csdn.net/u014646662/article/details/89491874
[20190816090358878.png]: /images/20211019/7d9b154f63b6447dbe1f699757051672.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2NDY2NjI_size_16_color_FFFFFF_t_70 1]: /images/20211019/a5338a4c3c0847e7ba1f8943028b4ffe.png
[20190816092834867.png]: /images/20211019/bb63db65ea9c4cf889b1467201da0f36.png
[20190816090358925.png]: /images/20211019/a397084d645b4a4a9a44cde89c3e7d2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2NDY2NjI_size_16_color_FFFFFF_t_70 2]: /images/20211019/9f1916881b4d4cf29c95ce4b12999227.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2NDY2NjI_size_16_color_FFFFFF_t_70 3]: /images/20211019/d03b4b11b5934c98bbbbab89f0a023d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2NDY2NjI_size_16_color_FFFFFF_t_70 4]: /images/20211019/8c86bd35775c4025879806b9a47a7e31.png