elasticsearch集群安装

冷不防 2022-06-16 00:56 295阅读 0赞

1.假设已经准备了三台linux机器（可以采用虚拟机virtualbox安装，并且以桥接方式配置网络，使得三台linux机器都有不同的局域网ip）。在每台机器的/etc/hosts目录下配置域名映射关系

192.168.31.71 mac1
    192.168.31.112 mac2
    192.168.31.12 mac3

2.下载elasticsearch安装包（注意最好不要下载最新版本，因为新版有些插件不支持）  
本文使用的是elasticsearch-2.4.4版本  
[https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.4.4/elasticsearch-2.4.4.tar.gz][https_download.elastic.co_elasticsearch_release_org_elasticsearch_distribution_tar_elasticsearch_2.4.4_elasticsearch-2.4.4.tar.gz]

3.安装elasticsearch插件

scp 192.168.31.19:/Users/Mac/Downloads/elasticsearch-2.4.4.tar.gz ./
    tar -xvf elasticsearch-2.4.4.tar.gz
    cd elasticsearch-2.4.4/bin
    plugin install mobz/elasticsearch-head
    ls ../plugins/ #可见head文件夹
    sudo apt-get install git #安装git软件
    git --version #检查安装是否成功
    sudo apt-get install maven
    mvn -version #检查mvn安装是否成功
    git clone https://github.com/medcl/elasticsearch-analysis-ik.git #下载ik项目
    cd elasticsearch-analysis-ik
    git fetch origin 2.x:2.x #到2.x分支对应2.4.x的elasticsearch
    mvn package
    copy and unzip target/releases/elasticsearch-analysis-ik-{version}.zip to your-es-root/plugins/ik
    restart elasticsearch
    
    PS：在安装ik的时候，最好的方式是下载到本地机器，然后mvn package之后上传到所有ik的插件安装包中。
    mac@mac3 : head  ik #有两个插件包

4.配置elasticsearch集群

cluster.name: elasticsearch-cluster #配置集群名
    node.name: node-mac3 #集群中机器名
    path.data: /home/mac/SoftWare/elasticsearch-2.4.4/log/data #数据索引存储位置
    path.logs: /home/mac/SoftWare/elasticsearch-2.4.4/log/logs #操作日志目录
    network.host: 0.0.0.0 #该节点与其他节点交互的ip，写本机地址即可
    http.port: 9200 # 网页控制台端口
    discovery.zen.ping.unicast.hosts: ["192.168.31.12"] #集群启动时的master节点，在集群启动时需要先启动master节点。
    #node.master: true #配置是否是可以参与master节点的选举过程，设置为true不表示该节点为master节点，master节点负责数据的建立和查询
    #node.data: true #配置该节点是否存储数据，并提供查询服务。 这两个值默认都为true.

其他机器的elasticsearch复制上面的配置，只需要改变node.name的名字即可。

mkdir log/data 
    mkdir log/logs

启动elasticsearch集群：先启动master服务器  
mac@mac3:~/SoftWare/elasticsearch-2.4.4/bin$ ./elasticsearch -d

5.建立ES索引结构  
访问地址：[http://192.168.31.12:9200/\_plugin/head/][http_192.168.31.12_9200_plugin_head] 机器中任意一台机器的ip都可以。

POST /wdc_core_word_index
    {
       "settings": {
          "index": {
             "number_of_replicas": "2",
             "number_of_shards": "4"
          }
       },
       "mappings": {
          "wdc_core_word": {
             "_all": {
                "enabled": false
             },
             "properties": {
                "wdcId": {
                   "type": "long"
                },       
                "coreWord": {
                   "type": "string",
                   "analyzer": "ik_max_word"
                },
                "coreWordTerm": {
                   "type": "string",
                   "index": "not_analyzed"
                },
                "cityLocationId": {
                   "type": "long"
                },
                "valid": {
                   "type": "long"
                }
             }
          }
       }
    }
    建立索引后的效果

![这里写图片描述][SouthEast]  
索引建立后的效果图：其中五星表示master节点，实心表示是data节点会处理查询请求。  
![这里写图片描述][SouthEast 1]

6.elasticsearch中节点类型信息  
在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。  
默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。  
这些功能是由两个属性控制的。  
node.master和node.data  
默认情况下这两个属性的值都是true。  
下面详细介绍一下这两个属性的含义以及不同组合可以达到的效果。  
node.master：这个属性表示节点是否具有成为主节点的资格  
注意：此属性的值为true，并不意味着这个节点就是主节点。  
因为真正的主节点，是由多个具有主节点资格的节点进行选举产生的。  
所以，这个属性只是代表这个节点是不是具有主节点选举资格。  
node.data：这个属性表示节点是否存储数据。  
这两个属性可以有四种组合：

*  node.master: true node.data: true 这种组合表示这个节点即有成为主节点的资格，又存储数据，这个时候如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于这个节点的压力就比较大了。elasticsearch默认每个节点都是这样的配置，这样相当于主节点和数据节点的角色混合到一块了。
 *  node.master: false node.data: true这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储数据。这个节点我们称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。
 *  node.master: true node.data: false这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，有可能成为真正的主节点。这个节点我们称为master节点，其主要功能是用于keepalive功能来进行服务发现。
 *  node.master: false node.data: false这种组合表示这个节点即不会成为主节点，也不会存储数据，这个节点的意义是作为一个client(客户端)节点，主要是针对海量请求的时候可以进行负载均衡。client节点负责查询结果的二次聚合过程。  
    在一个生产集群中我们可以对这些节点的职责进行划分。  
    建议集群中设置3台以上的节点作为master节点【node.master: true node.data: false】  
    这些节点只负责成为主节点，维护整个集群的状态。  
    再根据数据量设置一批data节点【node.master: false node.data: true】  
    这些节点只负责存储数据，后期提供建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点的压力也会比较大  
    所以在集群中建议再设置一批client节点【node.master: false node.data: false】  
    这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。  
    master节点：普通服务器即可(CPU 内存 消耗一般)  
    data节点：主要消耗磁盘，内存  
    client节点：普通服务器即可(如果要进行分组聚合操作的话，建议这个节点内存也分配多一点)

7.测试集群新机器的自动发现和选主过程

*  关闭服务器mac2  
    ![这里写图片描述][SouthEast 2]  
    因为配置需要2个副本，只有一个台副本机器，所以另外一个副本是unassigned状态。
 *  重启服务器mac2并且关闭服务器mac3  
    ![这里写图片描述][SouthEast 3]  
    可以发现主master机器已经由node-mac3变为node-mac2，并且node-mac2节点已经加入集群中。

[https_download.elastic.co_elasticsearch_release_org_elasticsearch_distribution_tar_elasticsearch_2.4.4_elasticsearch-2.4.4.tar.gz]: https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.4.4/elasticsearch-2.4.4.tar.gz
[http_192.168.31.12_9200_plugin_head]: http://192.168.31.12:9200/_plugin/head/
[SouthEast]: /images/20220616/aa4c2ffdd0b34e4db642b7cd07f6459c.png
[SouthEast 1]: /images/20220616/3866e3236ccb494cbe1afdcb0105e4c8.png
[SouthEast 2]: /images/20220616/5784cfbe249f4a2788df438702d346a1.png
[SouthEast 3]: /images/20220616/2e196bd179e34be3a83f8a5b6f1f9193.png