Centos7搭建ElasticSearch集群

骑猪看日落 2023-06-26 12:10 25阅读 0赞

# Centos7搭建ElasticSearch集群 #

每天多学一点点~  
话不多说，这就开始吧…

### 文章目录 ###

*  Centos7搭建ElasticSearch集群
 *  1.前言
 *  2.环境要求
 *  3. 安装Head插件
 *  4. 搭建ElasticSearch集群
 *  5.结语

# 1.前言 #

前两天学习了下elasticsearch，今天忙里偷闲，学习了下如何搭建es集群。。。  
原谅我的小笔记本，内存太小，搭建个伪集群玩玩~

*  [Centos7安装elasticsearch及kibana并进行安全设置][Centos7_elasticsearch_kibana]
 *  [spring+mysql集成canal][spring_mysql_canal]
 *  [elk和efk的搭建][elk_efk]

# 2.环境要求 #

centos7虚拟机(192.168.73.132)，jdk1.8(oracle版本，若是openjdk请先卸载)

# 3. 安装Head插件 #

head插件需要node环境，首先搭建node环境

1.  安装node环境  
    下载地址：https://nodejs.org/download/release/v8.13.0/node-v8.13.0-linux-x64.tar.gz (网速有点慢~)  
    gunzip node-v8.13.0-linux-x64.tar.gz  
    tar -xf node-v8.13.0-linux-x64.tar  
    解压后的路径：/usr/local/elasticsearch/node-v8.13.0-linux-x64  
    建立软连接  
    ln -s /usr/local/elasticsearch/node-v8.13.0-linux-x64/bin/node /usr/bin/node  
    ln -s /usr/local/elasticsearch/node-v8.13.0-linux-x64/bin/npm /usr/bin/npm  
    执行完后 运行 node -v 和 npm -v 分别就可以看到node 的版本为8.13.0 npm为6.4.1

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70]

![在这里插入图片描述][2019123123283521.png]

1.  安装head插件  
    下载地址：https://github.com/mobz/elasticsearch-head/  
    （1）git clone git://github.com/mobz/elasticsearch-head.git  
    如果提示git找不到 则先安装git：yum install -y git  
    （2）cd elasticsearch-head  
    （3） 修改下npm源： npm config set registry https://registry.npm.taobao.org，  
    npm install （ 或者使用： npm install cnpm -g – registry=https://registry.npm.taobao.org 注意：//如果使用了 cnpm 那么就要 用 cnpm install（如果没有建立软连接还需要指定cnpm所在的位置： …/node-v8.13.0/bin/cnpm install ）  
    （4）npm run start 后台启动+ &  
    （5）访问地址：http://你的ip:9100/

**因博主是虚拟机，所以这里下次开启虚拟机后，只需要npm run start 就可以了**

# 4. 搭建ElasticSearch集群 #

因博主电脑不行，所以这里就直接用一台虚拟机演示了~真正的集群也是一样的  
虚拟机:192.168.73.132，配置一主一从，一个分片一个副本

**分布式索引介绍**：  
1.number\_of\_shards：分片数量，类似于数据库里面分库分表，一经定义不可更改。主要响应写操作

2.number\_of\_replicas：副本数，用于备份分片的，和分片里面的数据保持一致，主要响应读操作，副本越多读取就越快。

3.分布式索引一定要注意分片数量不能更改，所以在创建的时候一定要预先估算好数据大小，一般在8CPU16G的机器上一个分片不要超过300g。索引会根据分片的配置来均匀的响应用户请求

4.如果调整了分片数那就要重建索引。

1.  准备工作  
    首先，将之前的elasticsearch-6.6.0复制两份  
    cp -r elasticsearch-6.6.0 /usr/local/elasticsearch/cluster/elasticsearch-node1  
    cp -r elasticsearch-6.6.0 /usr/local/elasticsearch/cluster/elasticsearch-node2
2.  修改配置文件

node1 的配置文件

cluster.name: my-es
    node.name: node-132 # 节点名称
    network.host: 0.0.0.0 # 设置绑定的ip地址还有其它节点和该节点交互的ip地址 0.0.0.0让外网可以访问
    http.port: 19200 # 指定http端口,你使用head､kopf等相关插件使用的端口
    transport.tcp.port: 19300  # 设置节点间交互的tcp端口,默认是9300
    discovery.zen.ping.unicast.hosts: ["127.0.0.1:19300","127.0.0.1:29300"] #设置集群中master节点的初始列表,可以通过这些节点来自动发现新加入集群的节点｡
    #如果没有这种设置,遭受网络故障的集群就有可能将集群分成两个独立的集群 - 分裂的大脑 - 这将导致数据丢失
    #discovery.zen.minimum_master_nodes: 3
    http.cors.enabled: true         #es5.x版本以上需要，head访问
    http.cors.allow-origin: "*"
    bootstrap.memory_lock: false     #某些系统需要 是因为centos6.x操作系统不支持SecComp，而elasticsearch 5.5.2默认	bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。
    bootstrap.system_call_filter: false

node2 的配置文件

cluster.name: my-es
    node.name: node-132 # 节点名称
    network.host: 0.0.0.0 # 设置绑定的ip地址还有其它节点和该节点交互的ip地址 0.0.0.0让外网可以访问
    http.port: 29200 # 指定http端口,你使用head､kopf等相关插件使用的端口
    transport.tcp.port: 29300  # 设置节点间交互的tcp端口,默认是9300
    discovery.zen.ping.unicast.hosts: ["127.0.0.1:19300","127.0.0.1:29300"] #设置集群中master节点的初始列表,可以通过这些节点来自动发现新加入集群的节点｡
    #如果没有这种设置,遭受网络故障的集群就有可能将集群分成两个独立的集群 - 分裂的大脑 - 这将导致数据丢失
    #discovery.zen.minimum_master_nodes: 3
    http.cors.enabled: true         #es5.x版本以上需要，head访问
    http.cors.allow-origin: "*"
    bootstrap.memory_lock: false     #某些系统需要 是因为centos6.x操作系统不支持SecComp，而elasticsearch 5.5.2默认	bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。
    bootstrap.system_call_filter: false

1.  将两个node下data下内容清空，否则集群创建失败
2.  依次启动elasticsearch  
    切换到非root用户，启动 ，记得给这个账号授予权限

# 赋予当前用户访问 elasticserach权限!!!!!
    chown -R 用户名:用户名  文件（目录）名
    chown -R zhangjianqiu:zhangjianqiu /usr/local/elasticsearch

node1: ./bin/elasticsearch 后台启动加 –d参数  
node2: ./bin/elasticsearch 后台启动加 –d参数  
看es是否启动  
访问地址  
node1： http://192.168.73.132:19200/  
node1： http://192.168.73.132:19300/

再访问head插件  
http://192.168.73.132:9100/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 1]  
集群健康值 为绿色

现在我们在es中插入一个doc

PUT /test2
    {
    }

这是我们再查看集群，就能看到分片以及副本信息了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 2]

博主一般用head插件管理集群，kinbana操作es

# 5.结语 #

**世上无难事，只怕有心人，每天积累一点点，fighting！！！**

[Centos7_elasticsearch_kibana]: https://blog.csdn.net/weixin_42437633/article/details/103749055
[spring_mysql_canal]: https://blog.csdn.net/weixin_42437633/article/details/103957424
[elk_efk]: https://blog.csdn.net/weixin_42437633/article/details/104053530
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2019123123281981.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw==,size_16,color_FFFFFF,t_70
[2019123123283521.png]: https://img-blog.csdnimg.cn/2019123123283521.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191231233236730.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191231233305381.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw==,size_16,color_FFFFFF,t_70