ELK日志分析平台(一) --- elasticsearch实战

清疚 2023-02-13 11:11 124阅读 0赞

ELK代表的是 elasticsearch + logstash数据采集 + kibana可视化

# 一、elasticsearch简介 #

## 简介 ##

Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。

Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：

*  一个分布式的实时文档存储，每个字段 可以被索引与搜索
 *  一个分布式实时分析搜索引擎
 *  能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据

## 基础模块 ##

基础模块

*  cluster：管理集群状态，维护集群层面的配置信息。
 *  alloction：封装了分片分配相关的功能和策略。
 *  discovery：发现集群中的节点，以及选举主节点。
 *  gateway：对收到master广播下来的集群状态数据的持久化存储。
 *  indices：管理全局级的索引设置。
 *  http：允许通过JSON over HTTP的方式访问ES的API。
 *  transport：用于集群内节点之间的内部通信。
 *  engine：封装了对Lucene的操作及translog的调用。

## 应用场景 ##

elasticsearch应用场景：

*  信息检索
 *  日志分析
 *  业务数据分析
 *  数据库加速
 *  运维指标监控

官网：[https://www.elastic.co/cn/][https_www.elastic.co_cn]

软件下载：[https://elasticsearch.cn/download/][https_elasticsearch.cn_download]

# 二、elasticsearch安装与配置 #

实验主机准备:

<table> 
 <thead> 
  <tr> 
   <th>主机</th> 
   <th>ip</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>server1</td> 
   <td>172.25.1.1</td> 
  </tr> 
  <tr> 
   <td>server2</td> 
   <td>172.25.1.2</td> 
  </tr> 
  <tr> 
   <td>server3</td> 
   <td>172.25.1.3</td> 
  </tr> 
 </tbody> 
</table>

首先在server1部署elasticsearch。

[root@server1 ~]# ls
    elasticsearch-7.6.1-x86_64.rpm
    [root@server1 ~]# rpm -ivh elasticsearch-7.6.1-x86_64.rpm

编辑配置文件：

[root@server1 ~]# cd /etc/elasticsearch/
    [root@server1 elasticsearch]# vim elasticsearch.yml 
    cluster.name: my-es			#集群名称
    node.name: server1			#主机名需要解析
    path.data: /var/lib/elasticsearch	#数据目录
    path.logs: /var/log/elasticsearch	#日志目录
    bootstrap.memory_lock: true	#锁定内存分配
    network.host: 172.25.1.1	#主机ip
    http.port: 9200			#http服务端口
    cluster.initial_master_nodes: ["server1"]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70]![在这里插入图片描述][20200528153950693.png]  
![在这里插入图片描述][20200528154002401.png]![在这里插入图片描述][20200528154006482.png]修改系统限制：

[root@server1 elasticsearch]# vim /etc/security/limits.conf
    elasticsearch soft memlock unlimited
    elasticsearch hard memlock unlimited
    elasticsearch 	   - 	nofile 	65535
    elasticsearch	   -	nproc 	4096

![在这里插入图片描述][20200528154105504.png]

# vim jvm.options
    -Xms1g
    -Xmx1g

Xmx设置不超过物理RAM的50％，以确保有足够的物理RAM留给内核文件系统缓存。**但不要超过32G。**

修改systemd启动文件：

[root@server1 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
    [Service]		#在service语句块下添加
    LimitMEMLOCK=infinity

![在这里插入图片描述][20200528154236187.png]启动elasticsearch：

[root@server1 elasticsearch]# systemctl daemon-reload 
    [root@server1 elasticsearch]# systemctl start elasticsearch.service

注意这里需要将swap关闭：

[root@server1 elasticsearch]# swapoff -a
    [root@server1 elasticsearch]# vim /etc/fstab
    [root@server1 elasticsearch]# cat /etc/fstab 
    
    #/dev/mapper/rhel-swap swap swap defaults 0 0

开启后查看端口，可以看出9200端口已经打开：

[root@server1 ~]# netstat -antlp | grep 9200
    tcp6       0      0 172.25.1.1:9200         :::*                    LISTEN      13502/java

这时可以在浏览器访问这个端口：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 1]可以看出elasticsearch配置成功。

# 三、使用图形界面操作elasticsearch #

上面的elasticsearch安装好了之后就可以通过api来进行调用，也可以安装一个插件来进行图形化操作：

下载与解压：

[root@server1 ~]# yum install wget -y
    [root@server1 ~]# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
    [root@server1 ~]# ls
    elasticsearch-7.6.1-x86_64.rpm  master.zip
    [root@server1 ~]# yum install unzip.x86_64 -y
    [root@server1 ~]# unzip master.zip 
    [root@server1 ~]# ls
    elasticsearch-7.6.1-x86_64.rpm  elasticsearch-head-master  master.zip

head插件本质上是一个nodejs的工程，因此需要安装node：

[root@server1 ~]# wget https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/nodejs-9.11.2-1nodesource.x86_64.rpm
    [root@server1 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm
    [root@server1 ~]# node -v
    v9.11.2
    [root@server1 ~]# npm -v
    5.6.0

说明nodejs安装成功。

更换npm源安装：

[root@server1 ~]# cd elasticsearch-head-master/
    [root@server1 elasticsearch-head-master]# npm install  --registry=https://registry.npm.taobao.org

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 2]在进行到这一步时比较慢，我们可以`ctrl+c`取消后手动下载`phantomjs-2.1.1-linux-x86_64.tar.bz2`：

[root@server1 phantomjs]# yum install  -y bzip2
    [root@server1 phantomjs]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2
    [root@server1 phantomjs]# ls
    phantomjs-2.1.1-linux-x86_64
    phantomjs-2.1.1-linux-x86_64.tar.bz2
    [root@server1 phantomjs]# cd phantomjs-2.1.1-linux-x86_64
    [root@server1 phantomjs-2.1.1-linux-x86_64]# ls
    bin  ChangeLog  examples  LICENSE.BSD  README.md  third-party.txt
    [root@server1 phantomjs-2.1.1-linux-x86_64]# cd bin/
    [root@server1 bin]# ls
    phantomjs
    [root@server1 bin]# mv phantomjs /usr/local/bin/
    [root@server1 bin]# cd 
    [root@server1 ~]# yum install fontconfig-2.13.0-4.3.el7.x86_64 -y

安装好之后就可以使用phantomjs命令：

[root@server1 ~]# phantomjs 
    phantomjs>

再次安装：

[root@server1 ~]# cd elasticsearch-head-master/
    [root@server1 elasticsearch-head-master]# npm install  --registry=https://registry.npm.taobao.org

这次的速度特别快，接下来需要修改ES主机ip和端口

[root@server1 elasticsearch-head-master]# ls
    crx                                 index.html                    proxy
    Dockerfile                          LICENCE                       README.textile
    Dockerfile-alpine                   node_modules                  _site
    elasticsearch-head.sublime-project  package.json                  src
    Gruntfile.js                        package-lock.json             test
    grunt_fileSets.js                   plugin-descriptor.properties
    [root@server1 elasticsearch-head-master]# cd _site/
    [root@server1 _site]# ls
    app.css  background.js  fonts    index.html  manifest.json  vendor.js
    app.js   base           i18n.js  lang        vendor.css
    [root@server1 _site]# vim app.js 
    将"http://localhost:9200"改为"http://172.25.1.1:9200"

![在这里插入图片描述][20200528161638846.png]启动插件，使其后台运行：

[root@server1 _site]# npm run start &

启动后可以直接在浏览器访问`172.25.1.1:9100`:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 3]表示插件安装成功，但是点击连接时并不能连接集群，需要进行如下配置：

修改ES跨域主持

[root@server1 _site]# cd /etc/elasticsearch/
    [root@server1 elasticsearch]# vim elasticsearch.yml 
    
    http.cors.enabled: true	# 是否支持跨域
    http.cors.allow-origin: "*"	# *表示支持所有域名

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 4]重启ES服务

systemctl restart elasticsearch.service

重启后就可以进行正常连接：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 5]复合查询—>创建索引：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 6]查看ES状态:

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 7]  
灰色表示没有副本  
黄色代表没有主分片丢失

# 四、部署elasticsearch集群 #

以相同的方法再安装两个ES节点

在server2和server3都安装elasticsearch，并进行配置：

这里以server3例（server2与server3操作相同，只有nodename和ip不同）

[root@server3 ~]# vim /etc/elasticsearch/elasticsearch.yml 
    cluster.name: my-es
    node.name: server3
    path.data: /var/lib/elasticsearch
    path.logs: /var/log/elasticsearch
    bootstrap.memory_lock: true
    network.host: 172.25.1.3
    http.port: 9200
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    discovery.seed_hosts: ["server1", "server2", "server3"]
    cluster.initial_master_nodes: ["server1","server2","server3"]
    
    [root@server3 ~]#  vim /usr/lib/systemd/system/elasticsearch.service
    
    [service]
    LimitMEMLOCK=infinity
    
    [root@server3 ~]# swapoff -a
    
    [root@server3 ~]# vim /etc/fstab 
    #/dev/mapper/rhel-swap swap swap defaults 0 0
    
    [root@server3 ~]# vim /etc/security/limits.conf
    
    elasticsearch soft memlock unlimited
    elasticsearch hard memlock unlimited
    elasticsearch 	   - 	nofile 	65535
    elasticsearch	   -	nproc 	4096
    
    [root@server3 ~]#  systemctl daemon-reload 
    [root@server3 ~]#  systemctl start elasticsearch.service

同时还需要配置server1：

[root@server1 security]# vim /etc/elasticsearch/elasticsearch.yml
    更改：
    discovery.seed_hosts: ["server1", "server2", "server3"]
    cluster.initial_master_nodes: ["server1","server2","server3"]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 8]  
此时重启服务会报错，需要将server1做下清理：

[root@server1 security]# cd /usr/share/elasticsearch/bin/
    [root@server1 bin]# ./elasticsearch-node repurpose

再次重启：

[root@server1 ~]# systemctl restart elasticsearch.service

在网页段进行刷新：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 9]集群就配置成功。

# 五、elasticsearch节点优化 #

## elasticsearch节点角色 ##

**Master（主节点）**：  
主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。

**Data Node（数据节点）**：  
主要负责集群中数据的索引和检索，一般压力比较大。

**Coordinating Node（调度节点）：**  
原来的Client node的，主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node，且不能关闭该属性。

**Ingest Node：**  
专门对索引的文档做预处理

## elasticsearch节点优化 ##

在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。  
默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。  
节点角色是由以下属性控制：

node.master:  false|true		
    node.data:  true|false
    node.ingest:  true|false 
    search.remote.connect: true|false

默认情况下这些属性的值都是true。

*  node.master：这个属性表示节点是否具有成为主节点的资格  
    注意：此属性的值为true，并不意味着这个节点就是主节点。  
    因为真正的主节点，是由多个具有主节点资格的节点进行选  
    举产生的。
 *  node.data：这个属性表示节点是否存储数据。
 *  node.ingest: 是否对文档进行预处理。
 *  search.remote.connect：是否禁用跨集群查询

**第一种组合：（默认）**

node.master: true
    node.data: true
    node.ingest:  true
    search.remote.connect: true

这种组合表示这个节点即有成为主节点的资格，又存储数据。  
如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于这个节点的压力就比较大了。  
测试环境下这样做没问题，但实际工作中不建议这样设置。

**第二种组合：（Data node）**

node.master: false
    node.data: true
    node.ingest: false
    search.remote.connect: false

这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储数据。  
这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。

**第三种组合：（master node）**

node.master: true
    node.data: false
    node.ingest: false
    search.remote.connect: false

这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，有可能成为真正的主节点。  
这个节点我们称为master节点。

**第四种组合：（Coordinating Node）**

node.master: false
    node.data: false
    node.ingest: false
    search.remote.connect: false

这种组合表示这个节点即不会成为主节点，也不会存储数据，  
这个节点的意义是作为一个协调节点，主要是针对海量请求的时候可以进行负载均衡。

**第五种组合：（Ingest Node）**

node.master: false
    node.data: false
    node.ingest: true
    search.remote.connect: false

这种组合表示这个节点即不会成为主节点，也不会存储数据，  
这个节点的意义是ingest节点，对索引的文档做预处理。

**生产集群中可以对这些节点的职责进行划分**

建议集群中设置3台以上的节点作为master节点，这些节点只负责成为主节点，维护整个集群的状态。

再根据数据量设置一批data节点，这些节点只负责存储数据，后期提供建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点的压力也会比较大。  
所以在集群中建议再设置一批协调节点，这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。

如我们将server1，server2，server3设置为master节点，将server2和server3设置为数据节点,需要进行如下配置：

[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml 
    
    node.master: true
    node.data: false
    node.ingest: false
    search.remote.connect: false
    
    [root@server1 ~]# systemctl restart elasticsearch.service

[root@server2 ~]# vim /etc/elasticsearch/elasticsearch.yml 
    
    node.master: true
    node.data: true
    node.ingest: false
    search.remote.connect: false
    
    [root@server2 ~]# systemctl restart elasticsearch.service

[root@server3 ~]# vim /etc/elasticsearch/elasticsearch.yml 
    
    node.master: true
    node.data: true
    node.ingest: false
    search.remote.connect: false
    
    [root@server3 ~]# systemctl restart elasticsearch.service

## 节点需求 ##

master节点：普通服务器即可(CPU、内存 消耗一般)  
data节点：主要消耗磁盘、内存。  
path.data: data1,data2,data3  
这样的配置可能会导致数据写入不均匀，建议只指定一个数据路径，磁盘可以使用raid0阵列，而不需要成本高的ssd。  
Coordinating节点：对cpu、memory要求较高。

[https_www.elastic.co_cn]: https://www.elastic.co/cn/
[https_elasticsearch.cn_download]: https://elasticsearch.cn/download/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200528153945360.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2,size_16,color_FFFFFF,t_70
[20200528153950693.png]: https://img-blog.csdnimg.cn/20200528153950693.png
[20200528154002401.png]: https://img-blog.csdnimg.cn/20200528154002401.png
[20200528154006482.png]: https://img-blog.csdnimg.cn/20200528154006482.png
[20200528154105504.png]: https://img-blog.csdnimg.cn/20200528154105504.png
[20200528154236187.png]: https://img-blog.csdnimg.cn/20200528154236187.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200528154556251.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200528160737617.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2,size_16,color_FFFFFF,t_70
[20200528161638846.png]: https://img-blog.csdnimg.cn/20200528161638846.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200528162104384.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200528162312916.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200528162439275.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200528162503978.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200528162627905.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200528163651141.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200528164251410.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2,size_16,color_FFFFFF,t_70