在Linux环境下配置ELK（elasticsearch+Kibana）-含网盘下载文件

￡神魔★判官ぃ 2023-10-08 12:08 8阅读 0赞

#### 在Linux环境下配置ELK（elasticsearch+Kibana）-含网盘下载文件 ####

*  1.下载kibana和ES
 *  2.将需要的tar文件上传到Linux服务器
 *  3.安装ES和修改配置文件
 *   *  3.1 解压ES
     *  3.2 解压JDK
     *  3.3 配置JDK的环境变量
     *  3.4 使用文件立即生效
     *  3.5 测试
     *  3.6 修改ES配置文件
     *  3.7 启动ES
     *  3.8 ES在启动遇到的问题以及解决方案
 *  4.安装kibana
 *   *  4.1 解压kibana
     *  4.2 进入解压后的kibana中的config
     *  4.3 配置kibana的端口号
     *  4.4 配置kibana的IP地址
     *  4.5 配置ES的IP地址
     *  4.6 运行kibana
     *  4.7 测试
     *  4.8 kibana的三种状态

## 1.下载kibana和ES ##

[jdk下载][jdk]  
提取码：saya  
[es下载][es]  
提取码：hqmy  
[kibana下载][kibana]  
提取码：g35b

## 2.将需要的tar文件上传到Linux服务器 ##

在这里我使用的是xshell的Xftp，至于上传到linux服务器的那个文件夹，可以随意。我上传的是：

/usr/local/apps

*  上传kibana和JDK  
    PS：因为kibana和ES都是基于java开发的，所以二者都需要JDK环境  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw_size_16_color_FFFFFF_t_70]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw_size_16_color_FFFFFF_t_70 1]
 *  上传ES和JDK同上

**注意：** 如果出现上传文件错误的情况时，说明你的目标文件夹也就是apps文件夹的权限不够，解决：

命令：chmod 777 目标文件夹

## 3.安装ES和修改配置文件 ##

### 3.1 解压ES ###

tar -zxvf  elasticsearch-6.4.0.tar.gz

### 3.2 解压JDK ###

tar -zxvf  jdk-8u231-linux-x64.tar.gz

### 3.3 配置JDK的环境变量 ###

vim /etc/profile

跳转到最后一行，添加以下内容：

export JAVA_HOME=JDK解压的全路径
    export PATH=$PATH:$JAVA_HOME/bin

### 3.4 使用文件立即生效 ###

source /etc/profile

### 3.5 测试 ###

javac

-g                         Generate all debugging info
      -g:none                    Generate no debugging info
      -g:{lines,vars,source}     Generate only some debugging info
      -nowarn                    Generate no warnings
      -verbose                   Output messages about what the compiler is doing
      -deprecation               Output source locations where deprecated APIs are used

出现上述内容代表JDK配置成功！

### 3.6 修改ES配置文件 ###

进入ES解压后的文件夹，进入config目录

vim elasticsearch.yml

修改以下配置：

*  修改集群的名称，此处没有具体的限制

cluster.name: my-cluster

*  修改ES的节点名称（节点就是在整个ES集群中某一台服务器）

node.name: node-1

*  配置ES缓存库来存放数据的文件夹（推荐修改到ES的根目录下创建文件夹data）

path.data: /usr/local/apps/elasticsearch-6.4.0/data

*  配置ES所存放的日志的目录（推荐放到ES根目录的logs目录）

path.logs:  /usr/local/apps/elasticsearch-6.4.0/logs

*  因为ES中的数据是在内存中，并且内存和硬盘是需要进行交互的，所以ES非常消耗内存，有时候或造成内存跑满的情况，使用配置一个内存机制（内存锁）对计算机的内存进行保护，确保JVM内存不会被跑满。我们不需要这个机制，所以设置成false

bootstrap.memory_lock: false

*  配置ES所绑定服务器的IP地址

network.host:主机IP

*  配置ES的端口号，推荐默认9200端口号，如果想改也可以更改（如果配置的是伪集群，ES的端口必须更改）

http.port：9200

*  配置集群节点  
    此例子只配置一台ES

discovery.zen.ping.unicast.hosts: ["主机IP"]

如果是一个ES集群

discovery.zen.ping.unicast.hosts: ["主机01IP","主机02IP",....]

### 3.7 启动ES ###

**启动ES的时候，不能使用root用户，因为root的用户的权限太大，ES防止root用户篡改ES配置文件。所以需要重新创建一个用户：例如：esuser(名字随便)**

*  添加用户

useradd 用户名

*  设置密码

passwd 用户名

*  给新用户授权

chown -R 用户名 /ES解压的目录

*  切换到新用户来启动ES  
    在ES的bin目录下启动

./elasticsearch

看到以下信息表示启动成功

[2020-03-20T09:22:39,716][INFO ][o.e.l.LicenseService     ] [node-1] license
    [1b33a55a-6017-47e3-ab94-4f44e460f3bc] mode [basic] - valid

*  验证  
    打开浏览器输入：

主机IP：9200

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw_size_16_color_FFFFFF_t_70 2]显示上述图片中的内容代表启动成功！

### 3.8 ES在启动遇到的问题以及解决方案 ###

**问题一：**

org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: 
    can not run elasticsearch as root

解决方案：同上，新创建一个用户

**问题二：**

java.lang.UnsupportedOperationException: seccomp unavailable:
     CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and 
     CONFIG_SECCOMP_FILTER are needed

在ES运行期间，需要去加载CONFIG\_SECCOMP和CONFIG\_SECCOMP\_FILTER，去加载这些  
配置的时候发现CentOs6.X默认没有。  
解决方案：  
不让ES去加载CONFIG\_SECCOMP，此时我们需要修改elasticsearch.yml配置文件

在config文件夹中

vim elasticsearch.yml

在最后一行添加：

bootstrap.system_call_filter: false

**问题三：**

max file descriptors [4096] for elasticsearch process is too low,
     increase to at least [65536]

系统默认给所有程序配置文件描述器（java是一个解释性语言）默认给了4096，但是对ES来说 不够用，ES至少需要65536  
解决方案：  
去修改linux为文件所提供的最大线程数

vim /etc/security/limits.conf
    * soft nproc 655350
    * soft nofile 655350
    * hard nproc 655350
    * hard nofile 655350

**问题四：**

max number of threads [1024] for user [esuser] is too low, 
    increase to at least [4096]

linux默认给所有用户所提供的，可操作最大线程数是1024，但是esuser这个用户是需要操作ES的对于ES来说就不够，ES最低需要4096  
解决方案：

vim /etc/security/limits.d/90-nproc.conf
    *          soft    nproc     4096
    root       soft    nproc     unlimited

**问题五：**

max virtual memory areas vm.max_map_count [65530] is too low, 
    increase to at least [262144]
     Linux系统所默认分配的虚拟内存是65530，ES不够用，至少要增加到262144

解决方案：

vim /etc/sysctl.conf

使用大写G跳转到文本的末尾，添加：

vm.max_map_count = 262144

让配置立即生效

sysctl -p

**问题六：**

.Exception in thread "main" java.nio.file.AccessDeniedException: 
    /home/apps/elasticsearch-6.4.0/config/jvm.options

这个异常之所以会出现，是因为之前使用root运行过一次。ES就会在data目录中生 成节点的数据信息。

解决方案：

切换root用户将node中的信息删除。如果在之前没有使用过root用户启动ES，此问题不会出现。

## 4.安装kibana ##

### 4.1 解压kibana ###

tar -zxvf  kibana-6.4.0-linux-x86_64.tar.gz

### 4.2 进入解压后的kibana中的config ###

vim kibana.yml

### 4.3 配置kibana的端口号 ###

\*\*注意：\*\*一定不要和ES的端口号一致，默认为5601

server.port:5601

### 4.4 配置kibana的IP地址 ###

\*\*注意：\*\*必须要带上双引号，否则不生效

server.host: "主机IP"

### 4.5 配置ES的IP地址 ###

\*\*注意：\*\*一定要带双引号和http://

elasticsearch.url: "http://ES主机IP:9200"

### 4.6 运行kibana ###

在bin目录下运行

./kibana

### 4.7 测试 ###

在浏览器地址栏中输入：

主机IP：5601

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw_size_16_color_FFFFFF_t_70 3]显示上述图片，代表启动成功！

### 4.8 kibana的三种状态 ###

红色：报错状态，程序已经不能正常运行了  
绿色：一切正常  
黄色：有些配置违反了kibana的规定，可能会出现问题，但是目前不影响kibana的正常运行。

[jdk]: https://pan.baidu.com/s/139o_JO-uuanLKmu8lGJThA
[es]: https://pan.baidu.com/s/1WO1eUD7fUW0DfVDc0oY_Kg
[kibana]: https://pan.baidu.com/s/1mIqgwIH22_1ULIOrf3sy-g
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200319173839662.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200322134655387.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2020032214195987.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200322145007892.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNzg1MjUw,size_16,color_FFFFFF,t_70