【ElasticSearch】使⽤ Docker 部署 ElasticSearch Linux 操作参数系统设置

逃离我推掉我的手 2024-03-27 13:50 68阅读 0赞

#### 获取合适的Elasticsearch Docker基础镜像 ####

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.4.0

#### Linux 操作系统设置(Centos 8 ) ####

##### 禁⽤内存交换(Disable Swapping) #####

> 操作系统期望尽可能多的使⽤内存作为系统缓存，所以会把⼀些应⽤当前未使⽤的内存通过策略交换到磁盘上。  
> 允许这个配置可能会把ES JVM未使⽤的内存以及可运⾏的 PageCache 交换到磁盘上，交换是 ⼀个极其损耗性能的动作，应该避免。

###### 1. 临时禁⽤内存交换 (操作系统级锁定) ######

*  不⽤重启操作系统

sudo swapoff -a

*  需要重启操作系统

vi /etc/fstab
    #注释包含`swap`的⾏

###### 2. 降低内存交换的倾向 (操作系统级锁定) ######

*  不⽤重启操作系统

sudo sysctl -w vm.swappiness=1

*  需要重启操作系统

sudo vi /proc/sys/vm/swappiness

###### 3. 允许进程锁定内存 ######

*  不⽤重启操作系统

ulimit -l unlimited

*  需要重启操作系统

vi /etc/security/limits.conf
    es_user soft memlock -1
    es_user hard memlock -1

*  验证⽂件描述设定是否⽣效

ulimit -l

###### 4. 在Linux(Centos) 上使⽤mlockall 函数把进程的进程的已分配的内存地址锁定，防⽌ ######

Elasticsearch的内存被交换到磁盘上 （进程级锁定）

*  参数配置

vim $ES_HOME/conf/elasticsearch.yml
     bootstrap.memory_lock: true

*  验证内存锁定是否⽣效

curl -XGET 'HOST:PORT/_nodes?pretty&human&filter_path=**.host,**.

##### 设置⽂件描述符(File Descriptors) #####

> Elasticsearch 需要⼤量的⽂件描述符（File Descriptors），较少的⽂件描述符号可能导致⽆ 法建⽴更多的连接，最终可能导致数据丢失。

###### 1. 临时设置最⼤虚拟内存映射总数 (操作系统级) ######

*  不⽤重启操作系统

ulimit -n 65536

*  需要重启操作系统

vi /etc/security/limits.conf
    es_user soft nofile 65536
    es_user hard nofile 65536

*  验证⽂件描述设定是否⽣效

ulimit -n

##### 最⼤映射总数 & 设置虚拟内存(Max Map Count & Virtual Memory) #####

> Elasticsearch 是构建在Lucene之上的分布式搜索引擎，Lucene 在64位 Linux 操作系统中默认 采⽤MMapDirectory 来存储底层索引， 在操作系统中，默认mmap count 设置的⽐较⼩，可能会导致内存不⾜的异常。

###### 1. 临时设置最⼤虚拟内存映射总数 (操作系统级) ######

*  不⽤重启操作系统

sysctl -w vm.max_map_count=262144

*  需要重启操作系统

vi /etc/sysctl.conf
    vm.max_map_count = 262144

*  验证最⼤虚拟内存映射总数是否⽣效

sysctl vm.max_map_count

###### 2. 临时设置虚拟内存地址限制 (操作系统级) ######

*  不⽤重启操作系统

ulimit -v unlimited

*  需要重启操作系统

vi /etc/security/limits.conf
    es_user soft as unlimited
    es_user hard as unlimited
    ulimit -v 111211123

*  验证虚拟内存地址限制是否⽣效

ulimit -v

##### 设置允许⽤⼾创建的最⼤线程数(Max User processes) #####

> Elasticsearch 节点内部使⽤多个线程库⽤于处理不同模块的⼯作，若设置的过⼩，可能会因 为⽆法创建线程导致请求或者集群异常。

###### 1. 临时增⼤⽤⼾最⼤线程个数限制 (操作系统级) ######

*  不⽤重启操作系统

ulimit -u 10240

*  需要重启操作系统

vi /etc/security/limits.conf
    es_user soft nproc 10240
    es_user hard nproc 10240

*  验证⽂件描述设定是否⽣效

ulimit -u

##### 设置最⼤⽂件空间占⽤(Max File Size) #####

> Elasticsearch 的索引⽂件(单Segment ⽂件 | 单translog ⽇志⽂件可能会占⽤⼤量的磁盘)，若 操作系统不⽀持可能会丢失数据

###### 1. 临时移除最⼤⽂件磁盘占⽤限制 (操作系统级) ######

*  不⽤重启操作系统

ulimit -f unlimited

*  需要重启操作系统

vi /etc/security/limits.conf
    es_user soft fsize unlimited
    es_user hard fsize unlimited

*  验证最⼤⽂件磁盘占⽤限定是否⽣效

ulimit -f

发表评论取消回复

表情：

评论列表（有 0 条评论，68人围观）

还没有评论，来说两句吧...

相关阅读

相关【ElasticSearch】使⽤ Docker 部署 ElasticSearch Linux 操作参数系统设置

获取合适的Elasticsearch Docker基础镜像 docker pull docker.elastic.co/elasticsearch/elastic

逃离我推掉我的手/ 2024年03月27日 13:50/ 0 赞/ 69 阅读

相关部署ElasticSearch和Kibana（docker）

文章目录部署-ElasticSearch 拉取镜像准备创建镜像实例检查部署kibana

妖狐艹你老母/ 2024年03月26日 16:02/ 0 赞/ 63 阅读

相关 Docker安装部署ElasticSearch

1.部署单点`ElasticSearch` 1.1.创建网络因为我们还需要部署`kibana`容器，因此需要让`ElasticSearch`和`kibana`容器

你的名字/ 2024年03月24日 13:30/ 0 赞/ 85 阅读

相关 ElasticSearch7.2之索引别名的使⽤

别名有什么⽤ > 在开发中，随着业务需求的迭代，较⽼的业务逻辑就要⾯临更新甚⾄是重构，⽽对于es来说，为了适应新的业务逻辑，可能就要对原有的索引做⼀些修改，⽐如对某

爱被打了一巴掌/ 2023年06月16日 07:57/ 0 赞/ 9 阅读

相关 Docker 部署 Elasticsearch - 权限认证

Elasticsearch 认证插件选择这里选择一个免费的：社区插件 Readonly REST 下载地址：[https://readonlyrest.com/

客官°小女子只卖身不卖艺/ 2023年02月23日 08:19/ 0 赞/ 10 阅读

相关 Docker 部署 Elasticsearch

Docker 部署 Elasticsearch 1. 官方镜像地址 https://hub.docker.com/\_/elasticsearch/ 2. 拉取

末蓝、/ 2022年12月18日 15:58/ 0 赞/ 365 阅读

相关 docker-部署Elasticsearch

前言 Elasticsearch是一款开源的搜索引擎框架，提供强大的搜索功能。下面简单介绍如何使用docker来部署Elasticsearch。更多信息请参考[官方文档]

悠悠/ 2022年12月11日 15:00/ 0 赞/ 337 阅读

相关 Docker部署ElasticSearch

前提 ElasticSearch 6.5.2 步骤一、docker下载ES镜像 docker pull docker.io/elastics

绝地灬酷狼/ 2022年12月01日 12:27/ 0 赞/ 308 阅读

相关 docker部署elasticsearch

一。首先安装docker，在Linux系统依次输入以下命令。 1.sudo yum install -y yum-utils device-mapper-persisten

古城微笑少年丶/ 2022年11月21日 04:06/ 0 赞/ 316 阅读

相关 Linux部署Elasticsearch(一）：下载和部署Elasticsearch

Linux安装好jdk1.8 下载elasticsearch 可以进入[https://www.elastic.co/downloads/elasticsearch][ht

红太狼/ 2022年03月15日 05:44/ 1 赞/ 540 阅读