白嫖腾讯一个月的ES，实现了MySQL实时监控

爱被打了一巴掌 2023-10-11 21:22 13阅读 0赞

### 前言 ###

《腾讯云 x Elasticsearch三周年》活动来了。文章写之前的思路是：在腾讯云服务器使用docker搭建ES。但是理想很丰满,显示很骨感，在操作过程中一波三折，最后还是含着泪美滋滋地，白嫖了一个月的腾讯云ES服务。

最后就是利用腾讯云的Elasticsearch和Kibana，和我在腾讯云服务器上搭建MySQL进行了一波联动，完成了数据库内部指标的展示。

![db5248cd7cee57d5be622566de3e4b3a.jpeg][]

**<服务器搭建ES>** 部分只用作记录，可以忽略直接看 **<腾讯云领取ES的活动>** 进行后续操作。

## 一. 服务器搭建ES ##

##### 1.拉取ES镜像 #####

本来想自己编写dockerfile生成镜像，没成想ES官网提供了docker镜像，这里就使用官方镜像，操作文档参考链接：

[https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html][https_www.elastic.co_guide_en_elasticsearch_reference_current_docker.html]

docker pull docker.elastic.co/elasticsearch/elasticsearch:8.6.2

![30590a82d3a8fdde6b2de3b326f459b5.jpeg][]

##### 2. 修改Linux系统句柄 #####

# 在 /etc/sysctl.conf 末尾添加
    vm.max_map_count=262144

修改之后重启或者使用以下命令使其生效：

/sbin/sysctl -p

##### 3. 修改文件句柄和进程限制 #####

# 在 /etc/security/limits.conf 末尾添加
    * soft nofile 65536
    * hard nofile 65536

##### 4. docker安装 #####

docker我也是提前安装好了，可以参考我之前的文章

yum -y install docker-ce

如果安装集群，还需要安装docker-compose，官网提供了此种安装方式，但是我的服务内存实在太小，尝试几次之后就果断放弃了。

### 单节点ES搭建 ###

启动ES的时候，会自动启用安全认证配置，包括：

1.  生成安全证书：http\_ca.crt
2.  elasticsearch.yml.：TLS（Transport Layer Security）配置
3.  ES用户密码
4.  Kibana的注册token

##### 1. 启动单节点ES #####

# 创建es网络
    docker network create elastic

![9e2c325eb38af9410c64a50a3a1299cd.jpeg][]

##### 2. 启动单节点ES #####

# 启动单节点ES
    docker run --name es01 --net elastic -p 9200:9200 -it docker.elastic.co/elasticsearch/elasticsearch:8.6.2

在启动单节点ES的时候，终端会打印一个用户密码（用户名：**elastic**），和一个注册Kibana用的token。因为只会在第一次启动时输出，所以要保存好。

![1d4e43656afa642ed9d6acc84a563697.jpeg][]

这里使用的是前台启动，在保存好密码之后，再使用docker start后台启动容器。  
![3463f1873d8ff042f22d0c04bf95a835.jpeg][]

##### 3. 安全证书 #####

执行命令将http\_ca.crt拷贝到宿主机。

docker cp es01:/usr/share/elasticsearch/config/certs/http_ca.crt .

##### 4. 验证 #####

使用下载的安全证书和用户密码访问ES服务。

curl --cacert http_ca.crt -u elastic https://localhost:9200

![750eb59c1c2eb6c70c818971b9278761.jpeg][]  
至此，ES搭建完成。

#### 外网无法访问服务器Docker中的ES ####

测试外网无法访问服务器中的ES，需要修改以下配置：

#  /etc/sysctl.conf 默认为0，修改成1
    net.ipv4.ip_forward = 1

重启网络和es：

systemctl restart network
    docker restart es01

这样就可以外网访问到ES了。

![a13bdf8d7a933de124778373913457d5.jpeg][]

### Kibana安装 ###

docker pull docker.elastic.co/kibana/kibana:8.6.2
    docker run --name kib-01 --net elastic -p 5601:5601 docker.elastic.co/kibana/kibana:8.6.2

启动Kibana的时候会输出一个地址，去浏览器中配置。  
![cb09d28ccb756b614a952fac5ac249ff.jpeg][]

复制ES启动时生成的token填入。  
![b06bb0ae363cf0fe74a31d70d9a3310c.jpeg][]  
token过期了，可以再生成一个。

docker exec -it es01 /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana

花了老大的劲才忙活到这儿，™然后启动kibana就CPU狂飙，丐版服务器终究错付。搞了一下午无果，决定还是去腾讯云看看能不能白嫖。

![80d335b252308c58eac81f7e7fab3f19.jpeg][]

--------------------

## 二. 腾讯云ES0元活动 ##

果然到有ES白嫖一月的活动，呜呜呜呜。觉得自己是个铁憨憨。

![eb0eb59a4a17d6212277f60deea3d7b0.jpeg][]  
![41c3cd875a12895832445012d626688b.jpeg][]

购买付款。

![579ce3e8cde68228d2bc04b3c3b0dc90.jpeg][]  
两分钟完事儿，进入控制台。  
![21a7c63aa7e3173786b8ac7f2067437c.jpeg][]

可以看到集群已经分配好，查询集群架构可以发现一共三个ES、一个Kibana。

![11419692d4375e510bd81223fae2a917.jpeg][]

在*可视化配置*中添加本机的IP到白名单，就可以访问Kibana。  
![b1003a5a0bf155faf444ef348644347d.jpeg][]

点击公网访问地址，进入Kibana。

![01e7e834a823d4152c584d5825d98e2c.jpeg][]

## 三.实践应用 ##

#### 1. 添加数据 ####

在Kibana首页，进入 **Add data**，可以添加很多种类数据源。这里挑选进行操作

![fd4d8dfd74c54625a8a32ae1fcf04b8a.jpeg][]

#### 2. MySQL Metrics ####

选择 *MySQL metrics*，这个可以获取MySQL的内部指标。首先下载*metricbeat*。然后根据官方步骤完成配置：

1.  修改*metricbeat.yml*中的es和kibana的配置

![e10473d9dfe9bf80dea1c5994ea585ed.jpeg][]

1.  修改*modules.d/msyql.yml*中的mysql的配置，把query那行注释掉，否则会报错。

官方操作文档：  
![8c35657a710b6f6fe08aa1e565c8d1e3.png][]  
数据加载完成之后，点击*check data* 会提示数据成功接收。

#### 3. Dashboard ####

在Kibana首页找到*Dashboard*。  
![cf0374dc64e01dad94cc86b5926bd7e6.jpeg][]

选择导入的MySQL指标数据。

![a067eec72f945f12b35356cc0d5e9d87.jpeg][]

如图，MySQL各种指标就展示出来了。

![0372adcc40cc93f2e659dd9f32cb29fc.jpeg][]

### 结语 ###

在控制台点击几下，就完成了一下午的工作量，不得不感叹SaaS有点东西。如果对Elasticsearch和Kibana有兴趣的，在腾讯云白嫖一个挺合适的。

95后小程序员，写的都是日常工作中的亲身实践，置身于初学者的角度从0写到1，详细且认真。文章会在公众号 \[**入门到放弃之路**\] 首发，期待你的关注。  
  
![感谢每一次遇见][20210519233121183.png]

[db5248cd7cee57d5be622566de3e4b3a.jpeg]: https://img-blog.csdnimg.cn/img_convert/db5248cd7cee57d5be622566de3e4b3a.jpeg
[https_www.elastic.co_guide_en_elasticsearch_reference_current_docker.html]: https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html
[30590a82d3a8fdde6b2de3b326f459b5.jpeg]: https://img-blog.csdnimg.cn/img_convert/30590a82d3a8fdde6b2de3b326f459b5.jpeg
[9e2c325eb38af9410c64a50a3a1299cd.jpeg]: https://img-blog.csdnimg.cn/img_convert/9e2c325eb38af9410c64a50a3a1299cd.jpeg
[1d4e43656afa642ed9d6acc84a563697.jpeg]: https://img-blog.csdnimg.cn/img_convert/1d4e43656afa642ed9d6acc84a563697.jpeg
[3463f1873d8ff042f22d0c04bf95a835.jpeg]: https://img-blog.csdnimg.cn/img_convert/3463f1873d8ff042f22d0c04bf95a835.jpeg
[750eb59c1c2eb6c70c818971b9278761.jpeg]: https://img-blog.csdnimg.cn/img_convert/750eb59c1c2eb6c70c818971b9278761.jpeg
[a13bdf8d7a933de124778373913457d5.jpeg]: https://img-blog.csdnimg.cn/img_convert/a13bdf8d7a933de124778373913457d5.jpeg
[cb09d28ccb756b614a952fac5ac249ff.jpeg]: https://img-blog.csdnimg.cn/img_convert/cb09d28ccb756b614a952fac5ac249ff.jpeg
[b06bb0ae363cf0fe74a31d70d9a3310c.jpeg]: https://img-blog.csdnimg.cn/img_convert/b06bb0ae363cf0fe74a31d70d9a3310c.jpeg
[80d335b252308c58eac81f7e7fab3f19.jpeg]: https://img-blog.csdnimg.cn/img_convert/80d335b252308c58eac81f7e7fab3f19.jpeg
[eb0eb59a4a17d6212277f60deea3d7b0.jpeg]: https://img-blog.csdnimg.cn/img_convert/eb0eb59a4a17d6212277f60deea3d7b0.jpeg
[41c3cd875a12895832445012d626688b.jpeg]: https://img-blog.csdnimg.cn/img_convert/41c3cd875a12895832445012d626688b.jpeg
[579ce3e8cde68228d2bc04b3c3b0dc90.jpeg]: https://img-blog.csdnimg.cn/img_convert/579ce3e8cde68228d2bc04b3c3b0dc90.jpeg
[21a7c63aa7e3173786b8ac7f2067437c.jpeg]: https://img-blog.csdnimg.cn/img_convert/21a7c63aa7e3173786b8ac7f2067437c.jpeg
[11419692d4375e510bd81223fae2a917.jpeg]: https://img-blog.csdnimg.cn/img_convert/11419692d4375e510bd81223fae2a917.jpeg
[b1003a5a0bf155faf444ef348644347d.jpeg]: https://img-blog.csdnimg.cn/img_convert/b1003a5a0bf155faf444ef348644347d.jpeg
[01e7e834a823d4152c584d5825d98e2c.jpeg]: https://img-blog.csdnimg.cn/img_convert/01e7e834a823d4152c584d5825d98e2c.jpeg
[fd4d8dfd74c54625a8a32ae1fcf04b8a.jpeg]: https://img-blog.csdnimg.cn/img_convert/fd4d8dfd74c54625a8a32ae1fcf04b8a.jpeg
[e10473d9dfe9bf80dea1c5994ea585ed.jpeg]: https://img-blog.csdnimg.cn/img_convert/e10473d9dfe9bf80dea1c5994ea585ed.jpeg
[8c35657a710b6f6fe08aa1e565c8d1e3.png]: https://img-blog.csdnimg.cn/img_convert/8c35657a710b6f6fe08aa1e565c8d1e3.png
[cf0374dc64e01dad94cc86b5926bd7e6.jpeg]: https://img-blog.csdnimg.cn/img_convert/cf0374dc64e01dad94cc86b5926bd7e6.jpeg
[a067eec72f945f12b35356cc0d5e9d87.jpeg]: https://img-blog.csdnimg.cn/img_convert/a067eec72f945f12b35356cc0d5e9d87.jpeg
[0372adcc40cc93f2e659dd9f32cb29fc.jpeg]: https://img-blog.csdnimg.cn/img_convert/0372adcc40cc93f2e659dd9f32cb29fc.jpeg
[20210519233121183.png]: https://img-blog.csdnimg.cn/20210519233121183.png