Consul-template+Nginx实现Consul集群高可用

冷不防 2022-11-29 12:40 226阅读 0赞

### Consul-template+Nginx实现Consul集群高可用 ###

*  描述
 *   *  安装Consul集群
     *  安装并配置Nginx
     *  Consul-Template简介
     *  Consul-Template安装
     *  编写ctmpl模板
     *  Consul-Template模版语法
     *  创建启动命令脚本
     *  高可用集群验证
     *  项目配置文件

# 描述 #

目前市面上有两种提供服务发现工具，Eureka和Consul，Eureka集群、技术能力已经成熟，但是已经不维护，有一些公司用了Consul做为替代品，小编负责项目遇到一个问题，Consul集群没有实现高可用，导致RPC有段时间没有工作。。。

Consul配置文件和Eureka配置文件不一样，需要指定所有集群ip和端口并用逗号隔开，而Consul只能指定一台机器的ip和端口，所以当指定这台机器宕机以后其它服务就无法使用RPC接口。

## 安装Consul集群 ##

详情见上篇博客：。。。。。。。

## 安装并配置Nginx ##

[安装Nginx][Nginx]

在nginx.conf中添加如下include conf.d/\*.conf;配置。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2gyNzM5Nzk1ODY_size_16_color_FFFFFF_t_70_pic_center]

## Consul-Template简介 ##

Consul-Template可以查询Consul中的服务目录、Key、Key-values等。这种强大的抽象功能和查询语言模板可以使Consul-Template特别适合动态的创建配置文件。例如：创建Apache/Nginx Proxy Balancers、Haproxy Backends、Varnish Servers、Application Configurations等

*  **Quiescence：Consul-Template内置静止平衡功能，可以智能的发现Consul实例中的更改信息。这个功能可以防止频繁的更新模板而引起系统的波动。**
 *  **Dry Mode：不确定当前架构的状态，担心模板的变化会破坏子系统？无须担心。因为Consul-Template还有Dry模式。在Dry模式，Consul-Template会将结果呈现在STDOUT，所以操作员可以检查输出是否正常，以决定更换模板是否安全。**
 *  **CLI and Config：Consul-Template同时支持命令行和配置文件。**
 *  **Verbose Debugging：即使每件事你都做的近乎完美，但是有时候还是会有失败发生。Consul-Template可以提供更详细的Debug日志信息。**

## Consul-Template安装 ##

下载Consul-Template
    wget https://releases.hashicorp.com/consul-template/0.19.3/consul-template_0.19.3_linux_amd64.zip
    
    解压Consul-Template
    unzip consul-template_0.19.3_linux_amd64.zip
    
    如果没有unzip则安装
    sudo apt-get install unzip
    
    授最高权限
    chmod 777 consul-template
    
    测试是否安装成功
    consul-template -v

## 编写ctmpl模板 ##

创建consul.ctmpl(touch consul.ctmpl)文件，内容如下：

upstream consul {     
    	{ { range service "consul"}}    
    	# .Port 获取consul的8300端口，这里直接写成8500
        server { { .Address }}:{ {  .Port/8500 }} max_fails=3  fail_timeout=60 weight=1;
        { { end}}
    }
    server {    
        listen 8112;    
        server_name localhost;
        location / {    
            client_max_body_size    0;    
            proxy_connect_timeout 300s;    
            proxy_send_timeout   900;    
            proxy_read_timeout   900;    
            proxy_buffer_size    32k;    
            proxy_buffers      4 32k;    
            proxy_busy_buffers_size 64k;    
            proxy_redirect     off;    
            proxy_hide_header  Vary;    
            proxy_set_header   Accept-Encoding '';    
            proxy_set_header   Host   $host;    
            proxy_set_header   Referer $http_referer;    
            proxy_set_header   Cookie $http_cookie;    
            proxy_set_header   X-Real-IP  $remote_addr;        
            proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;    
            proxy_headers_hash_max_size 51200;    
            proxy_headers_hash_bucket_size 6400;    
            proxy_pass          http://consul;    
        }    
    }

授最高权限  
chmod 777 consul.ctmpl

## Consul-Template模版语法 ##

datacenters：在consul目录中查询所有的datacenters，{ { datacenters}}
    file：读取并输出本地磁盘上的文件，如果无法读取，则报错，{ { file "/path/to/local/file"}}
    key：查询consul中该key的值，如果无法转换成一个类字符串的值，则会报错，{ { key "service/redis/maxconns@east-aws"}} east-aws指定的是数据中心，{ { key "service/redis/maxconns"}}
    key_or_default：查询consul中该key的值，如果key不存在，则使用指定的值代替，{ { key_or_default "service/redis/maxconns@east-aws" "5"}}
    ls：在consul中查询给定前缀的key的顶级域值，{ { range ls "service/redis@east-aws"}} { { .Key}} { { .Value}}{ { end}}
    node：查询consul目录中的单个node，如果不指定node，则是当前agent的，{ { node "node1"}}
    nodes：查询consul目录中的所有nodes，你也可以指定datacenter，{ { nodes "@east-aws"}}
    service：查询consul中匹配的service组，{ { service "release.web@east-aws"}}或者{ { service "web"}}，也可以返回一组HealthService服务{ { range service "web@datacenter"}}  server { { .Name}} { { .Address}}:{ { .Port}}{ { end}}，默认值返回健康的服务，如果你想返回所有服务，则{ { service "web" "any"}}
    services：查询consul目录中的所有services，{ { services}}，也可以指定datacenter：{ { services "@east-aws"}}
    tree：查询consul中给定前缀的所有K/V值，{ { range tree "service/redis@east-aws"}} { { .Key}} { { .Value}}{ { end}}

## 创建启动命令脚本 ##

创建启动命令脚本
    touch consul-template-start.sh
    
    授最高权限
    chmod 777 consul-template-start.sh
    
    修改consul-template-start.sh内容如下：
    ./consul-template -consul-addr Consul集群Leader节点IP:8500 -template ./consul.ctmpl:/etc/nginx/conf.d/consul.conf:"nginx -s reload"

*  **consul-addr：表示其连接监听的数据来源，个人连接可靠稳定的server节点比较好;**
 *  **template：指定模板生成conf后放置自定义的Nginx配置目录;**
 *  **最后进行Nginx的重启操作;**

## 高可用集群验证 ##

运行启动命令脚本：  
sh consul-template-start.sh

如果无法启动则检查nginx配置和consul.ctmpl模板语法，看错误日志。多半是nginx无法启动。

启动成功后会在/nginx/conf.d文件中生成consul.conf文件，内容如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2gyNzM5Nzk1ODY_size_16_color_FFFFFF_t_70_pic_center 1]

除Leader节点外随便杀一个节点这个文件内容会改变，Nginx也会重启。

我们访问 Nginx IP:8112 则会显示Consul的UI界面

优点：可以通过Nginx动态实现负载均衡和高可用。  
缺点：每次宕机后Nginx都会重启。主节点宕机后Consul-Template无法监控，此时从节点也跟着宕机那么Nginx配置不会动态改变。

## 项目配置文件 ##

spring:
      cloud:
        consul:
          host: Nginx IP
          port: 8112

[Nginx]: https://blog.csdn.net/h273979586/article/details/80792676
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2gyNzM5Nzk1ODY_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/9f119305704548b5abb6a002b48832bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2gyNzM5Nzk1ODY_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/4388f2d4121745beaf7723c6f3464260.png