Nginx和consul 组合-yellowcong

桃扇骨 2022-03-18 15:15 623阅读 0赞

> 本例子简单介绍了nginx和consul 的组合，其中需要注意的点是 1. nginx 编译安装。2.consul 安装 。3.consul 添加acl权限，设置匿名用户权限，以及创建token。4.通过upsync插件实现nginx和consul 的结合。

## 学习准备 ##

1.  [Consul之ACL加上token-yellowcong][Consul_ACL_token-yellowcong]
2.  [nginx编译安装][nginx]

## nginx 依赖的模块 ##

nginx\_upstream\_check\_module：nginx主动健康检查模块  
https://github.com/xiaokai-wang/nginx\_upstream\_check\_module

nginx-upsync-module：nginx服务发现模块  
https://github.com/weibocom/nginx-upsync-module

## 2 nginx 安装 ##

### 2.1 添加用户 ###

我们设定nginx 的启动用户是 www用户，所以我们需要创建www用户

#添加www 用户
    groupadd -f www
    useradd -g www www

### 2.2 安装nginx的依赖 ###

对于nginx编译安装需要先安装编译 的工具，然后再安装nginx依赖

yum -y install gcc gcc-c++ autoconf automake make      
    yum -y install zlib zlib-devel openssl openssl-devel pcre pcre-devel
    
    # 安装git,好下载插件
    yum -y install git

### 2.3 编译安装 ###

#下载安装包
    wget http://nginx.org/download/nginx-1.10.1.tar.gz
    
    #解压 /usr/local/nginx 目录
    tar -zxvf nginx-1.10.1.tar.gz
    
    #下载插件
    git clone https://github.com/weibocom/nginx-upsync-module.git
    #nginx 检查模块
    git clone https://github.com/xiaokai-wang/nginx_upstream_check_module.git
    
    #进入nginx 目录，然后执行patch，给nginx打补丁
    cd nginx-1.10.1
    patch -p1 <  /data/nginx_upstream_check_module/check.patch
    
    # 配置需要安装的模块以及目录
    ./configure \
    --prefix=/usr/local/nginx \
    --user=www \
    --group=www \
    --with-http_ssl_module \
    --with-http_flv_module \
    --with-http_stub_status_module \
    --with-http_ssl_module \
    --with-http_gzip_static_module \
    --with-stream \
    --with-http_sub_module \
    --with-http_realip_module \
    --http-client-body-temp-path=/var/tmp/nginx/client \
    --http-proxy-temp-path=/var/tmp/nginx/proxy \
    --http-fastcgi-temp-path=/var/tmp/nginx/fcgi \
    --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
    --http-scgi-temp-path=/var/tmp/nginx/scgi \
    --add-module=../nginx-upsync-module \
    --add-module=../nginx_upstream_check_module
    
    #安装nginx，如果不指定 这些路径，编译安装nginx后，--http-client-body-temp-path、--http-proxy-temp-path、--http-fastcgi-temp-path、--http-uwsgi-temp-path、--http-scgi-temp-path默认的路径就在/usr/local/nginx下，分别是client_body_temp、proxy_temp、fastcgi_temp、scgi_temp、uwsgi_temp
    
    
    # 编译安装
    make && make install

参数说明

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>说明</th> 
   <th>参考文章</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>with-http_stub_status_module</td> 
   <td>可以查看nginx的状态,连接数</td> 
   <td>https://www.cnblogs.com/94cool/p/3872492.html</td> 
  </tr> 
  <tr> 
   <td>with-http_ssl_module</td> 
   <td>加上密钥验证，支持https</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>with-stream</td> 
   <td>支持tcp代理</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>with-http_gzip_static_module</td> 
   <td>对静态文件传输进行压缩</td> 
   <td>https://blog.csdn.net/qq_36431213/article/details/78221189</td> 
  </tr> 
  <tr> 
   <td>with-http_sub_module</td> 
   <td>进行返回的字符串进行替换</td> 
   <td>http://www.ttlsa.com/linux/nginx-modules-ngx_http_sub_module/</td> 
  </tr> 
  <tr> 
   <td>with-http_realip_module</td> 
   <td>多重代理ip的设定</td> 
   <td>https://blog.csdn.net/cscrazybing/article/details/50789234</td> 
  </tr> 
 </tbody> 
</table>

我们下载了upstream\_check\_module以及 upsync-module两个模块。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70]

进入到nginx的安装目录，然后在安装目录执行`patch -p1 < /data/nginx_upstream_check_module/check.patch`命令，给nginx打补丁。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 1]

编译成功的消息，可以看到nginx的模块都放到了`/usr/local/nginx/modules` 这个目录  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 2]

## 3 安装consul ##

官网 https://www.consul.io ， 我们可以下载自己平台的consul ，这个地方，我们的系统是centos7的系统  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 3]

# 下载centos7 版本的consul
    wget https://releases.hashicorp.com/consul/1.4.2/consul_1.4.2_linux_amd64.zip
    
    #解压 consul
    unzip consul_1.4.2_linux_amd64.zip
    
    # 创建目录
    mkdir /etc/consul
    #启动服务
    ./consul agent -dev -ui -node=local   -bootstrap-expect=1  -client=0.0.0.0 -config-dir=/etc/consul

访问web的服务，查看consul的web信息 http://192.168.100.10:8500/ui/  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 4]

### 3.2 acl 添加 ###

这个地方需要注意的是，value默认值为\{“weight”:1, “max\_fails”:2, “fail\_timeout”:10\}，所以不配置value也是可以的 。

# 添加kv的数据，设定upstreams中，sso-proxy这个upstream的后端机器信息
    curl -X PUT -d '{"weight":1, "max_fails":2, "fail_timeout":10}' http://127.0.0.1:8500/v1/kv/upstreams/sso-proxy/192.168.1.11:8080
    curl -X PUT -d '{"weight":1, "max_fails":2, "fail_timeout":10}' http://127.0.0.1:8500/v1/kv/upstreams/sso-proxy/192.168.1.12:8080

给sso-proxy 这个服务，添加了两台机器  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 5]

在后台的管控台上，我们可以看到节点已经添加到后台了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 6]

点进去，可以看到每个节点配置的权重信息，失败次数设定。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 7]

这个就相当于给服务的upstream下面配置了

server 192.168.1.11:8080 weight=10 max_fails=0 fail_timeout=10s;
    server 192.168.1.12:8080 weight=10 max_fails=0 fail_timeout=10s;

### 3.3 acl 标记下线一台节点 ###

这种方式，相当于是标记这台机器下线了。

curl -X PUT -d '{"weight":1, "max_fails":2, "fail_timeout":10, "down":1}' http://127.0.0.1:8500/v1/kv/upstreams/sso-proxy/192.168.1.11:8080

标记下线，在upstream中已经存在，但是标记下线了。  
![在这里插入图片描述][20190224154738459.png]  
从后台可以看到，节点的值已经为down:1了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 8]  
这个就相当于更改了之前的upstream配置,down 手动标记为下线（不再处理任何用户请求），维护时使用；

server 192.168.1.11:8080 weight=10 max_fails=0 fail_timeout=10s down;
    server 192.168.1.12:8080 weight=10 max_fails=0 fail_timeout=10s;

### 3.4 删除节点 ###

这种做法，就相当于是直接删除了这个节点的配置

curl -X DELETE http://127.0.0.1:8500/v1/kv/upstreams/sso-proxy/192.168.1.11:8080

![在这里插入图片描述][20190224155933964.png]  
管控台后面可以看到，这个节点已经被干掉了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 9]

## 4 使用upsync ##

nginx配置upsync这个插件的时候，大致步骤： 1. 创建一个backentd.txt ,这个命名随意， 然后添加机器信息到这个文件里面。2. 执行nginx -t测试配置。3.执行nginx -s reload 执行重载配置，4.检查新的backend的配置是否OK。5.动态更新的时候，就是通过curl 来动态的修改consul的值，然后更新到nginx上。

--------------------

为了安全，consul需要设置acl的访问权限，需要创建token信息，然后通过token去访问consul的更新或删除，读取权限必须设置为匿名用户即可。

### 4.1 创建backend.txt ###

nginx使用upsync的时候，需要将内存的信息dump到文本中，然后倒入到nginx， 开始的时候，需要设置一个假数据，骗过nginx的自检

vim /usr/local/nginx/conf/vhost/backend.txt
    
    #添加一条测试的配置
    server 192.168.1.14:8080 weight=1 max_fails=2 fail_timeout=10s;

### 4.2 配置nginx ###

配置后测试，重载nginx，consul的数据都倒入到里面了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 10]

### 4.3 完整配置 ###

upstream  proxy_yellowcong{
            upsync 192.168.100.10:8500/v1/kv/upstreams/sso-proxy/ upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
            upsync_dump_path /usr/local/nginx/conf/vhost/backend.txt;
            include /usr/local/nginx/conf/vhost/backend.txt;
            keepalive 1024;
    }
    server
    {
    	listen 80;
    
    	server_name *.yellowcong.com;
    
    	index index.jsp index.html index.htm index.php default.html default.htm default.php;
    #	root  /data/wwwroot/sso.yellowcong.com/public;
    
    
    	location / {
    		proxy_next_upstream error timeout http_500 http_502 http_503 http_504 http_404;
    		proxy_read_timeout 5s;
    
    		proxy_set_header Connection "";
    		proxy_connect_timeout 5;
    
    		proxy_set_header Host $host;
    		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    		proxy_set_header X-Real-IP $remote_addr;
    		#request id 这个是 nginx 1.11.0 后才有的
    		#proxy_set_header X-Request-Id $request_id;
    		proxy_pass http://proxy_yellowcong;
     	}
    
    	location ~ ^/(WEB-INF)/ {
    		deny all;
    	}
    
    	location /nginx_status {
    		stub_status on;
    		access_log   off;
    	}
    
    	location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$	{
    		expires      30d;
    	}
    
    	location ~ .*\.(js|css)?$ {
    		expires      12h;
    	}
    	location = /favicon.ico {
    		log_not_found off;
    		access_log off;
    	}
    	location = /robots.txt {
    		log_not_found off;
    		access_log off;
    	}
    
    	location ~/\. {
    		deny all;
    		access_log off;
    		log_not_found off;
    	}
    
    	location ~ /\.(ht|svn|git) {
    		deny all;
    	}
    
    	access_log  /data/nginx_logs/access.log  access; 
    }

### 4.4 测试添加机器 ###

根据token，来添加机器 ，这个地方请求consul的接口，来添加机器

curl -X PUT  -H 'x-consul-token:10a2766d-c8cd-e190-477a-46f5df2b7918' -d '{"weight":1, "max_fails":2, "fail_timeout":10}' http://127.0.0.1:8500/v1/kv/upstreams/sso-proxy/192.168.1.12:8080

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 11]

### 4.5 下线机器 ###

这种下线方式，通过给这台机器加上一个 down的标签，表示下线，nginx就不会再给这台机器转发流量了。

curl -X PUT  -H 'x-consul-token:10a2766d-c8cd-e190-477a-46f5df2b7918' -d '{"weight":1, "max_fails":2, "fail_timeout":10, "down":1}' http://127.0.0.1:8500/v1/kv/upstreams/sso-proxy/192.168.1.12:8080

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 12]

### 4.6 删除机器 ###

这种方式就比较的暴力了，直接将这条数据给删除掉了

curl -X DELETE  -H 'x-consul-token:10a2766d-c8cd-e190-477a-46f5df2b7918' http://127.0.0.1:8500/v1/kv/upstreams/sso-proxy/192.168.1.12:8080

可以发现，我们已经找不到IP为12 的这个机器了，这条机器信息，已经从consul中给干掉了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 13]

## 常见问题 ##

### 1 ./configure: error: invalid option “–with-stream” ###

编译的时候，加上 --with-stream不好用，导致这个问题是由于nginx 1.9.0后，才支持这个模块。

The ngx_stream_core_module module is available since version 1.9.0. This module is not built by default, it should be enabled with the --with-stream configuration parameter.

![在这里插入图片描述][2019022413100470.png]  
http://nginx.org/en/docs/stream/ngx\_stream\_core\_module.html

### 2. No such file or directory ###

配置sync之后，通过include的方式来获取文本，但是nginx的健康检查过不去，所以需要建立一个backend.txt这个文件，随便填一个配置，骗过nginx

vim /usr/local/nginx/conf/vhost/backend.txt
    
    #添加一条测试的配置
    server 192.168.1.14:8080 weight=1 max_fails=2 fail_timeout=10s;

![在这里插入图片描述][20190226230014859.png]

## 参考文章 ##

https://www.cnblogs.com/wangzhisdu/p/7762715.html  
https://blog.csdn.net/qq\_29247945/article/details/80787014  
https://www.cnblogs.com/kevingrace/p/5882006.html

[Consul_ACL_token-yellowcong]: https://blog.csdn.net/yelllowcong/article/details/87904394
[nginx]: https://blog.csdn.net/yelllowcong/article/details/76382900
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70]: /images/20220318/c58136761b39497492a5bd7837e5ac5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 1]: /images/20220318/6a8dc26aebf44608af57dc4203f1b8c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 2]: /images/20220318/fb89059fd90d4ff3b43b474ce85eb012.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 3]: /images/20220318/f02b4e247cf74bc686abf4cf65d02ca8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 4]: /images/20220318/831839c029904d81b5f70fcf6afb7dda.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 5]: /images/20220318/68d8aed2bccc417189bf79137426d5ec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 6]: /images/20220318/9bb2ab9ffb9a4006b3d5e2f4c77b2741.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 7]: /images/20220318/414fed9feb3f4886aaacc2c90d43e58d.png
[20190224154738459.png]: /images/20220318/10be8298189c4e6c93817958bf41f939.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 8]: /images/20220318/d361b0ceb4664299b35e9662015a8b38.png
[20190224155933964.png]: /images/20220318/d125dd9b3ed14494a229d01046d23025.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 9]: /images/20220318/037e1cd16da8493ca64ece6f05f8c468.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 10]: /images/20220318/7b63a20cef7842a6aa968a532d9e66d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 11]: /images/20220318/e7f0cf2a123743e8a1d0b19f1ce5f9e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 12]: /images/20220318/f105fed6254643dda67afc19fdc003ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 13]: /images/20220318/2e3c64d7b5084031a23cb9f3ac3daa31.png
[2019022413100470.png]: /images/20220318/b0f8e257041b4247bad3e7ee9b4db509.png
[20190226230014859.png]: /images/20220318/c9ff23083ce2447282f34bccf0e3a3ba.png