【Openresty】高性能可伸缩web平台Openresty

小咪咪 2023-10-09 14:59 39阅读 0赞

#### Openresty ####

*  一、What is Openresty？
 *  二、Linux的Lua运行环境
 *  三、Openresty运行环境
 *   *  1、下载安装
     *  2、启动与关闭
 *  四、Openresty使用
 *   *  1、基于Openresty开发http服务；
     *  2、Openresty连接MySQL
     *  3、Openresty连接Redis
     *  4、Openresty动态模板渲染
 *  五、Openresty实现灰度发布
 *  六、Openresty实现黑名单

## 一、What is Openresty？ ##

High Performance Web Platform Based on Nginx and LuaJIT.  
基于Nginx和LuaJIT的高性能Web平台；  
我们知道，Nginx 是一个高性能的web服务器；  
OpenResty是一个成熟的Web应用程序服务器，它捆绑了标准的nginx核心、许多第三方的nginx模块以及这些模块的大多数外部依赖项，总之Openresty只是新增了一些模块插件对nginx的增强，nginx本身拥有的功能不变，依旧可以使用；  
Openresty核心作者：章亦春；  
另外还有一位开发人员：[https://github.com/chaoslawful][https_github.com_chaoslawful]  
OpenResty是一个基于 Nginx与Lua的高性能Web平台，其内部集成了大量精良的Lua 库、第三方模块以及大多数的依赖项，用于方便地搭建能够处理超高并发、扩展性极高的动态Web应用、Web服务和动态网关；  
![在这里插入图片描述][5ece5d469b98403da3fa75ab15351de5.png]  
OpenResty通过汇聚各种设计精良的Nginx模块，从而将Nginx有效地变成一个强大的通用Web应用平台，让Web开发人员和后端工程师可以使用 Lua 脚本语言调用Nginx支持的各种C以及Lua模块，快速构建出足以胜任10K乃至1000K以上单机并发连接的高性能Web应用系统；  
OpenResty的目标是让你的Web服务直接跑在 Nginx 服务内部，充分利用 Nginx 的非阻塞 I/O 模型，不仅可以HTTP请求,也可以对远程后端 MySQL、PostgreSQL、Memcached 以及 Redis 等进行请求；  
默认情况下，有一些组件没有启用，如果需要启动，在安装configure的时候需要通过 --with-xxxx的方式启用；  
Openresty应用场景包括提供 负载均衡、请求路由、安全认证、服务鉴权、流量控制、模板渲染、日志监控、服务网关（kong、Orange）等；  
Openresty应用也很广，奇虎360，京东、百度、魅族、知乎、优酷、新浪这些互联网公司都在使用；  
**LuaJIT（https://luajit.org/）** Luajit即Lua Just-In-Time，也就是Lua运行时编译器，可以说是lua的一个高效版，Lua （www.lua.org）是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放，其设计目的是为了嵌入应用程序中而开发的一个脚本语言，从而为应用程序提供灵活的扩展和定制功能；

**Lua**是巴西里约热内卢天主教大学(Pontifical Catholic University of Rio de Janeiro)里的一个由Roberto Ierusalimschy、Waldemar Celes 和 Luiz Henrique de Figueiredo三人所组成的研究小组于1993年开发的；

## 二、Linux的Lua运行环境 ##

yum install readline-devel -y
    
    curl -R -O http://www.lua.org/ftp/lua-5.3.5.tar.gz
    tar zxf lua-5.3.5.tar.gz
    cd lua-5.3.5
    make linux test

Lua环境是可以选的，不安装也不影响安装Openresty；  
测试创建一个 HelloWorld.lua 文件:

print("Hello World!")
    执行以下命令:
    $ lua HelloWorld.lua
    输出结果：
    Hello World!

## 三、Openresty运行环境 ##

中文官网：[https://openresty.org/cn][https_openresty.org_cn] （免费开源版）  
英文官网：https://openresty.org/en  
商业服务版：https://openresty.com.cn/cn/  
源码Github：https://github.com/openresty/

### 1、下载安装 ###

下载：https://openresty.org/cn/download.html  
openresty-1.15.8.3.tar.gz  
1、Centos7，安装依赖库：yum install pcre-devel openssl-devel gcc curl -y  
2、解压 tar -zxvf openresty-1.15.8.3.tar.gz  
3、切换到解压后的目录cd openresty-1.15.8.3  
4、执行配置./configure --prefix=/usr/local/openresty  
查看帮助 ./configure --help  
5、执行编译 make  
6、执行安装 make install

### 2、启动与关闭 ###

启动与关闭和Nginx完全一样，Openresty是Nginx的加强版；  
切换到 `/usr/local/openresty/nginx/sbin`目录下  
启动执行：`./nginx`  
关闭执行：`./nginx -s quit 或者 ./nginx -s stop`  
测试配置文件：

/usr/local/openresty/nginx/sbin/nginx -c /usr/local/openresty/nginx/conf/nginx.conf -t

指定配置文件启动：

./nginx -c /usr/local/openresty/nginx/conf/nginx.conf
    
    /usr/local/openresty/nginx/sbin/nginx -c /usr/local/openresty/nginx/conf/nginx.conf -t

## 四、Openresty使用 ##

### 1、基于Openresty开发http服务； ###

Openresty是基于Nginx的，**openresty = nginx + 一些 nginx 模块的集合**，Nginx的各种功能或应用场景的实现，我们是采用在nginx.conf配置文件中完成的，那么openresty其实也是在nginx.conf配置文件中完成我们需要的功能，也就是说我们使用openresty，其实是面向nginx.conf配置文件增加配置和编写一些lua编程；

location / {
 
 	default_type text/html;
 	content_by_lua_block {
 
 		ngx.say("hello, Openresty")
 	}
 }

Nginx共11个处理阶段，而相应的处理阶段是可以做插入式处理，即可插拔式架构，可以在http、server、location几个范围进行配置：  
![在这里插入图片描述][3aea2513e9814f4b8ad8fcd8c3333fd5.png]

### 2、Openresty连接MySQL ###

以下是连接mysql的一个lua脚本代码：

local function close_db(db)
 if not db then
 return
 end
 db:close()
 end
 local mysql = require("resty.mysql")
 local db, err = mysql:new()
 if not db then
 ngx.say("new mysql error : ", err)
 return
 end
 db:set_timeout(1000)
 local props = {
 
 host = "127.0.0.1",
 port = 3306,
 database = "test",
 user = "root",
 password = "123456"
 }
 local res, err, errno, sqlstate = db:connect(props)
 
 if not res then
 ngx.say("connect to mysql error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
 return close_db(db)
 end
 local drop_table_sql = "drop table if exists test"
 res, err, errno, sqlstate = db:query(drop_table_sql)
 if not res then
 ngx.say("drop table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
 return close_db(db)
 end
 local create_table_sql = "create table test(id int primary key auto_increment, ch varchar(100))"
 res, err, errno, sqlstate = db:query(create_table_sql)
 if not res then
 ngx.say("create table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
 return close_db(db)
 end
 local insert_sql = "insert into test (ch) values('hello')"
 res, err, errno, sqlstate = db:query(insert_sql)
 if not res then
 ngx.say("insert error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
 return close_db(db)
 end
 res, err, errno, sqlstate = db:query(insert_sql)
 ngx.say("insert rows : ", res.affected_rows, " , id : ", res.insert_id, " ")
 local update_sql = "update test set ch = 'hello2' where id =" .. res.insert_id
 res, err, errno, sqlstate = db:query(update_sql)
 if not res then
 ngx.say("update error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
 return close_db(db)
 end
 ngx.say("update rows : ", res.affected_rows, " ")
 local select_sql = "select id, ch from test"
 res, err, errno, sqlstate = db:query(select_sql)
 if not res then
 ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
 return close_db(db)
 end
 for i, row in ipairs(res) do
 for name, value in pairs(row) do
 ngx.say("select row ", i, " : ", name, " = ", value, " ")
 end
 end
 ngx.say(" ")
 local ch_param = ngx.req.get_uri_args()["ch"] or ''
 local query_sql = "select id, ch from test where ch = " .. ngx.quote_sql_str(ch_param)
 res, err, errno, sqlstate = db:query(query_sql)
 if not res then
 ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
 return close_db(db)
 end
 for i, row in ipairs(res) do
 for name, value in pairs(row) do
 ngx.say("select row ", i, " : ", name, " = ", value, " ")
 end
 end
 local delete_sql = "delete from test"
 res, err, errno, sqlstate = db:query(delete_sql)
 if not res then
 ngx.say("delete error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
 return close_db(db)
 end
 ngx.say("delete rows : ", res.affected_rows, " ")

### 3、Openresty连接Redis ###

以下是连接Redis的lua脚本代码；
    local function close_redis(red)
        if not red then
            return
        end
        local pool_max_idle_time = 10000 --毫秒
        local pool_size = 100 --连接池大小
        local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
        if not ok then
            ngx.say("set keepalive error : ", err)
        end
    end
    local redis = require("resty.redis")
    local red = redis:new()
    red:set_timeout(1000)
    local ip = "127.0.0.1"
    local port = 6379
    local ok, err = red:connect(ip, port)
    if not ok then
        ngx.say("connect to redis error : ", err)
        return close_redis(red)
    end
    local res, err = red:auth("123456")
    if not res then
        ngx.say("set msg error : ", err)
        return close_redis(red)
    end
    ok, err = red:set("msg", "hello world")
    if not ok then
        ngx.say("set msg error : ", err)
        return close_redis(red)
    end
    local resp, err = red:get("msg")
    if not resp then
        ngx.say("get msg error : ", err)
        return close_redis(red)
    end
    if resp == ngx.null then
        resp = ''
    end
    ngx.say("msg : ", resp)
    close_redis(red)

### 4、Openresty动态模板渲染 ###

Lua有很好的生态，也就是有很多第三方开发库，比如Redis、Memcached、MySQL、Http客户端、JSON、模板引擎等，一些常见的Lua库可以在github上搜索https://github.com/search?utf8=%E2%9C%93&q=lua+resty  
下面我们要介绍的一款Lua比较常用的模板引擎库：lua-resty-template  
Github地址：[https://github.com/bungle/lua-resty-template][https_github.com_bungle_lua-resty-template]

我们开发中网页数据通常是动态的，如果全部是静态的可以直接生成html页面即可，如果是动态web网页，那么就需要动态页面渲染技术，像早些年的jsp、servlet就能开发动态网页，同时像Java领域的模板技术freemarker、velocity、thymeleaf等也可以实现动态网页，这些技术是在服务端渲染好然后向客户端输出html进行展示，而Openresty也有许多模板引擎，比如lua-resty-template，可以渲染很复杂的页面；  
如果学习过JavaEE中的servlet和JSP的话，应该知道JSP模板最终会被翻译成Servlet来执行，而lua-resty-template模板引擎中的模板页面可以认为是JSP，其最终会被翻译成Lua代码，然后通过ngx.say输出；

lua-resty-template主要包括：  
模板位置：模板在哪里；  
模板数据：变量值的输出；  
模板代码片段：在模板中执行代码片段，完成如if/else、for等逻辑或者调用对象的函数/方法；  
模板注释：解释代码片段的含义；  
模板include：在一个模板中包含另一个模板片段；  
其他：lua-resty-template还提供了不需要解析片段、页面布局、可复用代码块、宏指令等支持；

开发操作步骤：

首先需要两个东西：  
1、模板 data.html （模板页面，里面使用表达式语言展示数据）  
2、Lua代码 data.lua (从其他地方获取数据，然后渲染数据到模板上)  
data.lua代码如下：

local template = require "resty.template"
    local content = {
        
        data = "Hello, Openresty.",
        by = "by cat"
    }
    template.render("data.html", content)

data.html模板页面代码如下：

<!DOCTYPE html>
 <html>
 <head>
 <title>Welcome to OpenResty!</title>
 </head>
 <body>
 
 {
 {
 data}}
 {
 {
 by}}
 
 </body>
 </html>

3、然后在nginx.conf中配置：  
\#指定模板位置

set $template_root /usr/local/openresty/nginx/html/template/;
 location / {
 
 	#root html;
 	#index index.html index.htm;
 	default_type text/html;
 #content_by_lua_block {
 
 #ngx.say("hello, Openresty") 
 	#}
 	#content_by_lua_file /usr/local/openresty/nginx/conf/lua/message.lua;
 #渲染模板的lua脚本
 	content_by_lua_file /usr/local/openresty/nginx/conf/lua/data.lua;
 }

4、访问：http://127.0.0.1/ 即可看到被渲染好数据的模板页面；

## 五、Openresty实现灰度发布 ##

灰度发布(又叫金丝雀发布)是互联网产品发布常用的一种方式，顾名思义，就是在黑和白之间平滑过渡的一种产品发布方式，产品发布者根据某种规则，让一部分用户继续使用原来的产品功能，另一部分用户逐渐启用新功能，在过渡过程中，可能新版本会产生一些问题，可以对新版本做进一步的完善，待灰度发布完成后，所有的用户都将使用新的产品功能；  
**金丝雀发布**\*\*：就是将一部分流量引导到新版本，另一部分流量还是走老版本\*\*；  
**灰度发布**：可以按流量百分比、根据请求参数，根据请求ip等规则进行；

OpenResty为什么能实现灰度发布？ OpenResty 有一个非常重要的因素是，对于每一个请求，Openresty 会把请求分为11个不同的阶段，从而可以让第三方模块通过插队行为来实现不同阶段的自定义行为，而这样的机制能够让我们非常方便的设计像api 网关之类的场景应用；（相当于java里面的filter、interceptor、aop、拦截过滤等作用）  
一个请求的11个阶段分别如下图所示：  
![在这里插入图片描述][a488c60670b5466289afed511150ce8c.png]  
灰度发布的lua脚本代码示例：

beijing_env = 'beijing';
 guangzhou_env = 'guangzhou';
 flow_rate = 50; --流量比例
 
 local uri_args = ngx.req.get_uri_args();
 
 local num = math.random(100);
 if (num <= flow_rate) then
 ngx.exec("@"..beijing_env);
 else
 ngx.exec("@"..guangzhou_env);
 end

灰度发布的lua脚本代码示例

ngx.header.content_type="text/html;charset=utf8"
    ---关闭redis函数
    local function close_redis(red)
        if not red then
            return;
        end
        local pool_max_idle_time = 10000; --毫秒
        local pool_size = 100; --连接池大小
        local ok, err = red:set_keepalive(pool_max_idle_time, pool_size);
        if not ok then
            ngx.say("set keepalive error : ", err);
        end
    end
    
    --导入相关依赖库
    local redis = require("resty.redis");
    
    local red = redis:new();
    red:set_timeout(5000);
    local ip = "127.0.0.1";
    local port = 6379;
    local ok, err = red:connect(ip, port);
    if not ok then
        ngx.say("connect to redis error : ", err);
        return close_redis(red);
    end
    local res, err = red:auth("123456");
    if not res then
        ngx.say("redis auth error : ", err);
        return close_redis(red);
    end
    
    --从redis中检查是否存在即将更新的upstream主机
    oldversion = redis:get('oldversion')
    newversion = redis:get('newversion')
    redis:close()
    --注意返回的数据类型来判断
    if oldversion == "0" then
        ngx.exec("@newversion")
    elseif newversion == "0" then
        ngx.exec("@oldversion")
    else
        ngx.exec("@all")
    end
    
    ---关闭redis函数
    local function close_redis(red)
        if not red then
            return;
        end
        local pool_max_idle_time = 10000; --毫秒
        local pool_size = 100; --连接池大小
        local ok, err = red:set_keepalive(pool_max_idle_time, pool_size);
        if not ok then
            ngx.say("set keepalive error : ", err);
        end
    end

灰度发布的lua脚本代码示例：

local redis = require ("resty.redis");
    
    local red = redis:new();
    red:set_timeout(5000);
    local ip = "127.0.0.1";
    local port = 6379;
    local ok, err = red:connect(ip, port);
    if not ok then
        ngx.say("connect to redis error : ", err);
        return close_redis(red);
    end
    local res, err = red:auth("123456");
    if not res then
        ngx.say("redis auth error : ", err);
        return close_redis(red);
    end
    
    local_ip = ngx.var.remote_addr;
    local ip_lists = red:get("gray");
    if string.find(ip_lists, local_ip) == nil then
        ngx.exec("@prod");
    else
        ngx.exec("@pre");
    end
    
    --关闭redis
    close_redis(red);

## 六、Openresty实现黑名单 ##

Openresty实现黑名单  
– 加入限制的IP黑名单 （暂时是把ip写死在代码中的，可以查redis动态获取）

local blacklist = {
        
        ["192.168.0.11"] = true,
        ["110.128.16.92"] = true,
        ["114.116.23.18"] = true
    }

–ip也可以查redis实现，不写死

local ip = ngx.var.remote_addr;
    if blacklist[ ip ] then
        --return ngx.exit( ngx.HTTP_FORBIDDEN )
        return ngx.redirect('/50x.html');
    end

通过这个例子，我们可以总结和发现：  
限流  
权限认证  
比如网关里面能做的通用的工作等；  
都可以采用Openresty来完成；

[https_github.com_chaoslawful]: https://github.com/chaoslawful
[5ece5d469b98403da3fa75ab15351de5.png]: https://img-blog.csdnimg.cn/5ece5d469b98403da3fa75ab15351de5.png
[https_openresty.org_cn]: https://openresty.org/cn
[3aea2513e9814f4b8ad8fcd8c3333fd5.png]: https://img-blog.csdnimg.cn/3aea2513e9814f4b8ad8fcd8c3333fd5.png
[https_github.com_bungle_lua-resty-template]: https://github.com/bungle/lua-resty-template
[a488c60670b5466289afed511150ce8c.png]: https://img-blog.csdnimg.cn/a488c60670b5466289afed511150ce8c.png