OpenResty(Nginx+Lua)高并发最佳实践

痛定思痛。 2022-03-28 20:50 402阅读 0赞

### 文章目录 ###

*   *   *   *  OpenResty简介
             *  Nginx优点
             *  Lua基础学习
             *  环境搭建
             *   *  window下环境搭建
                 *  Linux(CentOS 7)下环境搭建
             *  linux下ab性能测试
             *  总结
             *   *  优点
                 *  缺点
             *  可适用的场景

#### OpenResty简介 ####

以下内容来源与[OpenResty官网][OpenResty]，更多信息可进入官网了解  
OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

OpenResty® 通过汇聚各种设计精良的 Nginx 模块（主要由 OpenResty 团队自主开发），从而将 Nginx 有效地变成一个强大的通用 Web 应用平台。这样，Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx 支持的各种 C 以及 Lua 模块，快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。

OpenResty® 的目标是让你的Web服务直接跑在 Nginx 服务内部，充分利用 Nginx 的非阻塞 I/O 模型，不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都进行一致的高性能响应

#### Nginx优点 ####

可参考以下文章  
[https://blog.csdn.net/nangeali/article/details/60143560][https_blog.csdn.net_nangeali_article_details_60143560]

#### Lua基础学习 ####

可参考[菜鸟教程][Link 1]

#### 环境搭建 ####

##### window下环境搭建 #####

*  资源下载  
    本人电脑64位操作系统，这里**下载windows 32位的版本**，后续有他用  
    [点击下载32位版][32]  
    [64位版下载][64]
 *  解压压缩包  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70][]
 *  创建lua目录源文件目录，用于写测试脚本  
    进入lualib目录，创建testcode目录  
    ![20190108094744816.][]
 *  编写测试lua脚本  
    在testcode目录下创建testlua.lua,并编写以下脚本信息
    
        --用于接收前端数据的对象
        local args=nil
        --获取前端的请求方式 并获取传递的参数   
        local request_method = ngx.var.request_method
        --判断是get请求还是post请求并分别拿出相应的数据
        if"GET" == request_method then
                args = ngx.req.get_uri_args()
        elseif "POST" == request_method then
                ngx.req.read_body()
                args = ngx.req.get_post_args()
                --兼容请求使用post请求，但是传参以get方式传造成的无法获取到数据的bug
                if (args == nil or args.data == null) then
                        args = ngx.req.get_uri_args()
                end
        end
        
        --获取前端传递的name值
        local name = args.name
        --响应前端
        ngx.say("hello:"..name)
    
    ![20190108095509190.][]
 *  编辑nginx配置  
    按以下目录编辑对应配置文件  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 1][]  
    在80的server中添加以下配置:
    
        location /luatest
        		{
        			default_type text/html;
        			#这里的lua文件的路径为绝对路径，请根据自己安装的实际路径填写
        			#记得斜杠是/这个。从window中拷贝出来的是\这样，这样是有问题的，务必注意
        			content_by_lua_file F:/DATA/software/other/openresty-1.13.6.2-win32/lualib/testcode/testlua.lua;
        		}
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 2][]
 *  启动服务openresty的Nginx服务
    
     *  进入cmd，并进入到openresty对应的目录
     *  使用nginx -t 检测nginx的配置是否正确  
        ![20190108100851820.][]
     *  启动nginx服务  
        ![20190108101001107.][]  
        ![20190108101018397.][]
 *  测试nginx是否正常  
    打开浏览器，输入:[http://127.0.0.1/][http_127.0.0.1] ，得到以下界面说明Nginx配置正常且已经正常运行  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 3][]
 *  测试OpenResty  
    打开浏览器，输入:[http://127.0.0.1/luatest?name=openresty][http_127.0.0.1_luatest_name_openresty]  
    ![20190108102333457.][]  
    ![20190108102351223.][]
 *  到这里，window下的OpenResty环境即搭建完成

##### Linux(CentOS 7)下环境搭建 #####

更多linux版本下的源码安装，[请参考官网][Link 2]  
你可以在你的 CentOS 系统中添加 openresty 仓库，这样就可以便于未来安装或更新我们的软件包（通过 yum update 命令）。

*  运行下面的命令就可以添加openresty 的仓库：
    
        sudo yum install yum-utils
        sudo yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo
 *  然后就可以像下面这样安装软件包，比如 openresty：
    
        sudo yum install openresty
 *  如果你想安装命令行工具 resty，那么可以像下面这样安装 openresty-resty 包：
    
        sudo yum install openresty-resty
 *  命令行工具 opm 在 openresty-opm 包里，而 restydoc 工具在 openresty-doc 包里头。  
    列出所有 openresty 仓库里头的软件包：
    
        sudo yum --disablerepo="*" --enablerepo="openresty" list available
 *  添加lua的脚本目录  
    cd /usr/local/openresty/lualib/  
    mkdir testcode  
    cd testcode
 *  创建测试lua脚本  
    cd /usr/local/openresty/lualib/testcode  
    vim testlua.lua  
    添加以下脚本内容
    
        --用于接收前端数据的对象
        local args=nil
        --获取前端的请求方式 并获取传递的参数   
        local request_method = ngx.var.request_method
        --判断是get请求还是post请求并分别拿出相应的数据
        if"GET" == request_method then
                args = ngx.req.get_uri_args()
        elseif "POST" == request_method then
                ngx.req.read_body()
                args = ngx.req.get_post_args()
                --兼容请求使用post请求，但是传参以get方式传造成的无法获取到数据的bug
                if (args == nil or args.data == null) then
                        args = ngx.req.get_uri_args()
                end
        end
        
        --获取前端传递的name值
        local name = args.name
        --响应前端
        ngx.say("linux hello:"..name)
    
    保存:wq!
 *  配置ngnix关联lua文件  
    cd /usr/local/openresty/nginx/conf/  
    vi nginx.conf  
    在80的server中添加以下配置信息
    
        location /luatest
                {       
                        default_type text/html;
                        #这里的lua文件的路径为绝对路径，请根据自己安装的实际路径填写
                        #记得斜杠是/这个。
                        content_by_lua_file /usr/local/openresty/lualib/testcode/testlua.lua;
                }
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 4][]
 *  启动nginx服务  
    cd /usr/local/openresty/nginx  
    sbin/nginx  
    ![20190108110558653.][]
 *  测试nginx是否正常  
    打开浏览器，输入linux的ip地址,如:[http://192.168.1.130/][http_192.168.1.130] 显示如下效果，说明nginx已经正常启动  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 5][]
 *  测试OpenResty是否正常  
    打开浏览器,输入:[http://192.168.1.130/luatest?name=openresty][http_192.168.1.130_luatest_name_openresty] 显示如下效果，说明OpenResty正常  
    ![20190108112205129.][]  
    ![20190108112232823.][]

#### linux下ab性能测试 ####

*  linux服务器环境说明  
    测试使用的是window下安装的VM虚拟机，linux的硬件分配为**1核 700兆内存**
 *  linux下ab工具安装  
    yum -y install httpd-tools
 *  查看ab版本  
    ab -v  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 6][]
 *  压力测试
    
     *  1W并发  
        ab -c 10000 -n 100000 127.0.0.1/luatest  
        注:10000个并发，一共请求10万次  
        测试结果:  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 7][]
     *  1.5W并发  
        ab -c 15000 -n 100000 127.0.0.1/luatest  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 8][]
     *  2W并发  
        ab -c 20000 -n 100000 127.0.0.1/luatest  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 9][]

#### 总结 ####

##### 优点 #####

*  高并发  
    根据以上的测试来看，**一台1核700兆的linux虚拟机即可跑出2W的并发**，足以说明OpenResty处理高并发的能力，由于ab工具的限制，只能测试上限2W的并发，因此，这里也只做到了2W的测试。
 *  热更新  
    Lua属于脚本语言，编译之后即可运行；Nginx具备优雅重启的功能；因此，线上业务如果出现问题需要及时修复的，更新修改Lua脚本之后，重启Nginx即可完成更新发布；如果没有配置Lua缓存功能的话，只要更新Lua脚本即可更新修复线上问题，不重启Nginx也可以。

##### 缺点 #####

*  不适合处理复杂的业务逻辑  
    由于功能性的东西主要使用Lua进行开发，受Lua语言特性的影响，不太适合做业务比较复杂的功能。
 *  互联网上资料比较少  
    互联网上可以找的资料比较少；不过，本身Lua的学习过程不是特别的复杂，所以，这基本不会成为你学习它的障碍

#### 可适用的场景 ####

*  **高访问下的应用及官网的主页**  
    如商城，咨询类的应用首页，会存在大量的请求，由于涉及到的内容比较多；所以可是私用预载入的形式，将主页的数据放置在redis中；使用OpenResty+redis实现首页，官网主页的高并发加载
 *  **商城类的秒杀功能**  
    秒杀功能会存在短时间的请求洪峰，如果处理不当可能会造成down机的风险，可以结合OpenResty+redis实现秒杀的功能
 *  **ip限流**  
    互联网系统可能存在非法用户恶意暴力请求，导致正常的用户无法使用，可以通过OpenResty+redis实现ip的白名单机制，去拦截非法的用户ip
 *  **APP灰度升级发布**  
    可以根据系统的数据及条件实现APP的灰度升级测试

[OpenResty]: http://openresty.org/cn/
[https_blog.csdn.net_nangeali_article_details_60143560]: https://blog.csdn.net/nangeali/article/details/60143560
[Link 1]: http://www.runoob.com/lua/lua-basic-syntax.html
[32]: https://openresty.org/download/openresty-1.13.6.2-win32.zip
[64]: https://openresty.org/download/openresty-1.13.6.2-win64.zip
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70]: /images/20220329/bc84f367cca340e8af7ef35152df6b26.png
[20190108094744816.]: /images/20220329/b20b39f08fc54e18a7181ed57923285a.png
[20190108095509190.]: /images/20220329/a6b54c0b10e64aec9f311fecb6ef2f85.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 1]: /images/20220329/d96e83843e3b44c08f99d07e836e394d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 2]: /images/20220329/c6964ea54539460f99d2710a7418f026.png
[20190108100851820.]: /images/20220329/1b3082f57b1f47eea3d9857233c673ab.png
[20190108101001107.]: /images/20220329/8c67b8c5ef354f8ca80305e10d26f92d.png
[20190108101018397.]: /images/20220329/1159e3b5b020423990edeab50ffb22fd.png
[http_127.0.0.1]: http://127.0.0.1/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 3]: /images/20220329/cc8757f6957a4a3599582e4af7db73fd.png
[http_127.0.0.1_luatest_name_openresty]: http://127.0.0.1/luatest?name=openresty
[20190108102333457.]: /images/20220329/1eeb5c5a128c470d944e41a4ef6adaf4.png
[20190108102351223.]: /images/20220329/f2bf4d01c4c546d1bdb678279c33988b.png
[Link 2]: http://openresty.org/cn/linux-packages.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 4]: /images/20220329/9160bc7e80fb4f52bb7b270cad71fb85.png
[20190108110558653.]: /images/20220329/b088eeac62b84d6890c6e9e999a2ba1b.png
[http_192.168.1.130]: http://192.168.1.130/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 5]: /images/20220329/1844c74edd114405978b2de0fb43da10.png
[http_192.168.1.130_luatest_name_openresty]: http://192.168.1.130/luatest?name=openresty
[20190108112205129.]: /images/20220329/d19d69322081445190e84ca5a52d3ee9.png
[20190108112232823.]: /images/20220329/03dc34d4bde949b5b4f65947e2acefd0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 6]: /images/20220329/46b13473541c4245bca8c4495757a8c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 7]: /images/20220329/f51d33f4892046af8e6a066c4039b6c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 8]: /images/20220329/576b68fde6e94e8c900c9e6dd8184665.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1cGVuZ2ZlaTEwMDk_size_16_color_FFFFFF_t_70 9]: /images/20220329/49818f507a784936ba56f00f427407c9.png