使用Redis存储Nginx+Tomcat负载均衡集群的Session

桃扇骨 2022-09-28 11:58 182阅读 0赞

环境：Cent OS 7.0（虚拟机环境）、Nginx 1.9.8、Redis 3.2.1

一、背景

在使用Nginx+Tomcat实现负载均衡的时候，由于Nginx对不同的请求分发到某一个Tomcat，Tomcat在运行的时候分别是不同的容器里，因为会出现session不同步或者丢失的问题。

--------------------

二、Nginx安装与配置

1、Nginx安装网上的资源对于安装Nginx的介绍比较多，例如最简单的为：

1、准备工作  
选首先安装这几个软件：GCC，PCRE（Perl Compatible Regular Expression），zlib，OpenSSL。  
Nginx是C写的，需要用GCC编译；Nginx的Rewrite和HTTP模块会用到PCRE；Nginx中的Gzip用到zlib；  
用命令“\# gcc”，查看gcc是否安装；如果出现“gcc: no input files”信息，说明已经安装好了。  
否则，就需要用命令“\# yum install gcc”，进行安装了！一路可能需要多次输入y，进行确认。  
安装好后，可以再用命令“\#gcc”测试，或者用命令“\# gcc -v”查看其版本号。  
同样方法，用如下命令安装PCRE，zlib，OpenSSL（其中devel，是develop开发包的意思）：

1.  \# yum install -y pcre pcre-devel  
2.  \# yum install -y zlib zlib-devel  
3.  \# yum install -y openssl openssl-devel  
4.

2、下载并安装  
创建目录（nginx-src）并进去；然后，从官方地址（http://nginx.org/）下载，解压，配置，编译，安装：

1.  \# mkdir nginx-src && cd nginx-src  
2.  \# wget http://nginx.org/download/nginx-1.7.3.tar.gz  
3.  \# tar xzf nginx-1.7.3.tar.gz   
4.  \# cd nginx-1.7.3  
5.  \# ./configure  
6.  \# make  
7.  \# make install  
8.  \# whereis nginx  
9.  nginx: /usr/local/nginx  
10.

默认的安装路径为：/usr/local/nginx；跳转到其目录下sbin路径下，便可以启动或停止它了。

1.  \# ./nginx -h  
2.  nginx version: nginx/1.7.3  
3.  Usage: nginx \[-?hvVtq\] \[-s signal\] \[-c filename\] \[-p prefix\] \[-g directives\]  
4.  Options:  
5.    -?,-h         : this help  
6.    -v            : show version and exit  
7.    -V            : show version and configure options then exit  
8.    -t            : test configuration and exit  
9.    -q            : suppress non-error messages during configuration testing  
10.   -s signal     : send signal to a master process: stop, quit, reopen, reload  
11.   -p prefix     : set prefix path (default: /usr/local/nginx/)  
12.   -c filename   : set configuration file (default: conf/nginx.conf)  
13.   -g directives : set global directives out of configuration file  
14.

启动：./nginx  
停止：./nginx -s stop

2、修改Nginx配置多Tomcat服务器2.1、修改conf/nginx.conf文件,在server标签上边添加upstream如下：

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1][]

这里指定了本机下的两个Tomcat实例，端口分别为8080，8060，权重都为1，后边配置Tomcat实例，mynginxserver这个是自己随意命名的，下边要用到。

2.2、配置server标签：

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 1][]

2.3、配置之后的完整内容如下（1.9.8版本删去了注释后的配置内容）：

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 2][]

2.4、具体的配置项和配置项的具体意义请参考：

https://www.nginx.com/resources/wiki/start/topics/examples/full/

--------------------

三、Tomcat多实例的配置

1、解压apache-tomcat-7.0.67.zip 得到apache-tomcat-7.0.67

\[root@localhost www\]\# unzip apache-tomcat-7.0.67.zip

2、将apache-tomcat-7.0.67重命名为tomcat1

\[root@localhost www\]\# mv apache-tomcat-7.0.67 tomcat1

重复1、2过程得到tomcat1和tomcat2如下所示：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1][]

3、修改Tomcat1的端口为8080和部署项目文件编辑tomcat下的conf/server.xml,修改端口号为8080，自己写的用于测试Nginx反向代理的web项目war包下载地址：

http://download.csdn.net/detail/u010870518/9585683

下载好之后将解压之后的编译好的项目文件放到tomcat1/webapps/ROOT/目录下：

![Image 1][]

修改index.jsp和login.jsp文件分别标识为具体的Tomcat容器

![Image 1][]

4、修改Tomcat2的端口为8060和部署项目文件编辑tomcat下的conf/server.xml,修改端口号为8060，然后和上述3中的一样，下载war内容，放在tomcat2/webapps/ROOT/下，修改index.jsp和login.jsp用于标识具体的Tomcat容器。

5、分别启动tomcat1和tomcat2。

6、重启Nginx服务，访问IP地址：192.168.1.149:80（这个是访问的虚拟机IP地址）。

7、观看效果

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 1][]  
![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 2][]

可以看出，Nginx已经进行了请求分发，转发到具体的某一个Tomcat

--------------------

四、Redis的安装与配置

由于篇幅过长，请参考本人写的：

http://blog.csdn.net/xlgen157387/article/details/52022793

--------------------

五、tomcat-redis-session-manager开源项目的使用

1、开源项目地址：

https://github.com/jcoleman/tomcat-redis-session-manager

2、下载代码之后需要进行重新编译，生成所需要的jar，任意创建maven项目，将src下的代码拷贝到具体位置，如下：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 3][]

maven的pom.xml文件如下：

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 3][]

3、然后打开terminal，执行mvn clean 和mvn install 将编译好的代码打包为：tomcat-redis-session-1.0-SNAPSHOT.jar

4、将**\*\*tomcat-redis-session-1.0-SNAPSHOT.jar、jedis-2.7.2.jar、commons-pool2-2.0.jar\*\*** 三个jar包分别放在tomcat1和tomcat2实例下的lib目录下。

免费下载这三个jar:

http://download.csdn.net/detail/u010870518/9585716

5、修改tomcat实例下conf/contex.xml文件

<?xml version='1.0' encoding='utf-8'?>  <Context>      <WatchedResource>WEB-INF/web.xml</WatchedResource>            <ValveclassName="com.orangefunction.tomcat.redissessions.RedisSessionHandlerValve" />          <ManagerclassName="com.orangefunction.tomcat.redissessions.RedisSessionManager"          host="192.168.1.149"          port="6379"          database="0"          maxInactiveInterval="60" />  </Context>

如果不设置密码会报错，如下：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 4][]

--------------------

六、效果演示

案例演示的一个登陆请求，登陆成功之后将用户信息放在session中，在界面中显示出来（tomcat1实例，tomcat2的实例中只是在**\*\*h2\*\*** 标签中做了一下标识）

1、login.jsp文件：

<body>

<h2>Session Demo in Tomcat1</h2>

<formaction="/user?type=login"method="post">               用户名：<inputtype="text"name="userName"/><br/>               密码：<inputtype="password"name="userPassword"/><br/>                         <inputtype="submit"value="login">

</form>

</body>

2、index.jsp 将登录之后的信息显示在界面上

<body><h2>Session Demo in Tomcat1</h2>

<%    User user = (User)  request.getSession().getAttribute("USER");

if (user ==  null) \{    %>用户为空，没有登录！！！<%    \}else \{    %>欢迎：<%=user.getUserName()%><%    \}%></body>

3、servlet处理请求代码

publicclass  UserServlet  extends  BaseServlet \{

public String login(HttpServletRequest request, HttpServletResponse response)      throws ServletException, IOException \{

User user = new User();        user.setUserName(request.getParameter("userName"));        user.setUserPassword(request.getParameter("userPassword"));        request.getSession().setAttribute("USER", user);        return"index.jsp";    \}\}

4、效果如下：

![0_wx_fmt_gif_tp_webp_wxfrom_5_wx_lazy_1][]

可以看出在登录界面的时候刷新请求的tomcat已经由Nginx进行分发请求，登录之后再两个tomcta中已经共享了session

5、查看Redis对session的存储在对contex.xml文件进行配置的时候默认使用的database为0，通过redis-cli工具可看到

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 4][]

--------------------

七、总结

tomcat-redis-session-manager是一个对用户完全透明的分布式session存储框架，用户只需要在tomcat中进行简单的配置，就可以使用，我们的业务代码是完全和单实例的时候的代码是一样的的，也就是写代码的时候完全不用担心你写的是一个多tomcat实例的代码，完全透明。

如何对框架的原理进行简单的理解，我们首先要知道，在请求过程中的session操作，首先要解析请求中的sessionId信息，然后将sessionId存储到request的参数列表中。然后再从 request获取session的时候，如果存在sessionId那么就根据Id从session池中获取session，如果sessionId不存在或者session失效，那么则新建session并且将session信息放入session池，供下次使用。

如果我们想自己写一个类似于tomcat-redis-session-manager的项目，我们应该知道Tomcat的Session管理机制，在默认的情况下Tomcat的Session管理，如果不进行设置的话是由Tomcat自带的StandardManager类进行控制的，我们可以根据这个类自定义一个Manager，**\*\*主要重写的就是org.apache.catalina.session.ManagerBase里边的具体写的操作\*\***，这也是tomcat-redis-session-manager的基本原理，将tomcat的session存储位置指向了Redis

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 5][]

RedisSessionManager继承了org.apache.catalina.session.ManagerBase并重写了add、findSession、createEmptySession、remove等方法，并将对session的增删改查操作指向了对Redis数据存储的操作有兴趣可参考一篇Tomcat中session的管理机制：

http://www.cnblogs.com/interdrp/p/4935614.html

[阅读原文][Link 1]

![qrcode_scene_10000004_size_102_biz_MzI1NDQ3MjQxNA_mid_2247483665_idx_1_sn_126be172d9804cdcf75a17b50dcd48fa][]

微信扫一扫  
关注该公众号

[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1]: /images/20220708/0fe7834d9cb64f47afcd180a0733ccea.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 1]: /images/20220708/7a100d279e1948299d078aa020544685.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 2]: /images/20220708/643caa7fc5f34da69440b5b8c6bcf14b.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1]: /images/20220708/f03973b0a741407c8d829233e32e4895.png
[Image 1]: 
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 1]: /images/20220708/8a1e9d4abfd0492fa659bbe827da2651.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 2]: /images/20220708/a11827842d0f457e83a929163674434c.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 3]: /images/20220708/a0b27f71ec3a46b381528d08835472b6.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 3]: /images/20220708/23e614e9216342c8879d200076008128.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 4]: /images/20220708/f42a0342f39c4615b745eb527e4ad64c.png
[0_wx_fmt_gif_tp_webp_wxfrom_5_wx_lazy_1]: /images/20220708/ac847f02231c4b9fb345a188718746fa.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 4]: /images/20220708/5ef7502bdf524c20b9da387708d47a0e.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 5]: /images/20220708/781973f199bc4976820cc027a5c8e956.png
[Link 1]: https://mp.weixin.qq.com/s?__biz=MzI1NDQ3MjQxNA==&mid=2247483665&idx=1&sn=126be172d9804cdcf75a17b50dcd48fa&chksm=e9c5f8a0deb271b62898af1266da1bde81aed33b231b7c79216dd550d467401728bb6726f5bd&scene=0&key=&ascene=7&uin=&devicetype=android-23&version=26031933&nettype=WIFI##
[qrcode_scene_10000004_size_102_biz_MzI1NDQ3MjQxNA_mid_2247483665_idx_1_sn_126be172d9804cdcf75a17b50dcd48fa]: /images/20220708/6076c1af0a894fef94905d410faed27f.png