使用Redis存储Nginx+Tomcat负载均衡集群的Session

左手的ㄟ右手 2022-05-19 02:52 157阅读 0赞

[https://blog.csdn.net/xlgen157387/article/details/52024139][https_blog.csdn.net_xlgen157387_article_details_52024139]

环境：Cent OS 7.0（虚拟机环境）、Nginx 1.9.8、Redis 3.2.1

## 一、背景 ##

在使用Nginx+Tomcat实现负载均衡的时候，由于Nginx对不同的请求分发到某一个Tomcat，Tomcat在运行的时候分别是不同的容器里，因为会出现session不同步或者丢失的问题。

## 二、Nginx安装与配置 ##

1、Nginx安装

网上的资源对于安装Nginx的介绍比较多，例如最简单的为：

（1） 获取nginx，在http://nginx.org/download/上可以获取当前最新的版本下载，例如：
    
    wget http://nginx.org/download/nginx-1.9.8.tar.gz
    
    
    （2）解压缩tar -xvf nginx-1.9.8.tar.gz包。
    
    （3）进入解压缩目录，执行./configure --prefix=/usr/local/nginx-1.9.8 将Nginx安装到/usr/local/nginx-1.9.8目录下
    
    （4）make & make install

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10

安装的过程会将Nginx安装到/usr/local/nginx-1.9.8目录下，启动Nginx测试是否可以正常启动。

2、修改Nginx配置多Tomcat服务器

2.1、修改conf/nginx.conf文件,在server标签上边添加upstream如下：

upstream mynginxserver {
        #weigth参数表示权值，权值越高被分配到的几率越大
        #本机上的Squid开启3128端口
            server 127.0.0.1:8080 weight=1;
            server 127.0.0.1:8060 weight=1;
        }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7

这里指定了本机下的两个Tomcat实例，端口分别为8080，8060，权重都为1，后边配置Tomcat实例，mynginxserver这个是自己随意命名的，下边要用到

2.2、配置server标签;

server {
            listen       80;
            server_name  192.168.1.149;
    
            #charset koi8-r;
    
            #access_log  logs/host.access.log  main;
    
            location / {
               # root   html;
               # index  index.html index.htm;
               proxy_pass http://mynginxserver;
            }
    
    
            error_page   500 502 503 504  /50x.html;
            location = /50x.html {
                root   html;
            }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20

2.3、配置之后的完整内容如下（1.9.8版本删去了注释后的配置内容）：

worker_processes  1;
    
    events {
        worker_connections  1024;
    }
    
    http {
        include       mime.types;
        default_type  application/octet-stream;
    
        sendfile        on;
    
        keepalive_timeout  65;
    
        upstream mynginxserver {
            server 127.0.0.1:8080 weight=1;
            server 127.0.0.1:8060 weight=1;
        }
    
        server {
            listen       80;
            server_name  192.168.1.149;
    
            location / {
               proxy_pass http://mynginxserver; 
            }
    
            error_page   500 502 503 504  /50x.html;
            location = /50x.html {
                root   html;
            }
        }
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23
 *  24
 *  25
 *  26
 *  27
 *  28
 *  29
 *  30
 *  31
 *  32
 *  33
 *  34

2.4、具体的配置项和配置项的具体意义请参考   
[https://www.nginx.com/resources/wiki/start/topics/examples/full/][https_www.nginx.com_resources_wiki_start_topics_examples_full]

## 三、Tomcat多实例的配置 ##

1、解压apache-tomcat-7.0.67.zip 得到apache-tomcat-7.0.67

[root@localhost www]# unzip apache-tomcat-7.0.67.zip

*  1
 *  2

2、将apache-tomcat-7.0.67重命名为tomcat1

[root@localhost www]# mv apache-tomcat-7.0.67 tomcat1

*  1
 *  2

重复1、2过程得到tomcat1和tomcat2如下所示：

![这里写图片描述][20160725160201188]

3、修改Tomcat1的端口为8080和部署项目文件

编辑tomcat下的conf/server.xml,修改端口号为8080，

自己写的用于测试Nginx反向代理的web项目war包下载地址：[http://download.csdn.net/detail/u010870518/9585683][http_download.csdn.net_detail_u010870518_9585683]

下载好之后将解压之后的编译好的项目文件放到tomcat1/webapps/ROOT/目录下：

![这里写图片描述][20160725162058883]

修改index.jsp和login.jsp文件分别标识为具体的Tomcat容器

![这里写图片描述][20160725162202962]

4、修改Tomcat2的端口为8060和部署项目文件

编辑tomcat下的conf/server.xml,修改端口号为8060，然后和上述3中的一样，下载war内容，放在tomcat2/webapps/ROOT/下，修改index.jsp和login.jsp用于标识具体的Tomcat容器

5、分别启动tomcat1和tomcat2

6、重启Nginx服务，访问IP地址：192.168.1.149:80（这个是访问的虚拟机IP地址）

7、观看效果

![这里写图片描述][20160725162530826]

![这里写图片描述][20160725162538901]

可以看出，Nginx已经进行了请求分发，转发到具体的某一个Tomcat

## 四、Redis的安装与配置 ##

由于篇幅过长，请参考本人写的：[http://blog.csdn.net/xlgen157387/article/details/52022793][http_blog.csdn.net_xlgen157387_article_details_52022793]

## 五、tomcat-redis-session-manager开源项目的使用 ##

1、开源项目地址：[https://github.com/jcoleman/tomcat-redis-session-manager][https_github.com_jcoleman_tomcat-redis-session-manager]

2、下载代码之后需要进行重新编译，生成所需要的jar，任意创建maven项目，将src下的代码拷贝到具体位置，如下：

![这里写图片描述][20160725163040616]

maven的pom.xml文件如下：

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
             xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
    
        <groupId>com.ufind.session</groupId>
        <artifactId>tomcat-redis-session</artifactId>
        <version>1.0-SNAPSHOT</version>
    
        <dependencies>
            <dependency>
                <groupId>org.apache.tomcat</groupId>
                <artifactId>tomcat-catalina</artifactId>
                <version>7.0.27</version>
            </dependency>
            <dependency>
                <groupId>redis.clients</groupId>
                <artifactId>jedis</artifactId>
                <version>2.7.2</version>
            </dependency>
        </dependencies>
    
        <build>
            <plugins>
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.0</version>
                    <configuration>
                        <source>1.7</source>
                        <target>1.7</target>
                        <encoding>UTF-8</encoding>
                    </configuration>
                </plugin>
            </plugins>
        </build>
    
    </project>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23
 *  24
 *  25
 *  26
 *  27
 *  28
 *  29
 *  30
 *  31
 *  32
 *  33
 *  34
 *  35
 *  36
 *  37
 *  38
 *  39

3、然后打开terminal，执行mvn clean 和mvn install 将编译好的代码打包为：tomcat-redis-session-1.0-SNAPSHOT.jar

4、将**tomcat-redis-session-1.0-SNAPSHOT.jar、jedis-2.7.2.jar、commons-pool2-2.0.jar** 三个jar包分别放在tomcat1和tomcat2实例下的lib目录下。

免费下载这三个jar:[http://download.csdn.net/detail/u010870518/9585716][http_download.csdn.net_detail_u010870518_9585716]

5、修改tomcat实例下conf/contex.xml文件

<?xml version='1.0' encoding='utf-8'?>  
    <Context>  
        <WatchedResource>WEB-INF/web.xml</WatchedResource>  
    
          
        <Valve className="com.orangefunction.tomcat.redissessions.RedisSessionHandlerValve" />  
            <Manager className="com.orangefunction.tomcat.redissessions.RedisSessionManager"  
             host="192.168.1.149"   
             port="6379"   
             database="0"   
             maxInactiveInterval="60" />  
    
    </Context>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13

如果Redis配置了访问权限，请添加密码为：

<?xml version='1.0' encoding='utf-8'?>  
    <Context>  
        <WatchedResource>WEB-INF/web.xml</WatchedResource>  
    
          
        <Valve className="com.orangefunction.tomcat.redissessions.RedisSessionHandlerValve" />  
            <Manager className="com.orangefunction.tomcat.redissessions.RedisSessionManager"  
             host="192.168.1.149"   
             port="6379"   
             database="0"  
             password="redispassword" 
             maxInactiveInterval="60" />  
    
    </Context>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14

如果不设置密码会报错，如下：

![这里写图片描述][20160725164108303]

## 六、效果演示 ##

案例演示的一个登陆请求，登陆成功之后将用户信息放在session中，在界面中显示出来（tomcat1实例，tomcat2的实例中只是在 **h2** 标签中做了一下标识）

1、login.jsp文件：

<body>
    <h2>Session Demo in Tomcat1</h2>
    <form action="/user?type=login" method="post">
        用户名：<input type="text" name="userName"/><br/>
        密码：<input type="password" name="userPassword"/><br/>
        <input type="submit" value="login">
    </form>
    </body>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9

2、index.jsp 将登录之后的信息显示在界面上

<body>
    
    <h2>Session Demo in Tomcat1</h2>
    
    <%
        User user = (User) request.getSession().getAttribute("USER");
        if (user == null) {
    %>
    用户为空，没有登录！！！
    <%
    } else {
    %>
    欢迎： <%=user.getUserName()%>
    <%
        }
    %>
    
    </body>

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18

3、servlet处理请求代码

public class UserServlet extends BaseServlet {
    
        public String login(HttpServletRequest request, HttpServletResponse response)
                throws ServletException, IOException {
    
            User user = new User();
            user.setUserName(request.getParameter("userName"));
            user.setUserPassword(request.getParameter("userPassword"));
            request.getSession().setAttribute("USER", user);
    
            return "index.jsp";
        }
    
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14

4、效果如下：

![这里写图片描述][20160725165030612]

可以看出在登录界面的时候刷新请求的tomcat已经由Nginx进行分发请求，登录之后再两个tomcta中已经共享了session

5、查看Redis对session的存储

在对contex.xml文件进行配置的时候默认使用的database为0，通过redis-cli工具可看到

![这里写图片描述][20160725165327008]

![这里写图片描述][20160725165436399]

## 七、总结 ##

tomcat-redis-session-manager是一个对用户完全透明的分布式session存储框架，用户只需要在tomcat中进行简单的配置，就可以使用，我们的业务代码是完全和单实例的时候的代码是一样的的，也就是写代码的时候完全不用担心你写的是一个多tomcat实例的代码，完全透明。

如何对框架的原理进行简单的理解，我们首先要知道，在请求过程中的session操作，首先要解析请求中的sessionId信息，然后将sessionId存储到request的参数列表中。然后再从 request获取session的时候，如果存在sessionId那么就根据Id从session池中获取session，如果sessionId不存在或者session失效，那么则新建session并且将session信息放入session池，供下次使用。

如果我们想自己写一个类似于tomcat-redis-session-manager的项目，我们应该知道Tomcat的Session管理机制，在默认的情况下Tomcat的Session管理，如果不进行设置的话是由Tomcat自带的StandardManager类进行控制的，我们可以根据这个类自定义一个Manager，**主要重写的就是org.apache.catalina.session.ManagerBase里边的具体写的操作**，   
这也是tomcat-redis-session-manager的基本原理，将tomcat的session存储位置指向了Redis

![这里写图片描述][20160725171038125]

RedisSessionManager继承了org.apache.catalina.session.ManagerBase并重写了add、findSession、createEmptySession、remove等方法，并将对session的增删改查操作指向了对Redis数据存储的操作

有兴趣可参考一篇Tomcat中session的管理机制：[http://www.cnblogs.com/interdrp/p/4935614.html][http_www.cnblogs.com_interdrp_p_4935614.html]

[https_blog.csdn.net_xlgen157387_article_details_52024139]: https://blog.csdn.net/xlgen157387/article/details/52024139
[https_www.nginx.com_resources_wiki_start_topics_examples_full]: https://www.nginx.com/resources/wiki/start/topics/examples/full/
[20160725160201188]: /images/20220519/6ea23ec4796c42edab082eb03902efaf.png
[http_download.csdn.net_detail_u010870518_9585683]: http://download.csdn.net/detail/u010870518/9585683
[20160725162058883]: /images/20220519/e135438bf1874ff98ed65c2435a32dd1.png
[20160725162202962]: /images/20220519/fc38def7354c44fe83853887e60ecd19.png
[20160725162530826]: /images/20220519/1bbed13041bf4c01b6376f6a18b0336d.png
[20160725162538901]: /images/20220519/3d29a2403a3048b99e3bf4ca75762990.png
[http_blog.csdn.net_xlgen157387_article_details_52022793]: http://blog.csdn.net/xlgen157387/article/details/52022793
[https_github.com_jcoleman_tomcat-redis-session-manager]: https://github.com/jcoleman/tomcat-redis-session-manager
[20160725163040616]: /images/20220519/7f19ff94562d43e58b1283938c653cdc.png
[http_download.csdn.net_detail_u010870518_9585716]: http://download.csdn.net/detail/u010870518/9585716
[20160725164108303]: /images/20220519/67f8bdbca75b4748b9a789add90d6c3d.png
[20160725165030612]: /images/20220519/6042f40b66df4b49af8a57accb139b29.png
[20160725165327008]: /images/20220519/db7d3a89e939423baacac5b3c9806f15.png
[20160725165436399]: /images/20220519/2be16de4886a4f45910f047efcf170fc.png
[20160725171038125]: /images/20220519/966e15dbf0e1435bb885af75157c07f6.png
[http_www.cnblogs.com_interdrp_p_4935614.html]: http://www.cnblogs.com/interdrp/p/4935614.html