centos下搭建nginx+tomcat实现集群负载与session复制

灰太狼 2022-03-19 16:29 134阅读 0赞

第一章 测试环境说明  
1.1 系统说明  
系统均选用最小化安装的centos 5.7  
1.2 软件说明  
nginx-0.8.55  
pcre-8.13  
apache-tomcat-6.0.35   
jdk-6u31-linux-x64  
nginx-upstream-jvm-route-0.1  
1.3 规划说明  
客户端通过访问nginx做的负载均衡层去访问后端的web运行层（tomcat），如下图：  
 ![1364979431_2921.jpg][]  
另外，关于session复制原理，简单来说如下图：  
 ![1364979438_3308.jpg][]  
负载层：192.168.254.200  
安装：pcre、nginx、nginx-upstream-jvm-route-0.1  
后端tomcat运行层：192.168.254.221、192.168.254.222  
安装：tomcat、jdk  
  
  
第2章  安装部署说明  
2.1 负载均衡层安装部署说明  
2.1.1 依赖包安装  
yum install wget make gcc gcc-c++  -y  
yum install pcre-devel openssl-devel patch -y  
2.1.2 创建nginx运行帐号  
useradd www -s /sbin/nologin -M  
2.1.3 Pcre安装  
解压pcre安装包：tar xvf pcre-8.13.tar.gz   
cd pcre-8.13  
编译pcre：./configure --prefix=/usr/local/pcre  
安装：make && make install  
2.1.4 Nginx安装  
解压nginx和nginx-upstream  
tar xvf nginx-upstream-jvm-route-0.1.tar.gz   
tar xvf nginx-0.8.55.tar.gz   
cd nginx-0.8.55  
配置jvmroute路径：  
patch  -p0 < ../nginx\_upstream\_jvm\_route/jvm\_route.patch   
  
  
编译nginx：  
./configure \\  
\--user=www \\  
\--group=www \\  
\--prefix=/usr/local/nginx \\  
\--with-http\_stub\_status\_module \\  
\--with-http\_ssl\_module \\  
\--with-http\_flv\_module \\  
\--with-http\_gzip\_static\_module \\  
\--pid-path=/var/run/nginx.pid \\  
\--error-log-path=/var/log/nginx/error.log \\  
\--http-log-path=/var/log/nginx/access.log \\  
\--http-client-body-temp-path=/var/tmp/nginx/client\_body\_temp \\  
\--http-proxy-temp-path=/var/tmp/nginx/proxy\_temp  \\  
\--http-fastcgi-temp-path=/var/tmp/nginx/fastcgi\_temp \\  
\--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi\_temp \\  
\--http-scgi-temp-path=/var/tmp/nginx/scgi\_temp \\  
\--add-module=/root/scripts/src/nginx\_upstream\_jvm\_route/  
安装:  
make && make install  
2.1.5 Nginx配置文件修改  
Nginx作为负载的配置文件修改很简单，只需添加后端web服务器的ip及端口即可，修改运行帐号，下面配置文件中的红色字体为本次测试环境的修改值；  
user  www www;  
worker\_processes 8;  
\#error\_log  logs/nginx\_error.log  crit;  
\#pid        /usr/local/nginx/nginx.pid;  
\#Specifies the value for maximum file descriptors that can be opened by this process.  
worker\_rlimit\_nofile 51200;  
events  
\{  
 use epoll;  
 worker\_connections 2048;  
\}  
  
  
http  
\{  
  upstream backend \{  
    server 192.168.254.221:80 srun\_id=real1;    
    server 192.168.254.222:80 srun\_id=real2;    
    jvm\_route $cookie\_JSESSIONID|sessionid reverse;  
  \}  
   
 include       mime.types;  
 default\_type  application/octet-stream;  
 \#charset  gb2312;  
 charset UTF-8;  
 server\_names\_hash\_bucket\_size 128;  
 client\_header\_buffer\_size 32k;  
 large\_client\_header\_buffers 4 32k;  
 client\_max\_body\_size 20m;  
 limit\_rate  1024k;  
 sendfile on;  
 tcp\_nopush     on;  
 keepalive\_timeout 60;  
 tcp\_nodelay on;  
 fastcgi\_connect\_timeout 300;  
 fastcgi\_send\_timeout 300;  
 fastcgi\_read\_timeout 300;  
 fastcgi\_buffer\_size 64k;  
 fastcgi\_buffers 4 64k;  
 fastcgi\_busy\_buffers\_size 128k;  
 fastcgi\_temp\_file\_write\_size 128k;  
 gzip on;  
\#gzip\_min\_length  1k;  
 gzip\_buffers     4 16k;  
 gzip\_http\_version 1.0;  
 gzip\_comp\_level 2;  
 gzip\_types       text/plain application/x-javascript text/css application/xml;  
 gzip\_vary on;  
 \#limit\_zone  crawler  $binary\_remote\_addr  10m;  
server  
 \{  
   listen       80;  
   server\_name  192.168.254.250;  
   index index.jsp index.htm index.html;  
   root  /data/www/;  
   
   location /  \{  
     proxy\_pass  http://backend;  
     proxy\_redirect    off;  
     proxy\_set\_header  X-Forwarded-For  $proxy\_add\_x\_forwarded\_for;  
     proxy\_set\_header  X-Real-IP  $remote\_addr;  
     proxy\_set\_header  Host $http\_host;  
   \}  
   location ~ .\*\\.(gif|jpg|jpeg|png|bmp|swf)$  
   \{  
     expires      30d;  
   \}  
   location ~ .\*\\.(js|css)?$  
   \{  
     expires      1h;  
   \}  
   location /Nginxstatus \{  
     stub\_status on;  
     access\_log   off;  
   \}  
  log\_format  access  '$remote\_addr - $remote\_user \[$time\_local\] "$request" '  
             '$status $body\_bytes\_sent "$http\_referer" '  
             '"$http\_user\_agent" $http\_x\_forwarded\_for';  
\#  access\_log  off;  
  \}  
   
\}  
2.2 后端tomcat运行层部署说明  
2.2.1 安装jdk  
创建jdk安装目录：  
mkdir /opt/java  
赋予执行权限：  
chmod 755 jdk-6u31-linux-x64.bin   
cd /opt/java  
./jdk-6u31-linux-x64.bin   
修改环境变量：  
cat >> /etc/profile.d/java.sh << "EOF"  
  
  
export JAVA\_HOME=/opt/java/jdk1.6.0\_31  
export CLASSPATH=$CLASSPATH:./:$JAVA\_HOME/lib  
PATH=$PATH:$HOME/bin:$JAVA\_HOME/bin  
  
EOF  
配置环境变量生效：  
source /etc/profile  
2.2.2 安装tomcat  
解压安装包，并将tomcat复制到/usr/local目录下，命名为tomcat；  
tar xvf apache-tomcat-6.0.35.tar.gz   
cp -r apache-tomcat-6.0.35 /usr/local/tomcat  
2.2.3 修改配置文件 （其他配置请参考[集群配置][Link 1]）  
2.2.3.1 修改server.xml文件  
修改server.xml文件只需要修改下面两点即可，因为是两台机器，故两台机器配置相同即可；  
1、修改jvmRoute="real1"（自定义）  
<Engine name="Catalina" defaultHost="localhost" jvmRoute="real1">  
2、下面的代码是从官方网站上找到的默认的，具体运用中需要将auto的配置改成本机ip：  
 <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"  
                 channelSendOptions="8">  
  
  
          <Manager className="org.apache.catalina.ha.session.DeltaManager"  
                   expireSessionsOnShutdown="false"  
                   notifyListenersOnReplication="true"/>  
  
  
          <Channel className="org.apache.catalina.tribes.group.GroupChannel">  
            <Membership className="org.apache.catalina.tribes.membership.McastService"  
                        address="228.0.0.4"  
                        port="45564"  
                        frequency="500"  
                        dropTime="3000"/>  
            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"  
                      address="auto"  
                      port="4000"  
                      autoBind="100"  
                      selectorTimeout="5000"  
                      maxThreads="6"/>  
  
  
            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">  
              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>  
            </Sender>  
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>  
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>  
          </Channel>  
  
  
          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"  
                 filter=""/>  
          <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>  
  
  
          <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"  
                    tempDir="/tmp/war-temp/"  
                    deployDir="/tmp/war-deploy/"  
                    watchDir="/tmp/war-listen/"  
                    watchEnabled="false"/>  
  
  
          <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>  
          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>  
        </Cluster>      
2.2.3.2 修改web.xml文件  
配置web.xml文件只需要在末端web-app前面添加<distributable/>即可；  
<welcome-file-list>  
        <welcome-file>index.html</welcome-file>  
        <welcome-file>index.htm</welcome-file>  
        <welcome-file>index.jsp</welcome-file>  
    </welcome-file-list>  
<distributable/>  
</web-app>  
2.3 测试session复制  
2.3.1 创建测试文件  
分别在tomcat项目部署目录下创建test文件夹，并创建index.jsp文件，文件内容如下：  
<%@page language="java"%>  
<html>  
<body>  
        <h1><font color="red">Session serviced by tomcat</font></h1>  
        <table aligh="center" border="1">  
                <tr>  
                        <td>Session ID</td>  
                        <td><%=session.getId() %></td>  
                        <% session.setAttribute("abc","abc");%>  
                </tr>  
                <tr>  
                        <td>Created on</td>  
                        <td><%= session.getCreationTime() %></td>  
                </tr>  
        </table>  
</body>  
<html>  
2.3.2 Web测试session复制  
浏览器中输入：http://192.168.254.200/test/  
即可查看当前负载tomcat测试页面输出：  
 ![1364979445_3071.jpg][]  
关闭221的tomcat，并刷新页面  
 ![1364979448_4446.jpg][]  
如此则是测试完成。

[1364979431_2921.jpg]: https://img-my.csdn.net/uploads/201304/03/1364979431_2921.jpg
[1364979438_3308.jpg]: https://img-my.csdn.net/uploads/201304/03/1364979438_3308.jpg
[Link 1]: http://tomcat.apache.org/tomcat-6.0-doc/cluster-howto.html
[1364979445_3071.jpg]: https://img-my.csdn.net/uploads/201304/03/1364979445_3071.jpg
[1364979448_4446.jpg]: https://img-my.csdn.net/uploads/201304/03/1364979448_4446.jpg