【 Nginx+Apache-Tomcat7+Memcached搭建负载均衡实现Session共享】

- 日理万妓 2022-07-15 15:12 192阅读 0赞

所需环境：  
Red Hat 4.4.7  
JDK：Java(TM) SE Runtime Environment 1.7.0\_51(开发工具包)  
Nginx：nginx1.11.3(负载均衡服务器)  
Apache：apache-tomcat-7.0.57(web网络服务器)  
Memcached：memcached-1.4.31(分布式内存对象缓存系统)、  
tomcat和memcached 集群用的jar msm-1.7  目前版本1.7 :  
asm-3.2.jar  
kryo-1.04.jar  
kryo-serializers-0.11.jar  
memcached-session-manager-1.7.0.jar  
memcached-session-manager-tc7-1.8.1.jar  
minlog-1.2.jar  
msm-kryo-serializer-1.7.0.jar  
reflectasm-1.01.jar  
spymemcached-2.7.3.jar 这个将来放入各个tomcat\\lib中  
  
  
Libevent：libevent-2.0.22-stable(事件驱动网络库) 、 libevent-devel 1.4.13(依赖包) （安装Memcached需要依赖Libevent）  
工具包：  
jdk-7u51-linux-x64.rpm  
nginx-1.11.3.tar.gz  
apache-tomcat-7.0.57.zip  
memcached-1.4.31.tar.gz  
libevent-2.0.22-stable.tar.gz

所需工具包地址：http://download.csdn.net/detail/qierkang/9659233

![Image 1][]

PS：jdk、nginx、apache-tomcat、memcached、libevent都装在主机master上面，备机不需要装memcached、libevent 
 
 
安装jdk-7u51-linux-x64.rpm 
\# rpm -ivh jdk-7u51-linux-x64.rpm 
\# java -version 
 
 
安装apache-tomcat-7.0.57.zip 
\# unzip apache-tomcat-7.0.57.zip 
\# cd apache-tomcat-7.0.57 
\# chmod -R 777 \* 
 
 
安装nginx-1.11.3.tar.gz 
\# mkdir /usr/local/nginx 
\# tar -zxvf nginx-1.11.3.tar.gz 
\# cd nginx-1.11.3 
\# ./configure --prefix=/usr/local/nginx 
\# make & make install 
 
安装报错: 
./configure: error: the HTTP rewrite module requires the PCRE library. 
You can either disable the module by using --without-http\_rewrite\_module 
option, or install the PCRE library into the system, or build the PCRE library 
statically from the source with nginx by using --with-pcre=<path> option. 
需要安装依赖  
yum install -y pcre-devel  
 
 
./configure: error: the HTTP gzip module requires the zlib library. 
You can either disable the module by using --without-http\_gzip\_module 
option, or install the zlib library into the system, or build the zlib library 
statically from the source with nginx by using --with-zlib=<path> option. 
需要安装依赖 
yum install -y zlib-devel 
 
 
安装libevent-devel 1.4.13 (直接使用Yum安装命令就可以) 
\# yum install -y libevent-devel

安装libevent-2.0.22-stable.tar.gz  
\# tar -zxvf libevent-2.0.22-stable.tar.gz  
\# cd libevent-2.0.22-stable  
\# ./configure --prefix=/usr  
\# make & make install  
测试:ls -al /usr/lib | grep libevent  
看到服务说明安装完成  
  
  
  
  
安装memcached-1.4.31.tar.gz  
\# tar -zxvf memcached-1.4.31.tar.gz  
\# cd memcached-1.4.31  
\# ./configure && make && make test && sudo make install  
\# cd /usr/local/bin/  
\# /usr/local/bin/memcached -d -m 1024 -u root -l 192.168.174.128 -p 11211即可启动memcached服务  
测试：使用另外一台机  
\# telnet 192.168.174.128 11211  
Trying 192.168.174.128...  
Connected to 192.168.174.128.  
Escape character is '^\]'.  
\# stats  
STAT pid 49505  
STAT uptime 360  
STAT time 1476076047  
....说明安装完成   
quit  
  
  
  
  
  
  
  
  
配置说明：  
  
Nginx  
例如有三台服务器：192.168.174.128(master)、192.168.174.129(slave01)、192.168.174.130(slave02)  
128是主机129、130是备机  
  
  
进入128   
\# cd /usr/local/nginx/conf  
\# vi nginx.conf  
内容修改如下  
user root; \#运行用户  
worker\_processes 1; \#启动进程，通常设置和cpu核数一致  
events\{  
worker\_connections 1024; \#单个后台worker process进程的最大并发链接数  
\}  
  
  
\#设定http服务器，利用它的反向代理功能提供负载均衡支持  
http\{  
client\_header\_buffer\_size 16k;\#设置读取客户端请求头的缓冲区大小。多数请求缓冲1K字节是不够的。  
large\_client\_header\_buffers 4 64k;\#设置用于读取大客户端请求头的缓冲区的最大数量和大小。一个请求线不能超过一个缓冲区的大小，或414（请求URI太大）错误返回到客户端。  
  
\#upstream的负载均衡  
\#weight为weight越大，负载的权重就越大。  
\#max\_fails：允许请求失败的次数默认为1.当超过最大次数时

\#fail\_timeout:max\_fails次失败后，暂停的时间。

\#这边端口不一定是8080 可以是其他 如：8088-8081-8082  到时候访问地址就是

upstream localhost\#定义负载均衡设备的Ip及设备状态 \{  
server 192.168.174.129:8080 weight=3 max\_fails=2 fail\_timeout=30s;   
server 192.168.174.130:8080 weight=2 max\_fails=2 fail\_timeout=30s;  
server 127.0.0.1:8080 weight=4;  
\}  
\#配置虚拟机  
server \{  
listen 80;\#监听端口 可以是其他端口 81 82 83 88 ...  
server\_name localhost;\#配置访问域名 域名可以有多个，用空格隔开  
location  /  \{\# 对所有地址进行负载均衡、对以“jsp或html”结尾的地址进行负载均衡:  ~\* \\.(jsp|html)$  
root html;  
index index.html index.htm;  
proxy\_pass         http://localhost; \#请求转向mysvr 定义的服务器列表  
proxy\_set\_header   Host             $host;  
proxy\_set\_header   X-Real-IP        $remote\_addr;  
proxy\_set\_header   X-Forwarded-For  $proxy\_add\_x\_forwarded\_for;  
\}  
\}  
\}  
保存启动nginx服务  
校验下nginx是否通过  
\# cd ../sbin  
\# ./nginx -t -c /usr/local/nginx/conf/nginx.config  
如果出现：  
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok  
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful  
校验成功启动服务：  
\# ./nginx -c /usr/local/nginx/conf/nginx.config  
  
  
进入129  
只需要修改nginx.conf 配置文件里面的  
server \{  
 server\_name 192.168.174.128;\#主机master ip地址或者域名  
 location / \{  
            root   /home/qek/apache-tomcat-7.0.57/webapps; \#项目位置  
            index  index.html index.htm index.jsp;  
        \}  
\}  
保存重启nginx服务  
\# cd ../sbin  
\# ./nginx -s reload  
进入130 同上  
  
  
  
  
Apache-Tomcat:

\# cd /home/qek/apache-tomcat-7.0.57/conf

\#修改配置文件context.xml

\# vi context.xml 
 
<Context> 
 
    <WatchedResource>WEB-INF/web.xml</WatchedResource> 
 
     
     
 
     
     
 <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager" 
   memcachedNodes="n1:192.168.174.128:11211" 
   sticky="false" 
   lockingMode="auto" 
   sessionBackupAsync="false" 
   requestUriIgnorePattern=".\*\\.(ico|png|gif|jpg|css|js)$" 
   sessionBackupTimeout="1800000"  transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory" 
/> 
</Context>

\#修改配置文件server.xml 
\#vi server.xml 
 
 <Host name="localhost"  appBase="webapps" 
            unpackWARs="true" autoDeploy="true"> 
         
         
         
        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs" 
               prefix="localhost\_access\_log." suffix=".txt" 
               pattern="%h %l %u %t "%r" %s %b" />

<Context path="/" docBase="/usr/local/tomcat/apache-tomcat-7.0.57/webapps/" debug="0" reloadable="true" crossContext="true"/> 
       </Host>

然后需要tomcat和memcached 集群用的jar  一共有7个分别放在msm-1.7  目前版本1.7 : 
asm-3.2.jar 
kryo-1.04.jar 
kryo-serializers-0.11.jar 
memcached-session-manager-1.7.0.jar 
memcached-session-manager-tc7-1.8.1.jar 
minlog-1.2.jar 
msm-kryo-serializer-1.7.0.jar 
reflectasm-1.01.jar 
spymemcached-2.7.3.jar 
 
 
PS：主机128、备机129、130配置如同 
 
 
启动顺序 tomcat – nginx – memcached 
 
 
测试页面index.jsp，放入webapps： 
<%@ page contentType="text/html; charset=UTF-8" %>  
<%@ page import="java.util.\*" %>  
<html><head><title>Cluster Test</title></head>  
<body>  
<%  
  //HttpSession session = request.getSession(true);  
  System.out.println(session.getId());  
  out.println(" SESSION ID:" + session.getId()+" ");    
  // 如果有新的请求，则添加session属性  
  String name = request.getParameter("name");  
  if (name != null && name.length() > 0) \{  
     String value = request.getParameter("value");  
     session.setAttribute(name, value);  
  \}    
    out.print("Session List:");    
    Enumeration<String> names = session.getAttributeNames();  
    while (names.hasMoreElements()) \{  
        String sname = names.nextElement();   
        String value = session.getAttribute(sname).toString();  
        out.println( sname + " = " + value+" ");  
        System.out.println( sname + " = " + value);  
   \}  
%>  
</body>  
</html>

结果：session Id返回一样 例如：B860FA4DBB36B8B9CE75CAAF11A3AD6C-n1

![Image 1][]

ps：如果java程序有用到session 把获取session用spymemcached管理 修改如下：

获取session方式有变化：

maven最大的配置文件 在里面加入pom.xml

<dependency> 
   <groupId>net.spy</groupId> 
   <artifactId>spymemcached</artifactId> 
   <version>2.12.1</version> 
</dependency> 
 
 
java代码：

package com.sfc.utils;

import java.net.InetSocketAddress; 
import java.util.concurrent.Future; 
import net.spy.memcached.MemcachedClient; 
 
 
/\*\* 
    \* @ClassName: MemcachedSession 
    \* @author qierkang 
    \* @date 2016年10月20日 
\* @Description: (  ) 
    \*/     
public class MemcachedSession\{ 
 
 
   /\*\* 
   \* @Fields serialVersionUID : (  ) 
   \*/  
private final static String MEMCACHED\_IP="你的master服务器"; //主服务器master IP地址 
private final static Integer MEMCACHED\_PORT=11211;//memcached 开放端口 
 
   /\*\* 
   \* @Title: setMemcachedSession 
   \* @param @param request 
   \* @param @return    参数 
   \* @return boolean    返回类型 
   \* @Description: ( 往memcached添加sessionID ) 
   \*/ 
public static boolean setMemcachedSession(String sessionId)\{ 
Future<Boolean> b = null; 
boolean flag=false; 
try\{ 
/\*建立MemcachedClient 实例，并指定memcached服务的IP地址和端口号\*/   
MemcachedClient mc = new MemcachedClient(new InetSocketAddress(MEMCACHED\_IP, MEMCACHED\_PORT)); 
            /\*将key值，过期时间(秒)和要缓存的对象set到memcached中\*/   
            b = mc.set("qekKey", 3600, sessionId); 
            flag=b.get(); 
            if(b.get().booleanValue()==true)\{ 
                mc.shutdown();   
            \}  
        \} 
        catch(Exception ex)\{ 
            ex.printStackTrace();   
        \} 
return flag; 
\} 
 
   /\*\* 
   \* @Title: getMemcachedSession 
   \* @param @return    参数 
   \* @return String    返回类型 
   \* @Description: ( 从memcached获取sessionID ) 
   \*/ 
public static String getMemcachedSession()\{ 
String key=null; 
try\{ 
            /\*建立MemcachedClient 实例，并指定memcached服务的IP地址和端口号\*/   
MemcachedClient mc = new MemcachedClient(new InetSocketAddress(MEMCACHED\_IP, MEMCACHED\_PORT)); 
            /\*按照key值从memcached中查找缓存，不存在则返回null \*/   
key=mc.get("qekKey").toString();   
            mc.shutdown();   
        \}   
        catch(Exception ex)\{   
            ex.printStackTrace();   
        \} 
return key; 
\}

本人亲自测试可以用！

[Image 1]: