结合Apache和Tomcat实现集群和负载均衡

ゞ浴缸里的玫瑰 2022-08-23 14:47 197阅读 0赞

本文基本参考自 [轻松实现Apache,Tomcat集群和负载均衡][Apache_Tomcat],经由实操经历记录而成，碰到些出入，以及个别地方依据个人的习惯，所以在一定程度上未能保持原文的完整性，还望原著者海涵。

因原文中有较多的贴图，如若各位读者一时不想亲自动手而直想看到配置效果，可查看原文。

**一：软件环境**  
   1. Apache: apache 2.0.55 (由[http://httpd.apache.org/][http_httpd.apache.org]进入下载)([点击下载apache 2.0.55][apache 2.0.55])  
   2. Tomcat: Tomcat 5.5.25 (由[http://tomcat.apache.org/][http_tomcat.apache.org]进入下载)([点击下载Tomcat 5.5.25 zip版][Tomcat 5.5.25 zip])  
   3. mod\_jk: 在页面 [http://tomcat.apache.org/][http_tomcat.apache.org]   Download 标题下找到 Tomcat Connectors 链接进入( [点击下载mod\_jk-apache-2.0.55.so][mod_jk-apache-2.0.55.so])，看起来像是个Unix/Linux下的动态库，实际应是个Win32 的 DLL 动态库，大概是为保持不同平台配置的一致性，才用了这个扩展名。

**二：负载均衡**  
　用Apache进行分流，把请求按照权重以及当时负荷分tomcat1,tomcat2...去处理  
  
1. 安装apache,tomcat  
   我把Apache安装在D:/Apache Group/Apache2  
　 解压两分Tomcat, 分别在 D:/Apache Group/Tomcat5\_1，D:/Apache Group/Tomcat5\_2  
   如果把不同版本的Tomcat进行集群，目录就可用Tomcat4\_3(版本为4.x的第三个tomcat服务器)，Tomcat6\_4(版本为6.x的第三个tomcat服务器),这是Unmi本人的习惯。  
  
2.修改Apache配置文件http.conf  
  
   在apache安装目录下conf目录中找到http.conf，在文件最后加上下面一句话就可以了  
  
   include conf/mod\_jk.conf

3. http.conf 同目录下新建mod\_jk.conf文件，内容如下

\#加载mod\_jk Module LoadModule jk\_module modules/mod\_jk-apache-2.0.55.so \#指定 workers.properties文件路径 JkWorkersFile conf/workers.properties \#指定那些请求交给tomcat处理,"controller"为在workers.propertise里指定的负载分配控制器 JkMount /\*.jsp controller

如果还要指定\*.do也进行分流就再加一行  
JkMount /\*.do controller  
  
如果你想对所有的请求进行分流只需要写成  
JkMount /\* controller  
  
4. 在http.conf同目录下新建 workers.properties文件，内容如下(可能要去除 \# 不在行首的注释)

worker.list = controller,tomcat1,tomcat2 \#server 列表 \#========tomcat1======== worker.tomcat1.port=8009 \#ajp13 端口号，在tomcat下server.xml配置,默认8009 worker.tomcat1.host=localhost \#tomcat的主机地址，如不为本机，请填写ip地址 worker.tomcat1.type=ajp13 worker.tomcat1.lbfactor = 1 \#server的加权比重，值越高，分得的请求越多 \#========tomcat2======== worker.tomcat2.port=8109 \#ajp13 端口号，在tomcat下server.xml配置,默认8009 worker.tomcat2.host=localhost \#tomcat的主机地址，如不为本机，请填写ip地址 worker.tomcat2.type=ajp13 worker.tomcat2.lbfactor = 2 \#server的加权比重，值越高，分得的请求越多 \#========controller,负载均衡控制器======== worker.controller.type=lb worker.controller.balanced\_workers=tomcat1,tomcat2 \#指定分担请求的tomcat worker.controller.sticky\_session=1

5. 修改tomcat配置文件server.xml  
如果你是水平集群，即在不同电脑上安装tomcat,tomcat的安装数量为一个，可以不必修改tomcat配置文件.我这里是在同一台电脑上安装两个tomcat,实现的是垂直集群方式，所以必须修改其中一个的设置，以避免端口冲突，按照参考文章是把原来以9开头的端口号改为以9开头端口号，但是在我机器上如果以9开头的端口号，例如9080、9082会与我的WebSphere Application Server配置冲突，所以我这里采取的策略是把原来端口号的第三位改为1，如8080改为8180。  
  
打开tomcat2/conf/server.xml文件  
  
1) 将关闭Tomcat的监听端口改成由8005改为8105  
即把  
 <Server port="8005" shutdown="SHUTDOWN">  
改为  
 <Server port="8105" shutdown="SHUTDOWN">  
  
2) 把http服务端口号由8080改为8180  
找到  
   
    <CONNECTOR port="8080"   
把这里的8080改为8180  
  
3) 把AJP端口号由8009改为8109  
找到  
   
    <CONNECTOR port="8009"  
把这里的8009改为8109  
  
4) 把 HTTP 代理端口从8082改为8182(这个配置默认是被注释掉的，可跳过这一步)  
找到  
<CONNECTOR port="8082"  
把这里的8082改为8182  
  
5) 编写一个测试 jsp  
建立一个目录TestCluster，里面新建一个test.jsp,内容为

<% System.out.println("==========================="); %>  
把TestCluster放到tomcat1,tomcat2的webapps下  
  
6) 启动apache,tomcat1,tomcat2,进行测试  
通过 [http://localhost/TestCluster/test.jsp][http_localhost_TestCluster_test.jsp] 访问，多刷新几次页面，查看Tomcat1和Tomcat2的窗口，你将可以看到打印了一行行"==========================="，并且从统计上来说，大约在tomcat2打印的数量是在Tomcat1中的两倍，可以看到请求会被tomcat1,tomcat2按照不同的权重分流处理,实现了负载均衡。  
  
作下面的集群配置，请在workers.properties把tomcat1和tomcat2的权重改为一样的，使请求较平均分配，将有便于看到实验的效果。

**三：配置集群**  
  只配置负载均衡还不行，还要session复制，也就是说其中任何一个tomcat的添加的session，是要同步复制到其它tomcat， 集群内的tomcat都有相同的session  
  
1. 修改tomcat1, tomcat2的server.xml,将集群部分配置，即对<Cluster>节点的在注释符删掉,并将tomcat2的4001端口改为4002，以避免与tomcat冲突，当然，如果是两台电脑，是不用改端口的，去掉注释符即可  
即取消对如下处

<Cluster className="org.apache.catalina.cluster.tcp.SimpleTcpCluster" managerClassName="org.apache.catalina.cluster.session.DeltaManager" expireSessionsOnShutdown="false" ............ <ClusterListener className="org.apache.catalina.cluster.session.ClusterSessionListener"/> </Cluster>  
前后的注释标记，启用该项配置，实现服务器间的Session复制。  
  
2. 为 Tomcat1和 Tomcat2 增加 jvmRoute(先跳过这一步，有精力可以试验一下)  
在 Tomcat1 和 Tomcat2 的 server.xml 文件，找到  
 <ENGINE name="Catalina" defaultHost="localhost">  
分别改为  
 <ENGINE name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">  
和  
 <ENGINE name="Catalina" defaultHost="localhost" jvmRoute="tomcat2">  
  
然而实际我配置的时候还不能加jvmRoute属性，配置了反而有问题。  
刷新浏览器窗口总是在某一个tomcat控制台输出形如  
  
 SessionID:154678FA6D4D0ABD57658B750E7A3532.tomcat1  (在tomcat1窗口)  
或者  
 SessionID:3800571A532AECEA7280F45361861AD4.tomcat2  (在tomcat2窗口)  
  
由控制台打印的结果可以看出，SessionID在哪个tomcat上产生，那么后续该会话的请求将总是会这个tomcat来处理。  
  
并且注意到SessionID的形式比通常情况多了一个后缀.tomcat1或.tomcat2，还搞不清楚是为什么。  
  
配置时请视实际情况而取舍。  
  
3. 修改测试项目 TestCluster  
修改test.jsp,内容如下  
   
<%@ page contentType="text/html; charset=GBK" %> <%@ page import="java.util.\*" %> <html><head><title>Cluster App Test</title></head> <body> <% System.out.println("SessionID:" + session.getId()); %> Server Info: <% out.println(request.getServerName() + " : " + request.getServerPort()+"<br>");%> <% out.println("<br> ID " + session.getId()+"<br>"); // 如果有新的 Session 属性设置 String dataName = request.getParameter("dataName"); if (dataName != null && dataName.length() > 0) \{ String dataValue = request.getParameter("dataValue"); session.setAttribute(dataName, dataValue); \} out.print("<b>Session 列表</b><br>"); Enumeration e = session.getAttributeNames(); while (e.hasMoreElements()) \{ String name = (String)e.nextElement(); String value = session.getAttribute(name).toString(); out.println( name + " = " + value+"<br>"); System.out.println( name + " = " + value); \} %> <form action="test.jsp" method="POST"> 名称:<input type=text size=20 name="dataName"> <br> 数值:<input type=text size=20 name="dataValue"> <br> <input type=submit> </form> </body> </html>

4. 配置Session复制  
在TestCluster目录下新建WEB-INF目录，WEB-INF下新建web.xml,内容如下

<web-app xmlns="http://java.sun.com/xml/ns/j2ee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/ns/j2ee http://java.sun.com/xml/ns/j2ee/web-app\_2\_4.xsd" version="2.4"> <display-name>TomcatClusterDemo</display-name> <distributable/> <web-app>

也就是在需要集群的应用的web.xml中加上 属性，表明该应用可多应用分流处理，能进行Session的复制  
  
把TestCluster复制到Tomcat1、Tomcat2的webapps目录下，重启apache,tomcat1,tomcat2  
  
5. 测试Session的复制  
通过 [http://localhost/TestCluster/test.jsp][http_localhost_TestCluster_test.jsp] 访问，输入名称为 name, 值为 Unmi，提交查询，多刷新几次浏览器窗口，你将会看到在两个Tomcat窗口都打印出相同的SessionID及其中的值，并且每次刷新后打印的结果都一样的。  
  
如果不为应用的web.xml加上 ，同样测试上面那个test.jsp页面，每次刷新分流到不同的tomcat上都会产生不一样的SessionID,在同一个tomcat上也是间隔出现不同的sessionID。  
  
更切身的体验是一定要自己动手配置一遍，并仔细观察两个tomcat的控制上的输出。因本文是参考 [轻松实现Apache,Tomcat集群和负载均衡][Apache_Tomcat] 的实践经历，该本中有较多的贴图。

后记：  
用 WebSphere Application Server ND 版配置过垂直和水平集群，但是自己试验集群环境下的应用却不想搬弄这个庞然大物。眼下急于想体验的就是 Quartz 如何适应集群环境，问题的焦点就是：Quartz 定时任务随 Web 应用启动，而 Web 应用部署在集群环境中，如何保证同一时刻只有一个同名的任务实例在跑。  
  
所以会考虑用Apache+Tomcat配置一个轻量级的WEB应用集群，一般进行HTTP分流都是使用Apache,包括WAS集群也是，很少用IIS的。虽然单纯的用Tomcat的balancer应用也能配置进行负载分流，但那个性能应该好不到哪儿去。  
  
用Apache+Tomcat配置的Web应用集群就是部署起来麻烦些，总是要保持双份的应用拷贝，WAS集群则不需要，不知道Jboss做WEB应用集群是怎么样一种情况。  
  
好了，下面要进行该做的事情了,最后也希望能写个工具能完成从下载到安装配置，启动，停止，重启的全自动化，以及界面的人性化。

参考资料：1. [轻松实现Apache,Tomcat集群和负载均衡][Apache_Tomcat]  
             2. [apache+tomcat集群实践][apache_tomcat](与上面方法有些异样的配置方式)   
             3. [Tomcat集群与负载均衡][Tomcat](关于集群与负载均衡的解释)  
             4. [怎样配制集群/Session复制][Session](Tomcat5自带文档的中文翻译)  
             5. [怎样配置负载均衡][Link 1](Tomcat5自带文档的中文翻译)

[Apache_Tomcat]: http://hi.baidu.com/luodaijun/blog/item/5bbe4cfb5ffef864034f56a1.html
[http_httpd.apache.org]: http://httpd.apache.org/
[apache 2.0.55]: http://archive.apache.org/dist/httpd/binaries/win32/apache_2.0.55-win32-x86-no_ssl.msi
[http_tomcat.apache.org]: http://tomcat.apache.org/
[Tomcat 5.5.25 zip]: http://apache.mirror.phpchina.com/tomcat/tomcat-5/v5.5.25/bin/apache-tomcat-5.5.25.zip
[mod_jk-apache-2.0.55.so]: http://archive.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/win32/jk-1.2.15/mod_jk-apache-2.0.55.so
[http_localhost_TestCluster_test.jsp]: http://localhost/TestCluster/test.jsp
[apache_tomcat]: http://www.chinascripts.com/tech/java/webserver/2007-08-28/614dc2b436b046f6.html
[Tomcat]: http://www.cn-java.com/target/news.php?news_id=3613
[Session]: http://tomcat.jaxmao.org/cluster-howto.html
[Link 1]: http://tomcat.jaxmao.org/balancer-howto.html