apache + tomcat 集群-白红宇

apache + tomcat 集群

阅读量：6708 次

发布时间：2019-06-25

本文共 8376 字，大约阅读时间需要 27 分钟。

需求概况：

有3个服务: localhost:9091, localhost:9190。 localhost:9191分别对应3个tomcat下的3个web应用。

由apache httpd作为互联网接入服务器，在80端口接收对这3个服务的请求。apache httpd再将这3个请求分别对应到不同的后端web服务器(Tomcat)处理。

一、软件准备

1. httpd-2.2.25-win32-x86-no_ssl

2. apache-tomcat-7.0.47

注意：由于Apache和Tomcat项目与集群相关的模块均处于持续发展和优化过程中，因此笔者不保证本文配置方法对所有Apache和Tomcat版本均适用。

二、软件安装

1. 安装apache2.2

把Apache安装为运行在80端口的Windows服务，安装成功后在系统服务列表中可以看到Apache2.2服务。对于已安装IIS的机器，在启动Apache服务之前必须首先停止IIS Admin服务，不然会因为端口冲突而无法启动。服务启动后在浏览器中输入http://localhost进行测试，如果能看到一个"It works!"的页面就代表Apache已经正常工作了。

1. 安装tomcatt-7.0.47

解压tomcat zip文件到两个文件夹，分别为apache-tomcat-7.0.47-2和apache-tomcat-7.0.47-1，配置JAVA_HOME和CLASSPATH系统环境变量，分别启动t1和t2，确保tomcat可用，然后关闭tomcat。

本文仅为讲解配置过程，Apache和tomcat均工作在同一台机器上。实际部署时没有任何限制，Apache和单个tomcat可以分别部署在不同的服务器上。

三、Apache配置

Apache 2.2集成了mod_jk功能，相对于1.3版本，不需要再进行繁琐的worker.properties配置，配置过程大幅简化。

首先，在Apache安装目录下找到conf/httpd.conf文件，以文本编辑器打开。

去掉以下文本前的注释符(#)以便让Apache在启动时自动加载代理(proxy)模块。

1 LoadModule proxy_module modules/mod_proxy.so  2 LoadModule proxy_ajp_module modules/mod_proxy_ajp.so  3 LoadModule proxy_balancer_module modules/mod_proxy_balancer.so  4 LoadModule proxy_connect_module modules/mod_proxy_connect.so  5 LoadModule proxy_ftp_module modules/mod_proxy_ftp.so  6 LoadModule proxy_http_module modules/mod_proxy_http.so

向下拉动文档找到节点，在DirectoryIndex index.html后加上index.jsp，这一步只是为了待会配置完tomcat后能看到小猫首页，可以不做。

这里选择的是mod_jk-1.2.31-httpd-2.2.3.so，如果http服务器是Apache2.0.X版本，则必须选择mod_jk-1.2.31-httpd-2.0.52.so，页面下方有英文的说明，大家可以看下。

其实我也在网上看到Apache2.2已经集成Tomcat插件模块了，可以不用JK插件就可以实现Tomcat负载均衡，但也需要一些配置，而JK这个配置相比也不复杂，就先记录下来。

我的Apache安装在D:\Apache2.2，找到conf目录下的httpd.conf，在文件的最后一行添加

include "D:\Apache2.2\conf\mod_jk.conf"

2、新建mod_jk.conf文件，内容如下：

LoadModule jk_module modules/mod_jk-1.2.31-httpd-2.2.3.soJkWorkersFile conf/workers.properties#指定那些请求交给tomcat处理,"controller"为在workers.propertise里指定的负载分配控制器名JkMount /*.jsp controller

3、将下载的JK插件mod_jk-1.2.31-httpd-2.2.3.so复制到Apache安装目录的modules目录下。

4、新建并编辑workers.properties文件，内容如下：

#serverworker.list = controller#========tomcat1========worker.tomcat1.port=11000worker.tomcat1.host=localhostworker.tomcat1.type=ajp13worker.tomcat1.lbfactor = 1#========tomcat2========worker.tomcat2.port=12000worker.tomcat2.host=localhostworker.tomcat2.type=ajp13worker.tomcat2.lbfactor = 1#========tomcat3========worker.tomcat3.port=13000worker.tomcat3.host=192.168.0.80 worker.tomcat3.type=ajp13worker.tomcat3.lbfactor = 1 #========controller,负载均衡控制器========worker.controller.type=lbworker.controller.balanced_workers=tomcat1,tomcat2,tomcat3worker.controller.sticky_session=falseworker.controller.sticky_session_force=1#worker.controller.sticky_session=1

这里可以配置任意多个Tomcat，此处配置了3个Tomat服务器，2个本地，1个远程，所以为了它们都能够顺利启动起来，本地的服务器端口都是不同的，如果Tomcat不再同一机器上，没必要改端口的。

配置Tomcat

配置3个Tomcat服务器，将Tomcat解压后复制3份，我将每个文件夹分别命名为Tomcat1，Tomcat2和Tomcat3，修改每一份的server.xml配置，将Tomcat1中修改部分如下：

1 
       2 
      18 
      22 
     
       23   
       26   
       27   
       28   
       29   
       30   
       31   
       32   
       33   
       34  35   
       38   
      
        39     
        42     
        47   
       48  49   
       54   
      
        55  56     
        57     
        61  62  63     
        70     
        73     
        74     
        80     
        84     
        89  90     
        91     
        92  93  94     
        99 100     
       103     
       
        104 105       
        109          
        110 111     
        130 
          155   156 157       
        159       
        
         160         
         164         
         166       
        167 168       
        
         171     
         172         
         174         
         177 178         
         181         
         184 185       
        186     
       187   
      188

tomcat2

tomcat3

1 
       2 
      18 
      22 
     
       23   
       26   
       27   
       28   
       29   
       30   
       31   
       32   
       33   
       34  35   
       38   
      
        39     
        42     
        47   
       48  49   
       54   
      
        55  56     
        57     
        61  62  63     
        70     
        73     
        74     
        80     
        84     
        89  90     
        91     
        92  93  94     
        99 100     
       103     
       
        104 105       
        108      109       
        110     111  
        130 
          155 156       
        158       
        
         159         
         163         
         165       
        166 167       
        
         169     
         170         
         172         
         175 176         
         179         
         182 183       
        184     
       185   
      186

测试

建立测试项目

建立test项目，需要在项目的web.xml中添加<distributable/>

建立test2.jsp，内容如下(网上都用这个测试，我就省的麻烦了)：

1 <%@ page contentType="text/html; charset=GBK" %> 2  3 <%@ page import="java.util.*" %> 4  5 Cluster App Test 6  7  8  9 Server Info:10 11 <%12 13 out.println(request.getLocalAddr() + " : " + request.getLocalPort()+"
");%>14 15 <%16 17   out.println("
 ID " + session.getId()+"
");18 19   // 如果有新的 Session 属性设置20 21   String dataName = request.getParameter("dataName");22 23   if (dataName != null && dataName.length() > 0) {24 25      String dataValue = request.getParameter("dataValue");26 27      session.setAttribute(dataName, dataValue);28 29   }30 31   out.println("Session 列表
");32 33   System.out.println("============================");34 35   Enumeration e = session.getAttributeNames();36 37   while (e.hasMoreElements()) {38 39      String name = (String)e.nextElement();40 41      String value = session.getAttribute(name).toString();42 43      out.println( name + " = " + value+"
");44 45          System.out.println( name + " = " + value);46 47    }48 49 %>50 51   
     
      52 53     名称:
      54 55      
      
56 57     值:
      58 59      
      
60 61     
      62 63    
     
64 65 66 67

上面的测试页面就不解释了，很好理解。

节点插拔测试

插拔意思是应该保证当运行的集群中某节点中关闭或者启动时，集群正常工作并且节点能够正常工作。

下面描述测试过程了，贴图太占地方了。

关闭Tomcat2，刷新页面，则不断访问Tocmat1和Tomcat3，再关闭Tomcat1后，则只访问一个Tomcat3，说明节点关闭时运行正常。

如果重启Tomcat2，无论怎么刷新，始终访问Tomcat3，难道Apache不能将请求转发给中途启动的Tomcat2?。。。这时利用另外台机器访问页面，发现Tomcat2正常，然后在刷本地页面，又可以访问Tomcat2了。

从上面可以看出Apache的负载均衡时的算法了，对于每个新来的session，Apache按照节点配置中的lbfactor比重选择访问节点，如果某节点node1不能访问，则寻找下一可访问节点，并且将此node1就在该访问session的访问黑名单中，以后该session的访问直接不考虑node1，即使node1又可以访问了。而新来的session是无黑名单的，如果新的session能够访问到node1了，则会将node1在其他所有session访问的黑名单删除，这样其他session就又能访问node1节点了。以上只是个人经过测试后的猜想。

经过以上测试，说明Tomcat集群和负载均衡已经实现了。

关于集群我还有些疑问，所以又测试了下，直接把结论写出来：

1.集群下的相同的应用可以名称不同(好像没必要啊)，只要配置server.xml中host下的context具有相同的path即可。

2. 如果应用名称可以不同，那么应用下内容是否可以不同呢(这里考虑将不同应用通过集群看起来是一个应用，并且共享session)，然后集群下不同应用映射为相同的访问path，具有相同的路径则负载，如果某路径只某个应用具有，则一直访问该应用。可现实很骨干啊，答案是否定的，至少我以上的配置不能实现。如果访问只有某应用具有的特别路径，那么只有负载到该应用才可以访问，否则直接路径未找到的错误页面了。

如果您看过网上其他Apache+Tomcat的集群配置，您可能有的疑问？

1.网上大部分的文章配置2个tocmat的集群，有的将workers.properties下的worker.controller.sticky_session=1，

然后tomcat1中的server.xml中的jvmRoute设置为tomcat2，将tomcat2中的jvmRoute设置为tocmat1，当然我这样设置

也成功了，但是如果3个或者更多tocmat呢,怎么设置每个tomcat的jvmRoute,我不会所以才考虑现在的配置

2.server.xml中的Cluster配置问题，网上大部分都是使用BackupManager方式，即Cluster下又粘贴了一堆配置。其实

只要将其中注释掉的<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>去掉注释就完成session的集群

复制了。只是这俩种复制采用的方式不同而已。，

这页面已经说的挺清楚了，集群的session复制默认是DeltaManager，是all to all的复制，意思是将集群下1个tomcat应用下的session

对所有的集群中的节点进行复制，即使那个节点没有发布应用。显然是不好的方式，但这在小规模的集群下并没神马问题。

而采用BackupManager，就是众多网上配置那样，对于需要复制的节点设置BackupManager自然也没问题，

但是它的性能并没有DeltaManager 好使“ Downside of the BackupManager: not quite as battle tested as the delta manager”。

因此，具体怎么设置就看大家了，通常说如果不是大规模集群，就默认就好了。反正我自己翻译的就是这个意思了，希望没有误导大家。