Jboss自帶均衡器的配置
將文件夾%jboss%\docs\examples\varia\loadbalancer\loadbalancer.sar拷貝到%jboss%\ server\all\deploy下,并且修改loadbalancer.sar\loadbalancer.sar\META-INF\jboss- service.xml,在<host>標簽中類出所有節點,在<sticky-session>標簽中指定是否使用粘性 session。配置完成。
該均衡器的缺點是負載能力相對不高,配置參數太少,比如無法指定不同節點的負載加權,所以后面都以mod_jk為例,不再講解jboss自帶的負載均衡器的內容。
負載均衡的配置基本完成,啟動jboss,其中過程中會列出DefaultPatition中所有的節點:
run.bat -c all
2、session sticky配置
apache 應該會以粘性session的方式分發請求。部署一個應用測試一下,你會發現粘性session沒有起作用。因為我們還沒有給jboss配置jvm路由 ( jvmRoute),apache就無法知道究竟哪些session是屬于哪個節點的。我們繼續往下:
修改server1機器上的jboss的配置文件:%jboss%\server\all\deploy\jbossweb-tomcat55.sar\ META-INF\ jboss-service.xml
在110行有:<attribute name="UseJK">false</attribute>,將它改為true。值得注意的是在這行標簽上面有一段注釋,要求你在server.xml中必須有:
Engine name="jboss.web" jmvRoute="Node1" defaultHost="localhost"
請注意這里有一個氣死人不償命的小bug,jboss的官方文檔把 jvmRoute寫成了jmvRoute,就是v和m兩個字母的顛倒讓我郁悶了三天,翻遍了jboss.com和theserverside.com。都是直接拷貝的錯,吐血吐到脫水啊。
下面需要修改server1上的%jboss%\server\all\deploy\jbossweb-tomcat55.sar\ server.xml,在32行左右有:
<Engine name="jboss.web" defaultHost="localhost">
給它增加一個jvmRoute屬性:
<Engine jvmRoute="server1" name="jboss.web" defaultHost="localhost">
請注意,jvmRoute的值必須和mod_jk中的節點名字正確對應,否則無法正確路由。Cluster中的所有節點都應該做相應的配置。
Jboss的配置完成了,下面需要在你的web應用中修改配置文件,讓它支持集群。
在WEB-INF\web.xml中加入屬性: <distributable/>
Ok,基于用戶的cluster完成了,每個用戶會綁定都某個節點上進行交互。這種綁定是如何完成的呢?原來apache把客戶分發到節點后,該節點會在用戶的session id后面加上此節點的路由名稱,變成這個樣子:
Efdfxxd98daja87daj76da2dka**,server1
有了這個標志,就能分辨該session屬于哪個節點。
3、session replication配置
下面要做的是基于request的cluster,也就讓各個節點之間互相復制session狀態。有兩種復制模式,同步與異步。使用同步的方式, jboss會把session復制的操作和對request的響應放到一個應用事務(application transaction),session 復制完成后才去處理request。異步復制則發送session復制的消息后馬上處理request,session復制則會稍有延遲。但是在多框架的 web頁面中,這樣的集群方式會有問題。由于frame在同一時間發出多個request,會造成一些混亂,這也是采用基于用戶的集群方式的原因之一。
JBoss 4.0.2 中采用了Jboss cache來實現session復制,實際上就是一個分布式緩存,由于session id中包含了jvm route,所以能夠分辨session屬于哪個節點。Session的更新類似于hibernate中的樂觀鎖,有了更新之后就讓session的版本號增加,其他節點通過對比版本號來決定是否同步session狀態。
配置session replication首先需要編輯
%jboss% server\all\deploy\jbossweb-tomcat55.sar\META-INF\ jboss-service.xml,88行左右有:
<attribute name="SnapshotMode">instant</attribute>
這就是剛才提到的復制模式,instant為立即復制,如果設為interval 那么系統會在延遲一段時間再進行復制,時間長度在< attribute name="SnapshotInterval">2000</attribute>中指定,單位是毫秒。
單獨配置這一個地方還不夠,在%jboss% server\all\deploy\ tc5-cluster-service.xml中有:
<attribute name="CacheMode">REPL_ASYNC</attribute>
這里才真正決定復制是同步的還是異步的,可以指定為REPL_ASYNC(異步)或者REPL_SYNC(同步)。
在這個文件下面一點,還有一個config標簽,里面指定了各個節點在進行session復制的時候如何通信,有udp和tcp兩種可選,如果使用udp方式,那么應該將udp的lookback屬性指定為true,因為windows上有一個叫做media sense的東西會影響 udp multicast。注意如果你不了解multi address的ip規則,請不要隨便修改mcast_addr的值。如果采用tcp方式的話,應該指定bind_addr的值為本機ip,并且在TCPPING標簽的initial_hosts屬性中列出所有節點,格式是”機器名[端口號]”,比如在我們的例子中,就應該這樣配置tcp(以其中一個節點為例):
<config><TCP bind_addr="172.16.0.116" start_port="7810" loopback="true"/><TCPPING initial_hosts="172.16.0.116[7810],172.16.32.88[7810]" port_range="3" timeout="3500"num_initial_members="3" up_thread="true" down_thread="true"/><MERGE2 min_interval="5000" max_interval="10000"/><FD shun="true" timeout="2500" max_tries="5" up_thread="true" down_thread="true" /><VERIFY_SUSPECT timeout="1500" down_thread="false" up_thread="false" /> ? <pbcast.NAKACK down_thread="true" up_thread="true" gc_lag="100" ? ? ? retransmit_timeout="3000"/> ? <pbcast.STABLE desired_avg_gossip="20000" down_thread="false" up_thread="false" /> ? <pbcast.GMS join_timeout="5000" join_retry_timeout="2000" shun="false"print_local_addr="true" down_thread="true" up_thread="true"/><pbcast.STATE_TRANSFER up_thread="true" down_thread="true"/></config>
JBoss的clustering版主建議盡量使用udp。不過在Sobey內部,建議使用tcp方式,經測試可能有不明物體在影響udp通信,導致Timeout異常。
在%jboss%\ server\all\deploy\ cluster-service.xml中也有關于udp和tcp的配置信息,在4.0以前版本的jboss中,會以這個文件為主配置,4.0以后都以tc5-cluster-service.xml為主配置。
Jboss的配置完成了,最后需要在web應用中增加配置信息,控制session復制的粒度。在WEB-INF\ jboss-web.xml中增加以下內容:
<replication-config> ? <replication-trigger>SET_AND_NON_PRIMITIVE_GET</replication-trigger> ? <replication-granularity>SESSION</replication-granularity> </replication-config>
其中replication-trigger是指定哪些操作引發session的版本更新,它的取值有:
SET_AND_GET ? ? SET_AND_NON_PRIMITIVE_GETSET
replication-granularity是復制粒度,可以取session或attribute。如果取為attribute有可能導致復制失敗,這是目前版本的jboss cache的一個bug,等待修正。
部署項目,測試,如果配置沒有問題,可以在%jboss%\0server\all\log\server.log中發現類似于這樣的信息:
DEBUG [org.jboss.web.tomcat.tc5.session.JBossCacheManager] check to see if needs to store and replicate session with id Im9-qpuaXppMS+xXwE3M+Q**.server1 DEBUG [org.jboss.web.tomcat.tc5.session.ClusteredSession] processSessionRepl(): session is dirty. Will increment version from: 20 and replicate.
Session replication配置的成功率比較低,情況也很復雜,請仔細操作。
將文件夾%jboss%\docs\examples\varia\loadbalancer\loadbalancer.sar拷貝到%jboss%\ server\all\deploy下,并且修改loadbalancer.sar\loadbalancer.sar\META-INF\jboss- service.xml,在<host>標簽中類出所有節點,在<sticky-session>標簽中指定是否使用粘性 session。配置完成。
該均衡器的缺點是負載能力相對不高,配置參數太少,比如無法指定不同節點的負載加權,所以后面都以mod_jk為例,不再講解jboss自帶的負載均衡器的內容。
負載均衡的配置基本完成,啟動jboss,其中過程中會列出DefaultPatition中所有的節點:
run.bat -c all
2、session sticky配置
apache 應該會以粘性session的方式分發請求。部署一個應用測試一下,你會發現粘性session沒有起作用。因為我們還沒有給jboss配置jvm路由 ( jvmRoute),apache就無法知道究竟哪些session是屬于哪個節點的。我們繼續往下:
修改server1機器上的jboss的配置文件:%jboss%\server\all\deploy\jbossweb-tomcat55.sar\ META-INF\ jboss-service.xml
在110行有:<attribute name="UseJK">false</attribute>,將它改為true。值得注意的是在這行標簽上面有一段注釋,要求你在server.xml中必須有:
Engine name="jboss.web" jmvRoute="Node1" defaultHost="localhost"
請注意這里有一個氣死人不償命的小bug,jboss的官方文檔把 jvmRoute寫成了jmvRoute,就是v和m兩個字母的顛倒讓我郁悶了三天,翻遍了jboss.com和theserverside.com。都是直接拷貝的錯,吐血吐到脫水啊。
下面需要修改server1上的%jboss%\server\all\deploy\jbossweb-tomcat55.sar\ server.xml,在32行左右有:
<Engine name="jboss.web" defaultHost="localhost">
給它增加一個jvmRoute屬性:
<Engine jvmRoute="server1" name="jboss.web" defaultHost="localhost">
請注意,jvmRoute的值必須和mod_jk中的節點名字正確對應,否則無法正確路由。Cluster中的所有節點都應該做相應的配置。
Jboss的配置完成了,下面需要在你的web應用中修改配置文件,讓它支持集群。
在WEB-INF\web.xml中加入屬性: <distributable/>
Ok,基于用戶的cluster完成了,每個用戶會綁定都某個節點上進行交互。這種綁定是如何完成的呢?原來apache把客戶分發到節點后,該節點會在用戶的session id后面加上此節點的路由名稱,變成這個樣子:
Efdfxxd98daja87daj76da2dka**,server1
有了這個標志,就能分辨該session屬于哪個節點。
3、session replication配置
下面要做的是基于request的cluster,也就讓各個節點之間互相復制session狀態。有兩種復制模式,同步與異步。使用同步的方式, jboss會把session復制的操作和對request的響應放到一個應用事務(application transaction),session 復制完成后才去處理request。異步復制則發送session復制的消息后馬上處理request,session復制則會稍有延遲。但是在多框架的 web頁面中,這樣的集群方式會有問題。由于frame在同一時間發出多個request,會造成一些混亂,這也是采用基于用戶的集群方式的原因之一。
JBoss 4.0.2 中采用了Jboss cache來實現session復制,實際上就是一個分布式緩存,由于session id中包含了jvm route,所以能夠分辨session屬于哪個節點。Session的更新類似于hibernate中的樂觀鎖,有了更新之后就讓session的版本號增加,其他節點通過對比版本號來決定是否同步session狀態。
配置session replication首先需要編輯
%jboss% server\all\deploy\jbossweb-tomcat55.sar\META-INF\ jboss-service.xml,88行左右有:
<attribute name="SnapshotMode">instant</attribute>
這就是剛才提到的復制模式,instant為立即復制,如果設為interval 那么系統會在延遲一段時間再進行復制,時間長度在< attribute name="SnapshotInterval">2000</attribute>中指定,單位是毫秒。
單獨配置這一個地方還不夠,在%jboss% server\all\deploy\ tc5-cluster-service.xml中有:
<attribute name="CacheMode">REPL_ASYNC</attribute>
這里才真正決定復制是同步的還是異步的,可以指定為REPL_ASYNC(異步)或者REPL_SYNC(同步)。
在這個文件下面一點,還有一個config標簽,里面指定了各個節點在進行session復制的時候如何通信,有udp和tcp兩種可選,如果使用udp方式,那么應該將udp的lookback屬性指定為true,因為windows上有一個叫做media sense的東西會影響 udp multicast。注意如果你不了解multi address的ip規則,請不要隨便修改mcast_addr的值。如果采用tcp方式的話,應該指定bind_addr的值為本機ip,并且在TCPPING標簽的initial_hosts屬性中列出所有節點,格式是”機器名[端口號]”,比如在我們的例子中,就應該這樣配置tcp(以其中一個節點為例):
<config><TCP bind_addr="172.16.0.116" start_port="7810" loopback="true"/><TCPPING initial_hosts="172.16.0.116[7810],172.16.32.88[7810]" port_range="3" timeout="3500"num_initial_members="3" up_thread="true" down_thread="true"/><MERGE2 min_interval="5000" max_interval="10000"/><FD shun="true" timeout="2500" max_tries="5" up_thread="true" down_thread="true" /><VERIFY_SUSPECT timeout="1500" down_thread="false" up_thread="false" /> ? <pbcast.NAKACK down_thread="true" up_thread="true" gc_lag="100" ? ? ? retransmit_timeout="3000"/> ? <pbcast.STABLE desired_avg_gossip="20000" down_thread="false" up_thread="false" /> ? <pbcast.GMS join_timeout="5000" join_retry_timeout="2000" shun="false"print_local_addr="true" down_thread="true" up_thread="true"/><pbcast.STATE_TRANSFER up_thread="true" down_thread="true"/></config>
JBoss的clustering版主建議盡量使用udp。不過在Sobey內部,建議使用tcp方式,經測試可能有不明物體在影響udp通信,導致Timeout異常。
在%jboss%\ server\all\deploy\ cluster-service.xml中也有關于udp和tcp的配置信息,在4.0以前版本的jboss中,會以這個文件為主配置,4.0以后都以tc5-cluster-service.xml為主配置。
Jboss的配置完成了,最后需要在web應用中增加配置信息,控制session復制的粒度。在WEB-INF\ jboss-web.xml中增加以下內容:
<replication-config> ? <replication-trigger>SET_AND_NON_PRIMITIVE_GET</replication-trigger> ? <replication-granularity>SESSION</replication-granularity> </replication-config>
其中replication-trigger是指定哪些操作引發session的版本更新,它的取值有:
SET_AND_GET ? ? SET_AND_NON_PRIMITIVE_GETSET
replication-granularity是復制粒度,可以取session或attribute。如果取為attribute有可能導致復制失敗,這是目前版本的jboss cache的一個bug,等待修正。
部署項目,測試,如果配置沒有問題,可以在%jboss%\0server\all\log\server.log中發現類似于這樣的信息:
DEBUG [org.jboss.web.tomcat.tc5.session.JBossCacheManager] check to see if needs to store and replicate session with id Im9-qpuaXppMS+xXwE3M+Q**.server1 DEBUG [org.jboss.web.tomcat.tc5.session.ClusteredSession] processSessionRepl(): session is dirty. Will increment version from: 20 and replicate.
Session replication配置的成功率比較低,情況也很復雜,請仔細操作。