一位ID是jackson1225的网友在javaeye询问?a title="一个大型Webpȝ的架构和部v选型问题" target="_blank">一个大型Webpȝ的架构和部v选型问题Q希望能提高现有的基于Java的Web应用的服务能力。由于架构模式和部v调优一直是JavaC的热门话题,q个问题引发了很多热心网友的讨论Q其中一些意见对其它大型Web目也有很好的指导意义。在讨论之初jackson1225q样描述了当前的应用的架构和部vҎ(gu)Q?/p>
目前pȝ架构如下:
- web层采用struts+tomcat实现Q整个系l采?0多台web服务器,其负载均衡采用硬件F5来实玎ͼ
- 中间层采用无状态会(x)话Bean+DAO+helpercL实现Q共3台weblogic服务器,部v有多个EJBQ其负蝲均衡也采用F5来实玎ͼ
- 数据库层的操作是自己写的通用cd现的Q两台ORACLE数据库服务器Q分别存攄户信息和业务数据Q一台SQL SERVER数据库,是第三方的业务数据信息;
web层调用EJBq程接口来访问中间g层。web层首先通过一个XML配置文g中配|的EJB接口信息来调用相应的EJBq程接口Q?/p>
该系l中一ơ操作涉?qing)到两个ORACLE库以?qing)一个SQL SERVER库的讉K和操作,x三个数据库连接,在一个事务中完成?/p>
q样的架构其实很多公叔R在用,因ؓ(f)Struts和Tomcat分别是最行的Java Web MVC框架和Servlet容器Q而F5公司的负载均衡是横向扩展常见的解x案(例如配置session stickyҎ(gu)Q。由于这个系l中有跨数据源的事务Q所以用Weblogic Server EJB容器和支持两阶段提交的数据库驱动可以保证跨数据源的事物完整性(当然Q容器管理的分布式事务ƈ非是唯一和最优的解决Ҏ(gu)Q?/p>
但是随着Rod Johnson重量U的著作《J2EE Development without EJB》和其中的Spring框架的流行,轻量U框架和轻量U容器的概念已经深入人心。所以对于jackson1225提出的这个场景,大多数网友都提出了置疑,认ؓ(f)q个pȝ滥用了技术,完全是在费钱。网友们大都认ؓ(f)SLSBQ无状态会(x)话BeanQ完全没有必要出现在q个场景中,认ؓ(f)SLSB通过q程接口讉K本地资源?x)有很大的性能开销Q这U观点也是Rod johnson在without EJB中批判EJB 2.x中的一大反模式?/p>
׃JavaEE是一个以模式见长的解x案,模式和架构在JavaEE中占有很重要的地位,所以很多业内专家也都警?#8220;反模式(Anti-patternsQ?#8221;的出现。对于上面所q的Ҏ(gu)是否是反模式Qjackson1225马上站出来申辩:(x)
我们目是把EJB作ؓ(f)一个FacadeQ只是提供给WEB层调用的q程接口Q而且只用了无状态会(x)话BeanQ所以性能上还可以的?/p>
q个解释很快得到了一些网友的认可Q但是大家很快意识到架构的好坏决定于是否能够满用户的需求,davexinQ可能是jackson1225的同事)描述了这个系l的用户和ƈ发情况:(x)
现在有用?000万,马上要和另一个公司的?x)员pȝ合ƈQ加h一共有9000万用戗数据量单表中有一亿条以上的数据。这是基本的情况Q其实我觉得现在的架构还是可以的Q现在支持的q发大概5000q发用户左右Q接下来?x)进行系l改造,目标支持1万个q发用户?/p>
具体的ƈ发量公布后又有网友置疑这个数据,认ؓ(f)q个pȝ的Servlet容器支持的ƈ发数太小Q怀疑是否配|不够优化。davexin又补充了该项目的服务器配|:(x)
pȝ前端tomcat都是用的刀片,配置?G内存Qcpu大概?.0GQ每台机器也支?50-400个ƈ发,再多的话Q就?x)相应时间非常的常,?0U,失去了意?Q所以我们才得出q样的结论的?/p>
一位ID是cauherk的网友提Z比较中肯的意见,他没有从Web容器单纯的ƈ发支持能力上提出改进Ҏ(gu)Q而是提出了对于类似的应用?a title="一些通用的改q提C? target="_blank">一些通用的改q提C?/a>Q这里摘要一下:(x)
- 数据库压力问?
可以按照业务、区域等{特性对数据库进行配|,可以考虑分库、用rac、分区、分表等{策略,保数据库能正常的进行交易?/p>
- 事务问题
要在两个数据库中操作Q那么必考虑到分布式事务。你应该仔细的设计你的系l,来避免用分布式事务Q以避免分布式事务带来更多的数据库压力和其它问题。推荐你采用延迟提交的策?q不保证数据的完?Q来避免分布式事务的问题Q毕竟commitp|的几率很低?/p>
- web的优?
静态、图片独立用不同的服务器,对于常态的静态文Ӟ采用E-TAG或者客L(fng)~存Q?google很多是q样q的。对于热点的功能Q考虑使用完全装蝲到内存,保证l对的响应速度Q对于需要频J访问的热点数据Q采用集中缓?多个可以采用负蝲均衡)Q减L据库的压力?/p>
对于几乎除二q制文gQ都应该在L4上配|基于硬件的压羃Ҏ(gu)Q减网l的量。提高用户用的感知?/p>
- |络问题
可以考虑采用镜像、多路网l接入、基于DNS的负载均衡。如果有_的投资,可以采用CDN(内容分发|?Q减M的服务器压力?/p>
cauherk的这个分析比较到位,其中ETags的方案是最q的一个热点,InfoQ?#8220;使用ETags减少Web应用带宽和负?/a>”里面对这U方案有很详l的介绍。一般以数据库ؓ(f)中心的Web应用的性能瓉都在数据库上Q所以cauherk把数据库和事务问题放C前两位来讨论。但是davexin解释在所讨论的这个项目中数据库ƈ非瓶颈:(x)
我们的压力不在数据库层,在web层和F5?当高峰的时?QF5也被Ҏ(gu)了,是每秒点击过30万,web动态部分根本承受不了。根据我们程序记录,20台web最多承?000个ƈ发,如果再多Qtomcat׃响应了。就像死了一栗?/p>
q个回复让接下来的讨论都集中于Web容器的性能优化Q但?a title="JavaEye站长robbin发表了自q意见" target="_blank">JavaEye站长robbin发表了自q意见Q将话题引回了这个项目的架构本nQ?/p>
performance tuning最重要的就是定位瓶颈在哪里Q以?qing)瓶颈是怎么产生的?/strong>
我的推测是瓶颈还是出在EJBq程Ҏ(gu)调用上!
tomcat上面的java应用要通过EJBq程Ҏ(gu)调用Q来讉Kweblogic上面的无状态SessionBeanQ这L(fng)q程Ҏ(gu)调用一般都?00ms~500msU别Q或者更多。而如果没有远E方法调用,即大量采用spring的动态反,一ơ完整的webh处理在本地JVM内部的完成时间一般也不过20ms而已。一ơwebh需要过长的执行旉Q就?x)导致servletU程被占用更多的旉Q从而无法及(qing)时响应更多的后箋h?/p>
如果q个推测是成立的话,那么我的是既然你没有用到分布式事务Q那么就q脆LEJB。weblogic也可以全部撤掉,业务层用spring取代EJBQ不要搞分布式架构,在每个tomcat实例上面部v一个完整的分层l构?/p>
另外在高q发情况下,apache处理静态资源也很耗内存和CPUQ可以考虑用轻量web server如lighttpd/litespeed/nginx取代之?/p>
robbin的推断得C|友们的支持Qdavexin也认同robbin的看法,但是他解释说公司认ؓ(f)攑ּSLSB存在风险Q所以公司們于通过Tomcat替换为Weblogic Server 10来提升系l的用户支撑能力?a title="robbin则马上批评了q种做法" target="_blank">robbin则马上批评了q种做法Q?/p>
坦白说我q从来没有听说过大规模互联网应用使用EJB的先例。ؓ(f)什么大规模互联|应用不能用EJBQ其实就是因为EJB性能太差Q用了EJB几乎必然出现性能障碍?/p>
web容器的性能说到底无非就是ServletU程调度能力而已QTomcat不像WebLogic那样附加n多管理功能,跑得快很正常。对比测试一下WebLogic的数据库q接池和C3P0q接池的性能也会(x)发现cM的结论,C3P0可要比WebLogic的连接池快好几倍了。这不是说WebLogic性能不好Q只不过weblogic要实现更多的功能Q所以在单一的速度斚w׃(x)牺牲很多东西?/p>
以我的经验来判断Q用tomcat5.5以上的版本,配置a(chn)pr支持Q进行必要的tuningQ用BEA JRockit JVM的话Q在你们目前的刀片上面,支撑500个ƈ发完全是可以做到的。结合你们目?0个刀片的gQ那么达?万ƈ发是没问题的。当然这样做的前提是必须扔掉EJBQƈ|web层和业务层在同一个JVM内部?/p>
接下来robbinq针对davexin对话题中的应用分别在tomcat和weblogic上的试数据q行了分析:(x)
引用Q?2?台weblogic10 ExpressQ相当于1台tomcatQ用于发布jsp应用Q加1台weblogic10Q发布ejb应用Q,能支?000个ƈ发用?.....
......
4?台tomcat4.1?台weblogic8Q只能支?50个ƈ发用Ptomcatpl超Ӟ说明此种l构瓉在tomcat?q说明瓶颈还不在EJBq程调用上,但是问题已经逐渐清楚了。ؓ(f)什么weblogic充当web容器发vq程EJB调用的时候可以支?000个ƈ发,但是tomcat只能?50个?只有两个可能的原因:(x)
- 你的tomcat没有配置好,严重影响了性能表现
- tomcat和weblogic之间的接口出了问?
接着springside目发v者江南白衣也提出了一个M的优化指|(x)
1.基础配置优化
tomcat 6Q?tomcat参数调优?
JRockit JVM? JVM参数调优Q?br /> Apache+Squid 处理静态内容?2.业务层优?/p>
部分功能本地化,而不调remote session bean?
异步提交操作,JMSQ?br /> cache热点数据Q?3.展示层优?/p>
动态页面发布ؓ(f)静态页面?
Cache部分动态页面内容?
davexin在调整了Tomcat配置后应验了robbin对tomcat配置问题的质疑,davexinq样描述l过配置优化以后的测试结果:(x)
l过试Qƈ发h数是可以辑ֈ像robbin所说的一P能够?00人左叻I如果压到q发700人,有15%左右的失败,虽然在调整上面参C后,q发人数上去了,但是在同L(fng)旉内所完成的事务数量下降了10%左右Qƈ且响应时间gq了1U左叻I但从整体上来_(d)牺牲一点事务吞吐量和响应时_(d)q发人数能够提高500Q觉得还是值得的?/p>
xq个话题有了一个比较好的结果。这个话题ƈ非完全针对一个具体的目才有意义Q更重要的是在分析和讨论问题的过E中|友们解决问题的思\Q尤其是cauherk、robbin、江南白衣等几位|友提出的意见可以让q大Java Web目开发者了解到中、大型项目所需要考虑的架构和部v所需要考虑的关键问题,也消除了很多人对轻量Servlet容器与EJB容器性能的一些误解?/p>
在讨Zq有一些小插曲Q如davexin和江南白衣讨ZJRocket的实ӞRealtimeQ版本是否可以提升Servlet容器的相应能?/a>Q答案是不可以。还有ID为mfc42d的网友从Servlet容器的ƈ发支持能力引甛_?a title="Java的线E调度能力和NIO对Servelet容器的意? target="_blank">Java的线E调度能力和NIO对Servelet容器的意?/a>Q他推荐了自q两篇不错的blog“java的线E实?/a>”?#8220;javaq程使用的最大内存的数?/a>”Qblog文章里面从JVM源码U别分析了Java的线E支持能力,面(f)JVM性能调优问题的网友可以认真阅M下?/p>
]]>