1、Web層
主體架構可以基于 Struts 1.X/2.X，當然有很多更好的控制層框架供選擇，以快速敏捷為準則吧。
抽象出核心庫封裝 控制器和中間層的操作。
在大規(guī)模集群環(huán)境下，session復制會引起嚴重的性能問題。考慮用 集群緩存 + cookie驗證 代替session實現(xiàn)權限控制吧。
2、Cache層
配置 Memcache 組成集群緩存
對 Memcache 客戶端進行封裝
Memcached 節(jié)點組成池，調(diào)用示意：opList (BizName, 策略 ...)
3、中間層
“中間層”可以理解為基于應用和數(shù)據(jù)之間的層次。它被設計用來為Web應用提供：數(shù)據(jù)緩存 和 對應用透明的數(shù)據(jù)訪問——即應用不需要考慮數(shù)據(jù)表拆分的問題。以服務的方式提供對存儲層的高性能調(diào)用以及分布式計算。可供選擇的框架：ICE 、Hadoop 直接基于Memcache開發(fā)（減少復雜度，推薦）
4、存儲
推薦MySQL，理由：免費，經(jīng)過實踐檢驗，有大量成熟的案例、解決方案、技術支持。
小規(guī)模：一個 data table 維護存儲服務器陣列，內(nèi)容 -> mount ……
大規(guī)模：Master-Slave模式+MySQL Proxy，實現(xiàn)數(shù)據(jù)庫讀寫分離。在中間層的包裝下，可做如下擴展，以支持更大規(guī)模的數(shù)據(jù)存取：
數(shù)據(jù)庫/表水平拆分，例 User -> User33% + User33% + User34%
數(shù)據(jù)庫/表垂直拆分，例 User -> UserBaseInfo + UserAddrInfo
也可考慮使用 LongStore (龍存) 解決方案，由龍存管理存儲陣列……
5、部署
劃分子域名，每個子域名一個Web應用包，互不干擾
靜態(tài)資源（css, js, image ...）使用專門的靜態(tài)服務器
6、負載均衡
小規(guī)模：DNS輪詢。
大規(guī)模：F5， 2*X 臺F5服務器，F(xiàn)5是L4/L7層交換機，每臺至少可處理200萬連接（與服務器內(nèi)存有關）。
Ngnix是L7層交換，LVS負載均衡也是一種方案
7、Web中間件選擇
Tomcat - 最高400并發(fā)
Apache - 最高2000并發(fā)
Ngnix - 優(yōu)于Apache
采用方案：Ngnix + Resin ，理由：
Resin提供更為快速的servlet引擎 - 選擇Resin。
gzip問題 - Resin在單獨處理gzip時存在內(nèi)存溢出的隱患，因此要加一層 Ngnix。
Ngnix 能減少單獨使用Resin時的內(nèi)存占用 - Resin建立1000個連接使用1000個線程；加Ngnix后，透過其“異步連接”、“建立長連接”機制使Resin內(nèi)存壓力大大減小。
Ngnix 針對Linux系統(tǒng)有性能優(yōu)化措施 - 0 Copy, send file ...
因此采用：1 Ngnix + 1 Resin，一對一。
靜態(tài)服務器采用：Squid + Apache, why? because Squid has cache ability ...
新變化 - Nginx從0.7.48版本開始，支持了類似Squid的緩存功能。這個緩存是把URL及相關組合當作Key，用md5編碼哈希后保存在硬盤上，所以它可以支持任意URL鏈接，同時也支持 404/301/302 這樣的非200狀態(tài)碼。雖然目前官方的Nginx Web緩存服務只能為指定URL或狀態(tài)碼設置過期時間，不支持類似Squid的PURGE指令，手動清除指定緩存頁面，但是，通過一個第三方的Nginx模塊，可以清除指定URL的緩存。
Nginx的Web緩存服務主要由proxy_cache相關指令集和fastcgi_cache相關指令集構成，前者用于反向代理時，對后端內(nèi)容源服務器進行緩存，后者主要用于對FastCGI的動態(tài)程序進行緩存。兩者的功能基本上一樣。
最新的Nginx 0.8.31版本，proxy_cache和fastcgi_cache已經(jīng)比較完善，加上第三方的ngx_cache_purge模塊（用于清除指定URL的緩存），已經(jīng)可以完全取代Squid。有的網(wǎng)站已經(jīng)在生產(chǎn)環(huán)境使用了 Nginx 的 proxy_cache 緩存功能超過兩個月，十分穩(wěn)定，速度不遜于 Squid。
在功能上，Nginx已經(jīng)具備Squid所擁有的Web緩存加速功能、清除指定URL緩存的功能。而在性能上，Nginx對多核CPU的利用，勝過Squid不少。另外，在反向代理、負載均衡、健康檢查、后端服務器故障轉移、Rewrite重寫、易用性上，Nginx也比Squid強大得多。這使得一臺Nginx可以同時作為"負載均衡服務器"與"Web緩存服務器"來使用。以下是配置片段供參考：
view plaincopy to clipboardprint?
http
{
...
client_body_buffer_size 512k;
proxy_connect_timeout 5;
proxy_read_timeout 60;
proxy_send_timeout 5;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
...
#注：proxy_temp_path和proxy_cache_path指定的路徑必須在同一分區(qū)
proxy_temp_path /data0/proxy_temp_dir;
#設置Web緩存區(qū)名稱為cache_one，內(nèi)存緩存空間大小為200MB，1天清理一次緩存，硬盤緩存空間大小為30GB。
proxy_cache_path /data0/proxy_cache_dir levels=1:2 keys_zone=cache_one:200m inactive=1d max_size=30g;
}
server
{
...
location /
{
#如果后端的服務器返回502、504、執(zhí)行超時等錯誤，自動將請求轉發(fā)到upstream負載均衡池中的另一臺服務器，實現(xiàn)故障轉移。
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache cache_one;
#對不同的HTTP狀態(tài)碼設置不同的緩存時間
proxy_cache_valid 200 304 12h;
proxy_cache_valid 301 302 1h;
#以域名、URI、參數(shù)組合成Web緩存的Key值，Nginx根據(jù)Key值哈希，存儲緩存內(nèi)容到二級緩存目錄內(nèi)
proxy_cache_key $host$uri$is_args$args;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;
proxy_pass http://backend_server;
expires 1d;
}
#用于清除緩存，假設一個URL為http://192.168.1.44/test.txt，通過訪問http://192.168.4.44/purge/test.txt就可以清除該URL的緩存。
location ~ /purge(/.*)
{
#設置只允許指定的IP或IP段才可以清除URL緩存。
allow 127.0.0.1;
allow 192.168.0.0/16;
deny all;
proxy_cache_purge cache_one $host$1$is_args$args;
}
#擴展名以.php、.jsp、.cgi結尾的動態(tài)應用程序不緩存。
location ~ .*\.(php|jsp|cgi)?$
{
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;
proxy_pass http://backend_server;
}
}
同時，對于影響頁面展現(xiàn)的靜態(tài)資源，例如：css, js 等可以放在具有優(yōu)質帶寬的IDC（IDC=互聯(lián)網(wǎng)數(shù)據(jù)中心，優(yōu)質/高速的帶寬也比較貴，正所謂一份價錢一分貨）；其他的靜態(tài)資源，如圖片等可以放在價格相對低廉的IDC中，以域名區(qū)分兩種靜態(tài)資源，節(jié)省每一分錢。
8、網(wǎng)絡拓撲圖
/ Ngnix - 1:1 - Resin
F5 --
\ Squid - 1:n - Apache
9、監(jiān)控統(tǒng)計平臺
業(yè)務統(tǒng)計 - 用戶訪問統(tǒng)計
軟件性能 - 應用系統(tǒng)監(jiān)控，例如：請求響應時間……
硬件/網(wǎng)絡性能 - Ganglia監(jiān)控
10、其它要點
IE瀏覽器對同一域名（包括子域名）只能建立2個連接，連接多了只能排隊……
雙F5架構，兩臺職能劃分不同，鏡像，心跳接管……
Raid存儲陣列……
Linux操作系統(tǒng)及其優(yōu)化……