我要介紹的內(nèi)容包括以下幾個(gè)方面：
1、memcached的簡(jiǎn)介
2、memcached的應(yīng)用場(chǎng)景
3、memcached的安裝
4、memcached的使用
5、memcached的部署架構(gòu)
6、memcached的局限性
7、memcached的改進(jìn)

 

一、簡(jiǎn)介
  1.1 背景
    memcached是一個(gè)高性能、分布式的內(nèi)存對(duì)象緩存系統(tǒng)。
    memcached廣泛應(yīng)用在大負(fù)載高并發(fā)的網(wǎng)站上，是一種非常成熟的產(chǎn)品（稱為一項(xiàng)技術(shù)也未嘗不可）。像 facebook，youtube,yahoo,sina，sohu，netease，豆瓣等網(wǎng)站均或多或少使用了該項(xiàng)產(chǎn)品。memcached在以用戶 為中心的網(wǎng)站上，表現(xiàn)尤其突出，例如sns,blog等web2.0應(yīng)用的站點(diǎn)。這些站點(diǎn)一般來(lái)講，特別注重用戶體驗(yàn)，用戶對(duì)服務(wù)器的響應(yīng)速度要求很高， 用戶數(shù)據(jù)相對(duì)比較復(fù)雜、關(guān)連度比較高，需要經(jīng)常對(duì)數(shù)據(jù)庫(kù)進(jìn)行更新和檢索。
    memcache是danga.com幾個(gè)開(kāi)源項(xiàng)目中的一個(gè)，最初是專門為livejournal.com站點(diǎn)而開(kāi)發(fā)的，當(dāng)時(shí)這個(gè)站點(diǎn)日pv達(dá)到了千萬(wàn) 級(jí)，在使用過(guò)程中出現(xiàn)了很多的與負(fù)載和響應(yīng)速度相關(guān)的問(wèn)題，于是開(kāi)發(fā)了這個(gè)項(xiàng)目，旨在改善網(wǎng)站當(dāng)時(shí)的困境。memcache可以應(yīng)對(duì)任意多個(gè)連接，使用非 阻塞的網(wǎng)絡(luò)IO。它的使用非常簡(jiǎn)單和方便，最常用的功能不超過(guò)5個(gè)方法。

memcache官方網(wǎng)站：http://www.danga.com/memcached。

  1.2 特點(diǎn)
    1、高性能
     無(wú)論哪一種數(shù)據(jù)庫(kù)dbms(mysql,oracle,mssql,db2,Postgres等等)，再怎么優(yōu)化，最終也避不開(kāi)與慢速的存儲(chǔ)介質(zhì)（硬盤、 磁帶）進(jìn)行數(shù)據(jù)交換，但往往一旦涉及到了存儲(chǔ)介質(zhì)的io操作，存取性能就會(huì)急劇下降。memcached，顧名思義，它的全部操作自始至終都是在內(nèi)存中進(jìn) 行的，所以存取數(shù)據(jù)的效率非常高。
     當(dāng)然，通常情況下，大型網(wǎng)站對(duì)于數(shù)據(jù)庫(kù)的操作都會(huì)做優(yōu)化。通常的手段有兩種：
     a、讀寫數(shù)據(jù)分離，采用主/輔庫(kù)的方式，來(lái)分散數(shù)據(jù)庫(kù)的壓力，提高查詢速度。
     b、按照業(yè)務(wù)特點(diǎn)橫向或者縱向分割數(shù)據(jù)庫(kù)。簡(jiǎn)單來(lái)講，就是大庫(kù)變小庫(kù)，大表變小表，來(lái)提高數(shù)據(jù)庫(kù)訪問(wèn)的效率。一般來(lái)講，一個(gè)數(shù)據(jù)庫(kù)具有很多表或者一張表有 N多的記錄，都會(huì)明顯的降低數(shù)據(jù)庫(kù)的服務(wù)能力，比如mysql數(shù)據(jù)庫(kù)單表記錄達(dá)到2000萬(wàn)條左右（筆者以前的工作經(jīng)驗(yàn)），性能會(huì)下降到幾乎無(wú)法忍受。關(guān) 于數(shù)據(jù)庫(kù)的設(shè)計(jì)和優(yōu)化，我們以后可以單獨(dú)做一個(gè)專題，這里不做太多的研究。
     數(shù)據(jù)庫(kù)會(huì)在以下情況下會(huì)出現(xiàn)訪問(wèn)瓶頸：
     a、事務(wù)操作
     企業(yè)級(jí)的數(shù)據(jù)庫(kù)（比如mysql的innodb模式）都支持事務(wù)操作。由于事務(wù)具有原子性，事務(wù)中涉及的數(shù)據(jù)表在運(yùn)行過(guò)程中將會(huì)加鎖。在這種情況下，訪問(wèn)這些表的數(shù)據(jù)會(huì)出現(xiàn)延遲。
     b、數(shù)據(jù)更新
     數(shù)據(jù)庫(kù)中任何的表在數(shù)據(jù)更新過(guò)程中，同樣會(huì)被加鎖。在這種情況下，也會(huì)出現(xiàn)上面同樣的結(jié)果。
     memcached的操作基本上就不會(huì)存在以上情況（實(shí)際上也有加鎖的情況，在后面再詳細(xì)探討），所以它的性能非常高。官方網(wǎng)站上對(duì)它的正式評(píng)價(jià)是very fast。事實(shí)上也是如此，相關(guān)的實(shí)驗(yàn)室測(cè)試對(duì)比結(jié)果，大家可以到網(wǎng)上搜索一下，比比皆是。

 

    2、分布式

    所謂分布式系統(tǒng)比較專業(yè)的解釋是：
    一種計(jì)算機(jī)硬件的配置方式和相應(yīng)的功能配置方式。它是一種多處理器的計(jì)算機(jī)系統(tǒng)，各處理器通過(guò)互連網(wǎng)絡(luò)構(gòu)成統(tǒng)一的系統(tǒng)。系統(tǒng)采用分布式計(jì)算結(jié)構(gòu)，即把原來(lái) 系統(tǒng)內(nèi)中央處理器處理的任務(wù)分散給相應(yīng)的處理器，實(shí)現(xiàn)不同功能的各個(gè)處理器相互協(xié)調(diào)，共享系統(tǒng)的外設(shè)與軟件。這樣就加快了系統(tǒng)的處理速度，簡(jiǎn)化了主機(jī)的邏 輯結(jié)構(gòu)。

memcache的分布式特性主要表現(xiàn)在兩個(gè)方面：

a.memcache客戶端mc和服務(wù)器端ms可以單獨(dú)安裝在任何獨(dú)立server上。
  當(dāng)然部署在同一臺(tái)server上也沒(méi)問(wèn)題，甚至于一臺(tái)機(jī)器上可以部署n個(gè)memcached。
b.memcache服務(wù)器端ms可以安裝在任意數(shù)量的server上，提供并行存儲(chǔ)和計(jì)算的能力。
  這是分布式特性的本質(zhì)體現(xiàn)。ms可以形成任意多臺(tái)server組成的集群，為mc提供服務(wù)。

  1.3 用途
    1、提高系統(tǒng)的并發(fā)能力
    2、減輕數(shù)據(jù)庫(kù)的負(fù)擔(dān)
    這兩種用途其實(shí)非常容易理解。由于memcached高性能，所以可以同時(shí)服務(wù)于更多的連接，大大提高了系統(tǒng)的并發(fā)處理的能力。另外，memcached 通常部署在業(yè)務(wù)邏輯層（前臺(tái)應(yīng)用）和存儲(chǔ)層（主指數(shù)據(jù)庫(kù)）之間，作為數(shù)據(jù)庫(kù)和前臺(tái)應(yīng)用的數(shù)據(jù)緩沖，因此可以快速的響應(yīng)前端的請(qǐng)求，減少對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)。
    以下是一個(gè)memcached部署的邏輯示意圖，其中mc是指memcached client,ms是指memcached server：

 

 

 

   

   memcached最吸引人的地方主要在于它的分布式。分布式對(duì)于互聯(lián)網(wǎng)應(yīng)用來(lái)講，按照用途基本上可劃分為三種方式：分布式計(jì)算、分布式存儲(chǔ)和兩者兼而有 之。memcached是分布式存儲(chǔ)的一種。我們常見(jiàn)的分布式存儲(chǔ)大多數(shù)是將N臺(tái)設(shè)備（server或者單獨(dú)的存儲(chǔ)）構(gòu)建成盤陣，而memcached旨 在構(gòu)建一個(gè)高速的內(nèi)存池。更通俗一點(diǎn)來(lái)講：分布式計(jì)算是將N顆cpu組裝成一顆cpu，分布式慢速存儲(chǔ)是將N個(gè)硬盤組裝成一個(gè)大硬盤，memcached 是將N塊內(nèi)存組裝成一塊大內(nèi)存。

  

    有個(gè)朋友問(wèn)：那是不是代價(jià)很昂貴啊。我的回答是肯定的。如果你的網(wǎng)站規(guī)模只有三兩臺(tái)服務(wù)器的話，我覺(jué)得你就不用考慮這樣的方案了，等你的網(wǎng)站做大了以后， 再參考這方面的資料即可。一般都是比較大的互聯(lián)網(wǎng)公司為了追求更好的用戶體驗(yàn)，才進(jìn)行這方面的投資，對(duì)他們來(lái)講，用戶體驗(yàn)至上，money是小case。
還有朋友問(wèn)：有一些dbms提供內(nèi)存表的功能，比如mysql的內(nèi)存表，可以代替memcached。但我要建議你的是：mysql的內(nèi)存表確實(shí)起到同樣的作用，但它的局限也很多，往往不能讓你隨心所欲，所以建議你不要走彎路。

二、memcached的應(yīng)用場(chǎng)景

2.1 應(yīng)用范圍
    memcached產(chǎn)品或相關(guān)技術(shù)的應(yīng)用，我們?cè)谇懊嬉呀?jīng)提到了一些。其實(shí)它的應(yīng)用還是非常普遍的，應(yīng)用作為廣泛的領(lǐng)域：例如sns類網(wǎng)站、blog類網(wǎng)站、bbs類網(wǎng)站以及im后臺(tái)服務(wù)。
 
2.2 sns類網(wǎng)站的應(yīng)用
    livejournal.com是99年始于校園中的項(xiàng)目，有點(diǎn)像中國(guó)的校內(nèi)網(wǎng)。幾個(gè)學(xué)生純屬出于愛(ài)好做了這樣一個(gè)網(wǎng)站,主要實(shí)現(xiàn)以下功能： sns、blog、bbs和rss等。livejournal從建立開(kāi)始就采用了大量的開(kāi)源軟件，到現(xiàn)在它本身也衍生了不少開(kāi)源軟件。 sns網(wǎng)站，現(xiàn)在比比皆是，規(guī)模比較大的象開(kāi)心、校內(nèi)、51，它們的頁(yè)面上往往需要引用大量的用戶信息、好友信息以及文章信息等，所以跨表或跨庫(kù)操作會(huì)相 當(dāng)多。如果這些功能全部直接操作數(shù)據(jù)庫(kù)，顯然會(huì)帶來(lái)極大的效率損耗和系統(tǒng)負(fù)載。memcached在這樣的場(chǎng)景下就會(huì)發(fā)揮巨大的作用，它采用大內(nèi)存把這些 不變的數(shù)據(jù)全都緩存起來(lái)，當(dāng)數(shù)據(jù)修改時(shí)就通知cache過(guò)期，這樣應(yīng)用層基本上就可以解決大部分問(wèn)題了，只有很小一部分請(qǐng)求穿透應(yīng)用層，用到數(shù)據(jù)庫(kù)。

 

2.3 blog、bbs類網(wǎng)站的應(yīng)用
   象blog.sina.com.cn這些流量巨大的blog系統(tǒng)，它需要頻繁讀寫的一些小數(shù)據(jù)。其中最典型的應(yīng)用，我們通常成為“數(shù)字類服務(wù)”，比如 blog中需要實(shí)時(shí)顯示的用戶點(diǎn)擊數(shù)和閱讀數(shù)，bbs中需要記錄的在線人數(shù)、在線用戶等。這些小數(shù)據(jù)的處理非常繁瑣，你無(wú)論怎么去設(shè)計(jì)數(shù)據(jù)庫(kù)，都很難避開(kāi) 跨表或者跨庫(kù)。有的朋友會(huì)說(shuō)，可以在數(shù)據(jù)庫(kù)中增加冗余字段解決這類問(wèn)題，但事實(shí)上，這既不符合數(shù)據(jù)庫(kù)設(shè)計(jì)的范式規(guī)則，也很難做到數(shù)據(jù)的一致性，由此會(huì)引發(fā) 更為復(fù)雜的問(wèn)題。而且由于產(chǎn)品線的分散發(fā)展，數(shù)據(jù)已經(jīng)很難做到完全的統(tǒng)一規(guī)劃。memcached在這樣的場(chǎng)景下就會(huì)將這些小數(shù)據(jù)進(jìn)行緩存，定期持久化就 可以了，查詢操作一直都在內(nèi)存中運(yùn)行。說(shuō)到這里，有的朋友又會(huì)想到一些其它的問(wèn)題：“memcached server宕機(jī)了怎么辦，怎么保證與數(shù)據(jù)庫(kù)的數(shù)據(jù)一致”。我會(huì)對(duì)你說(shuō)：“你的問(wèn)題非常好，我們將會(huì)在后面章節(jié)給出相應(yīng)的解決方案”。另外，其實(shí)這種小數(shù) 據(jù)并不是關(guān)鍵性數(shù)據(jù)，即使偶爾發(fā)生點(diǎn)錯(cuò)誤，也沒(méi)太大的問(wèn)題。blog、bbs系統(tǒng)并不是嚴(yán)格的企業(yè)級(jí)系統(tǒng)，假如你是為銀行業(yè)務(wù)提供解決方案的 話，memcached并不適合。

2.4 im server的應(yīng)用

   前些時(shí)間， 有一些文章介紹memcached 在Jabber上應(yīng)用。寫累了，喝口水，讀者自己去找找資料吧，有時(shí)間的話，幫我補(bǔ)上吧，呵呵。

   我們舉了幾個(gè)例子來(lái)說(shuō)明memcached的應(yīng)用場(chǎng)景，似乎都局限于小數(shù)據(jù)服務(wù)，那是不是就不能用于較大數(shù)據(jù)的緩沖了？那絕不是，memcached能夠 用來(lái)存儲(chǔ)各種格式的數(shù)據(jù)，包括圖像、視頻、文件以及數(shù)據(jù)庫(kù)檢索的結(jié)果等等，而且生產(chǎn)環(huán)境中就這么跑過(guò)，只不過(guò)讓大數(shù)據(jù)量使用緩沖的話，有點(diǎn)太浪費(fèi)了，同樣 數(shù)量的內(nèi)存存不了幾條數(shù)據(jù)，所以會(huì)明顯的降低命中率。

待續(xù)...