RAID10與RAID5比較[轉]
http://storage.it168.com/h/2007-06-12/200706121108656_2.shtml
??? 存儲是目前IT產業(yè)發(fā)展的一大熱點,而RAID技術是構造高性能、海量存儲的基礎技術,也是構建網絡存儲的基礎技術。專家認為,磁盤陣列的性能優(yōu)勢得益于磁盤運行的并行性,提高設備運行并行度可以提高磁盤的性能和數(shù)據(jù)安全性。
??? 20年來,RAID 推出了一系列級別,包括RAID 0、RAID 1、RAID 2、RAID 3、RAID4、RAID 5,以及各種組合如 RAID 0+1 等。其中最廣泛的包括RAID5與RAID10。但是一直以來,關于RAID5與RAID10的性能優(yōu)劣的爭端還是非常多的,甚至很多人包括很多公司都那拿出了測試數(shù)據(jù)。而這些測試數(shù)據(jù)復雜難懂相互矛盾,更加讓用戶感到迷惑,不知道如何選擇。
??? 在這里,我將就這兩種RAID的內部運行原理來分析一下,看看我們在什么情況下應當適合選哪一種RAID方式。根據(jù)我的經驗與分析:象小io的數(shù)據(jù)庫類型操作,如ERP等等應用,建議采用RAID10,而大型文件存儲,數(shù)據(jù)倉庫,如醫(yī)療PACS系統(tǒng)、視頻編輯系統(tǒng)則從空間利用的角度,建議采用RAID5。下面請看詳細的性能對比:
??? 本文分為上下兩篇,上文側重分析兩種RAID的內部運行原理,下文將根據(jù)不同的影響磁盤性能的因素來分析,RAID方案對磁盤系統(tǒng)的影響,參考“ RAID5和RAID10,哪種RAID更適合你(下) ”
??? 為了方便對比,我這里拿同樣多驅動器的磁盤來做對比,RAID5選擇3D+1P的RAID方案,RAID10選擇2D+2D的Raid方案,分別如圖:
?
???
??? 那么,我們分析如下三個過程:讀,連續(xù)寫,隨機寫,但是,在介紹這三個過程之前,我需要介紹另外一個磁盤陣列中的重要概念:cache。
?
磁盤讀寫速度的關鍵之一:Cache
??? cache技術最近幾年,在磁盤存儲技術上,發(fā)展的非常迅速,作為高端存儲,cache已經是整個存儲的核心所在,就是中低端存儲,也有很大的cache存在,包括最簡單的RAID卡,一般都包含有幾十,甚至幾百兆的RAID cache。
??? cache的主要作用是什么呢?作為緩存,cache的作用具體體現(xiàn)在讀與寫兩個不同的方面:作為寫,一般存儲陣列只要求數(shù)據(jù)寫到cache就算完成了寫操作,當寫cache的數(shù)據(jù)積累到一定程度,陣列才把數(shù)據(jù)刷到磁盤,可以實現(xiàn)批量的寫入。所以,陣列的寫是非常快速的。至于cache數(shù)據(jù)的保護,一般都依賴于鏡相與電池(或者是UPS)。
??? cache在讀數(shù)據(jù)方面的作用一樣不可忽視,因為如果所需要讀取的數(shù)據(jù)能在cache中命中的話,將大大減少磁盤尋道所需要的時間。因為磁盤從開始尋道到找到數(shù)據(jù),一般都在6ms以上,而這個時間,對于那些密集型I/O的應用可能不是太理想。但是,如果能在cache保存的數(shù)據(jù)中命中,一般響應時間則可以縮短在1ms以內。
??? 不要迷信存儲廠商的IOPS(每秒的io數(shù))數(shù)據(jù),他們可能全部在cache命中的基礎上做到的,但是實際上,你的cache命中率可能只有10%。
??? 介紹完cache,我們就可以解釋RAID5與RAID10在不同的模式下,工作效率問題了,那么我們來分別分析讀操作、連續(xù)寫和離散寫三方面的問題。
?
讀操作方面的性能差異
??? 如我上文的介紹,磁盤陣列讀操作的關鍵更多的體現(xiàn)在cache的命中率上。所以,RAID5和RAID10在讀數(shù)據(jù)上面,他們基本是沒有差別的,除非是讀的數(shù)據(jù)能影響cache命中率,導致命中率不一樣。
???
?
連續(xù)寫方面的性能差異
??? 連續(xù)寫的過程,一般表示寫入連續(xù)的大批量的數(shù)據(jù),如媒體數(shù)據(jù)流,很大的文件等等。連續(xù)寫操作大多數(shù)產生于醫(yī)療PACS系統(tǒng)、高教圖書館系統(tǒng)、視頻編輯系統(tǒng)等等應用環(huán)境下。
??? 根據(jù)我本人的經驗,在連續(xù)寫操作過程,如果有寫cache存在,并且算法沒有問題的話,RAID5比RAID10甚至會更好一些,雖然也許并沒有太大的差別。(這里要假定存儲有一定大小足夠的寫cache,而且計算校驗的cpu不會出現(xiàn)瓶頸)。
??? 因為這個時候的RAID校驗是在cache中完成,如4塊盤的RAID5,可以先在內存中計算好校驗,同時寫入3個數(shù)據(jù)+1個校驗。而RAID10只能同時寫入2個數(shù)據(jù)+2個鏡相。
???
??? 如上圖所示,4塊盤的RAID5可以在同時間寫入1、2、3到cache,并且在cache計算好校驗之后,我這里假定是6(實際的校驗計算并不是這樣的,我這里僅僅是假設),同時把三個數(shù)據(jù)寫到磁盤。而4塊盤的RAID10不管cache是否存在,寫的時候,都是同時寫2個數(shù)據(jù)與2個鏡相。
??? 根據(jù)我前面對緩存原理的介紹,寫cache是可以緩存寫操作的,等到緩存寫數(shù)據(jù)積累到一定時期再寫到磁盤。但是,寫到磁盤陣列的過程是遲早也要發(fā)生的,所以RAID5與RAID10在連續(xù)寫的情況下,從緩存到磁盤的寫操作速度會有較小的區(qū)別。不過,如果不是連續(xù)性的強連續(xù)寫,只要不達到磁盤的寫極限,差別并不是太大。
?
離散寫方面的性能差異
??? 這里可能會較難理解,但是,這一部分也是最重要的部分。企業(yè)中的絕大部分數(shù)據(jù)庫應用,如ERP系統(tǒng)等等在數(shù)據(jù)寫入的時候其實都是離散寫。
??? 例如oracle 數(shù)據(jù)庫每次寫一個數(shù)據(jù)塊的數(shù)據(jù),如8K;由于每次寫入的量不是很大,而且寫入的次數(shù)非常頻繁,因此聯(lián)機日志看起來會像是連續(xù)寫。但是因為不保證能夠添滿RAID5的一個條帶(保證每張盤都能寫入),所以很多時候更加偏向于離散寫入。
???
??? 我們從上圖看一下離散寫的時候,RAID5與RAID10工作方式有什么不同。如上圖:我們假定要把一個數(shù)字2變成數(shù)字4,那么對于RAID5,實際發(fā)生了4次io:
??? 先讀出2與校驗6,可能發(fā)生讀命中
??? 然后在cache中計算新的校驗
??? 寫入新的數(shù)字4與新的校驗8
??? 如上圖我們可以看到:對于RAID10,同樣的單個操作,最終RAID10只需要2個io,而RAID5需要4個io。
??? 這里我忽略了RAID5在那兩個讀操作的時候,可能會發(fā)生讀命中操作的情況。也就是說,如果需要讀取的數(shù)據(jù)已經在cache中,可能是不需要4個io的。這也證明了cache對RAID5 的重要性,不僅僅是計算校驗需要,而且對性能的提升尤為重要。我本人曾經測試過,在RAID5的陣列中,如果關閉寫cache,RAID5的性能將差很多倍。
??? 當然,我并不是說cache對RAID10就不重要了,因為寫緩沖,讀命中等,都是提高速度的關鍵所在,不過的是,RAID10對cache的依賴性沒有RAID5那么明顯而已。
??? 到這里,大家應當也大致明白了RAID5與RAID10的原理與差別了,一般來說,象小io的數(shù)據(jù)庫類型操作,建議采用RAID10,而大型文件存儲,數(shù)據(jù)倉庫,則從空間利用的角度,可以采用RAID5。
??? 在本文下篇,我們將進一步分析影響磁盤性能的不同因素,并分析不同的RAID方案對磁盤系統(tǒng)的影響,清參考“ RAID5和RAID10,哪種RAID更適合你(下) ”
?
-------------------------------------------------------------------------------------------------------------------------
?
??? 前一段時間我寫過一篇文章“ RAID5和RAID10,哪種RAID適合你 ”,主要從磁盤系統(tǒng)的內部運行細節(jié)分析了RAID5與RAID10的異同,以及各自適用的范圍。本文將接續(xù)上篇,繼續(xù)從RAID原理來分析存儲系統(tǒng)的瓶頸。
??? 我們知道,在存儲系統(tǒng)的采購過程中,廠商往往能夠提供漂亮的性能參數(shù),但實際運行中,該系統(tǒng)的實際性能表現(xiàn)并不能達到我們所期望的狀態(tài),那么在運行環(huán)境中存儲系統(tǒng)的實際性能究竟受哪些環(huán)節(jié)和瓶頸的影響呢?
???
??? 之所以要和大家來討論這個問題,是因為在本人的工作中曾遇到一個實際的Case,在這個case中,一個恢復壓力很大的standby(這里主要是寫,而且是小io的寫),采用了RAID5的方案,發(fā)現(xiàn)性能很差,后來改造成了RAID10,就很好的避免了性能的問題。
??? 建議在閱讀本文前,首先閱讀本文上篇“ RAID5和RAID10,哪種RAID適合你 ”,因為性能瓶頸的出現(xiàn),本身與RAID方式還是有很大關系,同時本文性能討論的基礎,本身建立在上文的一些結論之上。
??? 陣列的瓶頸主要體現(xiàn)在2個方面,帶寬與IOPS(單位時間傳輸?shù)臄?shù)據(jù)量,和單位時間完成的I/O數(shù))。
?
影響帶寬的主要因素
??? 存儲系統(tǒng)的帶寬主要取決于陣列的構架,光纖通道的大小(我們今天討論的陣列一般都是光纖陣列, SCSI這樣的SSA陣列,暫時不在討論范圍之列)以及硬盤的個數(shù)。
??? 所謂陣列構架影響存儲系統(tǒng)帶寬,指的是存儲系統(tǒng)內部架構會存在一些內部帶寬,類似于PC的系統(tǒng)總線,盡管陣列的構架因不同廠商不同型號的產品而各有不同,不過一般情況下,內部帶寬都設計的很充足,不會是瓶頸的所在。
??? 光纖通道對帶寬的影響還是比較大的,例如數(shù)據(jù)倉庫環(huán)境中,對數(shù)據(jù)的流量要求很大,而一塊2Gb的光纖卡,所能支撐的最大流量應當是2GB/8=250Mb/s的實際流量,必須配備4塊光纖卡才能達到1Gb/s的實際流量,所以對于數(shù)據(jù)倉庫的環(huán)境來說,升級到光纖4Gb并非是廠商過于超前的產品更新,在大流量的數(shù)據(jù)環(huán)境下絕對有必要考慮更換4GB的光纖卡。
??? 但是對于存儲系統(tǒng)的帶寬來說,硬盤接口的帶寬限制是最重要的。當前面的瓶頸不再存在的時候,帶寬就完全取決于硬盤的個數(shù)了,我下面列一下不同規(guī)格的硬盤所能支撐的流量大小,數(shù)據(jù)取自硬盤廠商的標準參數(shù):
???
??? 如果我們假定一個陣列有120塊15K rpm轉速的光纖硬盤,那么硬盤上最大的可以支撐的數(shù)據(jù)流量為120*13=1560Mb/s,當前端接口不成為瓶頸的時候,1560Mb/s就是理論上的最大數(shù)據(jù)流量。
??? 而如果要實現(xiàn)上述的最大帶寬,如果前端采用2GB的光纖卡,可能需要配置6塊才能夠,而4GB的光纖卡,配置3-4塊就夠了。因此我們可以知道,前端的光纖接口必須與后端磁盤個數(shù)相匹配。
??? 但是否考慮到這些因素就足夠了呢,存儲系統(tǒng)的整體性能還受到多方面因素的影響,下面我們將分析存儲系統(tǒng)的另外一個重要的性能指標:IOPS。
?
影響IOPS的主要因素
??? 我們前面已經說過了,廠商所提供的IOPS值是在理想狀態(tài)下測試出來的,對實際的運行性能的參考并不大,所以我們有必要通過以下幾個方面來衡量該系統(tǒng)的實際IOPS的可能表現(xiàn)。
??? 決定IOPS的主要因素取決于陣列的算法,cache命中率,以及磁盤個數(shù)。
??? 陣列的算法也因為不同廠商不同型號的產品而不同,如我們最近遇到在HDS USP上面,可能因為ldev(lun)存在隊列或者資源限制,而單個ldev的IOPS就上不去。所以,決定采購某型號的存儲之前,有必要了解這個存儲的一些算法規(guī)則與限制。
??? cache命中率對實際IOPS有決定性的影響,Cache命中率取決于數(shù)據(jù)的分布,cache size的大小,數(shù)據(jù)訪問的規(guī)則,以及cache的算法,如果完整的討論下來,這里將變得很復雜,可以有一天來慢慢討論。
??? 我們這里把這些內部原理都省略掉,只強調:對于一個存儲陣列來說,讀cache的命中率越高,一般就表示它可以支持更多的IOPS,為什么這么說呢?這個就與我們下面要討論的硬盤IOPS有關系了。
??? 每個物理硬盤能處理的IOPS是有限制的,如
???
??? 同樣,如果一個陣列有120塊15K rpm轉速的光纖硬盤,那么,它能支撐的最大IOPS為120*150=18000,這個為硬件限制的理論值,如果超過這個值,硬盤的響應可能會變的非常緩慢而不能正常提供業(yè)務。較高的讀cache命中率,能降低硬盤的IOPS負荷,讓硬盤在較小的壓力下良好工作。
?
不同RAID對IOPS性能的影響
??? 在我們的上一篇文章“ RAID5和RAID10,哪種RAID適合你 (上)”中曾經討論過,在RAID5與RAID10的不同機制上,讀數(shù)據(jù)時,IOPS性能其實沒有差別。但是,相同的業(yè)務,在寫入數(shù)據(jù)時,采用不同的RAID機制最終落在磁盤上的IOPS是有差別的,我們評估的正是磁盤的整體IOPS,如果達到了磁盤的限制,性能肯定是上不去了。
??? 那我們假定一個case,業(yè)務應用的IOPS是10000,讀cache命中率是30%,讀IOPS為60%,寫IOPS為40%,磁盤個數(shù)為120,那么分別計算在RAID5與RAID10的情況下,每個磁盤的IOPS為多少。
??? RAID5:
??? 1. 單塊盤的IOPS = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120
??? 2.???????????? = (4200 + 16000)/120
??? 3.???????????? = 168
??? 這里的10000*(1-0.3)*0.6表示是讀的IOPS,比例是0.6,除掉cache命中,實際只有4200個讀IOPS。
??? 而4 * (10000*0.4) 表示寫的IOPS,因為每一個寫,在RAID5中,實際發(fā)生了4個io,所以寫的IOPS為16000個。
??? 為了考慮RAID5在寫操作的時候,那2個讀操作也可能發(fā)生命中,所以更精確的計算應該為:
??? 1. 單塊盤的IOPS = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120
??? 2.???????????? = (4200 + 5600 + 8000)/120
??? 3.???????????? = 148
??? 這樣我們計算出來單個盤的IOPS為148個,基本達到磁盤IOPS極限,在這種情況下,磁盤的工作狀態(tài)是非常不理想的。
???
RAID10對IOPS性能的影響
??? 1. 單塊盤的IOPS = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120
??? 2.???????????? = (4200 + 8000)/120
??? 3.???????????? = 102
??? 可以看到,因為RAID10對于一個寫操作,只發(fā)生2次io,所以,同樣的壓力,同樣的磁盤,每個盤的IOPS只有102個,還遠遠低于磁盤的極限IOPS。
??? 這里回到我們先前討論的case上來,在我們先前采用RAID5的時候,通過分析,每個磁盤的IOPS在高峰時期,快達到200了,導致響應速度巨慢無比。改造成RAID10,每個磁盤的IOPS降到100左右,很好的避免了這個性能問題。
??? 因此,綜合本文的上篇“ RAID5和RAID10,哪種RAID適合你 ”,我們可以得出結論:
??? 影響讀數(shù)據(jù)的關鍵因素是cache命中率,在讀數(shù)據(jù)的情況下,RAID5與RAID10性能本身沒有太大差別。但是對于寫數(shù)據(jù)的一些應用,尤其是小I/O頻繁寫入的一些應用,如企業(yè)ERP生產系統(tǒng)等等,RAID10相比RAID5可能產生較大的性能差異。而大型文件存儲,數(shù)據(jù)倉庫,如醫(yī)療PACS系統(tǒng)、視頻編輯系統(tǒng)則從空間利用的角度,建議采用RAID5。
?