Linux之FineBI集群部署
在企業(yè)應(yīng)用中,通常單個計算機的配置是有限的,而企業(yè)應(yīng)用又是高并發(fā)的需求,這個時候會通過計算機集群的方式來提高并發(fā)數(shù),從而提高整體應(yīng)用服務(wù)的性能。集群是將多臺計算機作為一個整體來提供相關(guān)應(yīng)用的服務(wù)。FineBI支持多計算機服務(wù)的集群部署,通過集群部署利用有限的計算機資源來有效提高整體應(yīng)用的并發(fā)性能。本文主要介紹整體FineBI集群的思路。
FineBI采用負載均衡集群的模式,將多臺服務(wù)器創(chuàng)建為一個集群服務(wù)器。這里碰到這幾個問題:1)web工程的存儲問題:FineBI在集群中,由于自身的問題需要多臺服務(wù)器讀取同一個web工程。因此要實現(xiàn)web工程分享。2)系統(tǒng)數(shù)據(jù)一致性:在FineBI的運行過程中,存在讀寫的操作,同時有部分的數(shù)據(jù)的配置文件要寫入數(shù)據(jù)庫。需要保證集群的情況下,系統(tǒng)數(shù)據(jù)的一致性。3)負載均衡:一方面通過負載均衡來處理session的問題,另一方面達成負載均衡的集群環(huán)境,使用代理服務(wù)器可以將請求轉(zhuǎn)發(fā)給集群內(nèi)部的服務(wù)器,可以將負載均衡和代理服務(wù)器的高速緩存技術(shù)結(jié)合在一起,提供有益的性能。4)FS平臺集群:如FineBI使用FS平臺,則FS平臺的各種配置也需要進行集群配置。
如下圖是一個FineBI進去的架構(gòu)的案例示意圖,這種方式通過NFS文件共享來處理web工程。
Web工程存儲問題
Web工程的存儲,我們要解決的是多個服務(wù)器保證讀取同一個web工程。我們可以通過ceph做到多塊物理硬盤組件一塊邏輯硬盤,從而實現(xiàn)所有節(jié)點都是在訪問同一地址;也可以通過linux本身帶有的nfs共享文件服務(wù)來達成訪問同一web工程。無論使用哪一種方式,我們要保證:
<!--[if !supportLists]-->1)<!--[endif]-->訪問同一web工程
<!--[if !supportLists]-->2)<!--[endif]-->Cube存儲地址是一致的
因為同一個web工程下,要求cube的存儲地址是一致的,因此要求cube存儲地址一定要一樣。
而真正使用的時候,ceph的實現(xiàn)需要至少三臺計算機來實現(xiàn),而實際企業(yè)應(yīng)用中,比較少使用三臺;而nfs均可以且是linux本身的,因此使用“nfs”方案。
系統(tǒng)數(shù)據(jù)配置
單節(jié)點的情況下,利用緩存和通過操作系統(tǒng)的文件系統(tǒng)來保存數(shù)據(jù)的方式,在集群模式下不再合適。主要原因在于數(shù)據(jù)的一致性問題,多個節(jié)點可能進行同時讀寫,更改系統(tǒng)數(shù)據(jù),最終勢必會造成整體數(shù)據(jù)不一致。最好的解決方案是系統(tǒng)配置數(shù)據(jù)全部交給MySQL等關(guān)系型數(shù)據(jù)庫來管理。但由于這樣工程量好大,更主要的原因為許多代碼缺少維護,貿(mào)然更改可能帶來意想不到的bug。于是我們采用一種折中的做法。在集群中選出一臺幾點作為主節(jié)點,簡稱M。其余節(jié)點擔(dān)當(dāng)子節(jié)點,簡稱S。當(dāng)S上所有與更改系統(tǒng)配置相關(guān)的操作,全部發(fā)送到M上進行處理。M負責(zé)來更改系統(tǒng)狀態(tài),維護整個系統(tǒng)到底一致的狀態(tài)。S節(jié)點放棄全部的緩存數(shù)據(jù),讀取狀態(tài)的時候,不再通過讀取自身數(shù)據(jù),而是通過向M發(fā)送讀取請求,獲得M上的數(shù)據(jù)。M節(jié)點自身可以存在緩存數(shù)據(jù)。其他數(shù)據(jù)S節(jié)點與M節(jié)點時等同的,不存在從屬關(guān)系。
因此按上述原由我們提供如下解決方案:
<!--[if !supportLists]-->1)<!--[endif]-->mysql數(shù)據(jù)庫:原web工程中存在finedb的配置信息轉(zhuǎn)存到mysql數(shù)據(jù)庫中。因為finedb數(shù)據(jù)庫只能有一個連接,無法多節(jié)點同時讀取,而mysql數(shù)據(jù)庫則不存在。Logdb也需遷移;
<!--[if !supportLists]-->2)<!--[endif]-->主子節(jié)點:我們使用主子節(jié)點的方式來配置集群,系統(tǒng)數(shù)據(jù)的更改均在主節(jié)點上進行,子節(jié)點只讀取主節(jié)點上的數(shù)據(jù);
<!--[if !supportLists]-->3)<!--[endif]-->Zookeeper:為了保證讀寫情況下,主子節(jié)點保證數(shù)據(jù)一致性,還需要zookeeper進行通信,充當(dāng)文件鎖的功能。
負載均衡
在FineBI的集群環(huán)境中,我們可以使用任何支持負載均衡的服務(wù)器來完成輪發(fā)的任務(wù),并保證session粘滯。此處我們使用的是nginx反向代理,使用IP標識輪發(fā),保證同一個用戶在同一個session。(在一個服務(wù)器一個節(jié)點的情況下,同一個IP就保證session粘滯)。
FS平臺集群
使用FS平臺集群插件,將FS平臺配置能夠滿足集群需求。在FS平臺集群中,F(xiàn)S平臺的所有操作都是發(fā)到主節(jié)點上來操作;子節(jié)點只是作計算服務(wù)器。