wuxiren123

          Linux之FineBI集群部署

          在企業(yè)應(yīng)用中,通常單個計算機的配置是有限的,而企業(yè)應(yīng)用又是高并發(fā)的需求,這個時候會通過計算機集群的方式來提高并發(fā)數(shù),從而提高整體應(yīng)用服務(wù)的性能。集群是將多臺計算機作為一個整體來提供相關(guān)應(yīng)用的服務(wù)。FineBI支持多計算機服務(wù)的集群部署,通過集群部署利用有限的計算機資源來有效提高整體應(yīng)用的并發(fā)性能。本文主要介紹整體FineBI集群的思路。

          FineBI采用負載均衡集群的模式,將多臺服務(wù)器創(chuàng)建為一個集群服務(wù)器。這里碰到這幾個問題:1)web工程的存儲問題:FineBI在集群中,由于自身的問題需要多臺服務(wù)器讀取同一個web工程。因此要實現(xiàn)web工程分享。2)系統(tǒng)數(shù)據(jù)一致性:在FineBI的運行過程中,存在讀寫的操作,同時有部分的數(shù)據(jù)的配置文件要寫入數(shù)據(jù)庫。需要保證集群的情況下,系統(tǒng)數(shù)據(jù)的一致性。3)負載均衡:一方面通過負載均衡來處理session的問題,另一方面達成負載均衡的集群環(huán)境,使用代理服務(wù)器可以將請求轉(zhuǎn)發(fā)給集群內(nèi)部的服務(wù)器,可以將負載均衡和代理服務(wù)器的高速緩存技術(shù)結(jié)合在一起,提供有益的性能。4)FS平臺集群:如FineBI使用FS平臺,則FS平臺的各種配置也需要進行集群配置。

          如下圖是一個FineBI進去的架構(gòu)的案例示意圖,這種方式通過NFS文件共享來處理web工程。



           

          Web工程存儲問題

          Web工程的存儲,我們要解決的是多個服務(wù)器保證讀取同一個web工程。我們可以通過ceph做到多塊物理硬盤組件一塊邏輯硬盤,從而實現(xiàn)所有節(jié)點都是在訪問同一地址;也可以通過linux本身帶有的nfs共享文件服務(wù)來達成訪問同一web工程。無論使用哪一種方式,我們要保證:

          <!--[if !supportLists]-->1)<!--[endif]-->訪問同一web工程

          <!--[if !supportLists]-->2)<!--[endif]-->Cube存儲地址是一致的

          因為同一個web工程下,要求cube的存儲地址是一致的,因此要求cube存儲地址一定要一樣。

          而真正使用的時候,ceph的實現(xiàn)需要至少三臺計算機來實現(xiàn),而實際企業(yè)應(yīng)用中,比較少使用三臺;而nfs均可以且是linux本身的,因此使用“nfs”方案。

          系統(tǒng)數(shù)據(jù)配置

          單節(jié)點的情況下,利用緩存和通過操作系統(tǒng)的文件系統(tǒng)來保存數(shù)據(jù)的方式,在集群模式下不再合適。主要原因在于數(shù)據(jù)的一致性問題,多個節(jié)點可能進行同時讀寫,更改系統(tǒng)數(shù)據(jù),最終勢必會造成整體數(shù)據(jù)不一致。最好的解決方案是系統(tǒng)配置數(shù)據(jù)全部交給MySQL等關(guān)系型數(shù)據(jù)庫來管理。但由于這樣工程量好大,更主要的原因為許多代碼缺少維護,貿(mào)然更改可能帶來意想不到的bug。于是我們采用一種折中的做法。在集群中選出一臺幾點作為主節(jié)點,簡稱M。其余節(jié)點擔(dān)當(dāng)子節(jié)點,簡稱S。當(dāng)S上所有與更改系統(tǒng)配置相關(guān)的操作,全部發(fā)送到M上進行處理。M負責(zé)來更改系統(tǒng)狀態(tài),維護整個系統(tǒng)到底一致的狀態(tài)。S節(jié)點放棄全部的緩存數(shù)據(jù),讀取狀態(tài)的時候,不再通過讀取自身數(shù)據(jù),而是通過向M發(fā)送讀取請求,獲得M上的數(shù)據(jù)。M節(jié)點自身可以存在緩存數(shù)據(jù)。其他數(shù)據(jù)S節(jié)點與M節(jié)點時等同的,不存在從屬關(guān)系。



           

          因此按上述原由我們提供如下解決方案:

          <!--[if !supportLists]-->1)<!--[endif]-->mysql數(shù)據(jù)庫:原web工程中存在finedb的配置信息轉(zhuǎn)存到mysql數(shù)據(jù)庫中。因為finedb數(shù)據(jù)庫只能有一個連接,無法多節(jié)點同時讀取,而mysql數(shù)據(jù)庫則不存在。Logdb也需遷移;

          <!--[if !supportLists]-->2)<!--[endif]-->主子節(jié)點:我們使用主子節(jié)點的方式來配置集群,系統(tǒng)數(shù)據(jù)的更改均在主節(jié)點上進行,子節(jié)點只讀取主節(jié)點上的數(shù)據(jù);

          <!--[if !supportLists]-->3)<!--[endif]-->Zookeeper:為了保證讀寫情況下,主子節(jié)點保證數(shù)據(jù)一致性,還需要zookeeper進行通信,充當(dāng)文件鎖的功能。

          負載均衡

          在FineBI的集群環(huán)境中,我們可以使用任何支持負載均衡的服務(wù)器來完成輪發(fā)的任務(wù),并保證session粘滯。此處我們使用的是nginx反向代理,使用IP標識輪發(fā),保證同一個用戶在同一個session。(在一個服務(wù)器一個節(jié)點的情況下,同一個IP就保證session粘滯)。

          FS平臺集群

          使用FS平臺集群插件,將FS平臺配置能夠滿足集群需求。在FS平臺集群中,F(xiàn)S平臺的所有操作都是發(fā)到主節(jié)點上來操作;子節(jié)點只是作計算服務(wù)器。

          posted on 2017-03-20 11:30 喝水居然長肉 閱讀(147) 評論(0)  編輯  收藏


          只有注冊用戶登錄后才能發(fā)表評論。


          網(wǎng)站導(dǎo)航:
           
          主站蜘蛛池模板: 安多县| 南城县| 喀喇沁旗| 会东县| 京山县| 河间市| 大方县| 鞍山市| 贡嘎县| 桐城市| 沂南县| 抚顺县| 甘洛县| 沙湾县| 漯河市| 湾仔区| 新巴尔虎左旗| 扶绥县| 巫溪县| 南郑县| 万山特区| 合江县| 五大连池市| 肥乡县| 崇明县| 体育| 通榆县| 凤城市| 射洪县| 育儿| 石狮市| 禄劝| 句容市| 泸溪县| 丘北县| 宜黄县| 自治县| 新郑市| 上饶县| 辉县市| 唐山市|