paulwong

          HBASE部署要點

          REGIONS SERVER和TASK TRACKER SERVER不要在同一臺機器上,最好如果有MAPREDUCE JOB運行的話,應該分開兩個CLUSTER,即兩群不同的服務器上,這樣MAPREDUCE 的線下負載不會影響到SCANER這些線上負載。

          如果主要是做MAPREDUCE JOB的話,將REGIONS SERVER和TASK TRACKER SERVER放在一起是可以的。


          原始集群模式

          10個或以下節點,無MAPREDUCE JOB,主要用于低延遲的訪問。每個節點上的配置為:CPU4-6CORE,內存24-32G,4個SATA硬盤。Hadoop NameNode, JobTracker, HBase Master, 和ZooKeeper全都在同一個NODE上。


          小型集群模式(10-20臺服務器)

          HBase Master放在單獨一臺機器上, 以便于使用較低配置的機器。ZooKeeper也放在單獨一臺機器上,NameNode和JobTracker放在同一臺機器上。

          中型集群模式(20-50臺服務器)

          由于無須再節省費用,可以將HBase Master和ZooKeeper放在同一臺機器上, ZooKeeper和HBase Master要三個實例。NameNode和JobTracker放在同一臺機器上。

          大型集群模式(>50臺服務器)

          和中型集群模式相似,但ZooKeeper和HBase Master要五個實例。NameNode和Second NameNode要有足夠大的內存。

          HADOOP MASTER節點

          NameNode和Second NameNode服務器配置要求:(小型)8CORE CPU,16G內存,1G網卡和SATA 硬盤,中弄再增加多16G內存,大型則再增加多32G內存。

          HBASE MASTER節點

          服務器配置要求:4CORE CPU,8-16G內存,1G網卡和2個SATA 硬盤,一個用于操作系統,另一個用于HBASE MASTER LOGS。

          HADOOP DATA NODES和HBASE REGION SERVER節點

          DATA NODE和REGION SERVER應在同一臺服務器上,且不應該和TASK TRACKER在一起。服務器配置要求:8-12CORE CPU,24-32G內存,1G網卡和12*1TB SATA 硬盤,一個用于操作系統,另一個用于HBASE MASTER LOGS。

          ZOOPKEEPERS節點

          服務器配置和HBASE MASTER相似,也可以與HBASE MASTER放在一起,但就要多增加一個硬盤單獨給ZOOPKEEPER使用。

          安裝各節點

          JVM配置:
          -Xmx8g—設置HEAP的最大值到8G,不建議設到15 GB.
          -Xms8g—設置HEAP的最小值到8GS.
          -Xmn128m—設置新生代的值到128 MB,默認值太小。
          -XX:+UseParNewGC—設置對于新生代的垃圾回收器類型,這種類型是會停止JAVA進程,然后再進行回收的,但由于新生代體積比較小,持續時間通常只有幾毫秒,因此可以接受。
          -XX:+UseConcMarkSweepGC—設置老生代的垃圾回收類型,如果用新生代的那個會不合適,即會導致JAVA進程停止的時間太長,用這種不會停止JAVA進程,而是在JAVA進程運行的同時,并行的進行回收。
          -XX:CMSInitiatingOccupancyFraction—設置CMS回收器運行的頻率。




          posted on 2013-02-04 12:10 paulwong 閱讀(1244) 評論(0)  編輯  收藏 所屬分類: 分布式HADOOP云計算HBASE

          主站蜘蛛池模板: 陇南市| 茂名市| 新晃| 策勒县| 曲松县| 丹江口市| 景泰县| 土默特右旗| 华亭县| 石楼县| 北宁市| 安达市| 陵川县| 汾西县| 常山县| 恩施市| 涡阳县| 平度市| 张家口市| 颍上县| 无极县| 贵南县| 上林县| 浦江县| 当雄县| 盐城市| 腾冲县| 任丘市| 儋州市| 报价| 辰溪县| 琼结县| 海门市| 延津县| 瓮安县| 南郑县| 满洲里市| 嘉定区| 巴彦县| 汤阴县| 永新县|