paulwong

          HBASE部署要點

          REGIONS SERVER和TASK TRACKER SERVER不要在同一臺機器上,最好如果有MAPREDUCE JOB運行的話,應該分開兩個CLUSTER,即兩群不同的服務器上,這樣MAPREDUCE 的線下負載不會影響到SCANER這些線上負載。

          如果主要是做MAPREDUCE JOB的話,將REGIONS SERVER和TASK TRACKER SERVER放在一起是可以的。


          原始集群模式

          10個或以下節點,無MAPREDUCE JOB,主要用于低延遲的訪問。每個節點上的配置為:CPU4-6CORE,內存24-32G,4個SATA硬盤。Hadoop NameNode, JobTracker, HBase Master, 和ZooKeeper全都在同一個NODE上。


          小型集群模式(10-20臺服務器)

          HBase Master放在單獨一臺機器上, 以便于使用較低配置的機器。ZooKeeper也放在單獨一臺機器上,NameNode和JobTracker放在同一臺機器上。

          中型集群模式(20-50臺服務器)

          由于無須再節省費用,可以將HBase Master和ZooKeeper放在同一臺機器上, ZooKeeper和HBase Master要三個實例。NameNode和JobTracker放在同一臺機器上。

          大型集群模式(>50臺服務器)

          和中型集群模式相似,但ZooKeeper和HBase Master要五個實例。NameNode和Second NameNode要有足夠大的內存。

          HADOOP MASTER節點

          NameNode和Second NameNode服務器配置要求:(小型)8CORE CPU,16G內存,1G網卡和SATA 硬盤,中弄再增加多16G內存,大型則再增加多32G內存。

          HBASE MASTER節點

          服務器配置要求:4CORE CPU,8-16G內存,1G網卡和2個SATA 硬盤,一個用于操作系統,另一個用于HBASE MASTER LOGS。

          HADOOP DATA NODES和HBASE REGION SERVER節點

          DATA NODE和REGION SERVER應在同一臺服務器上,且不應該和TASK TRACKER在一起。服務器配置要求:8-12CORE CPU,24-32G內存,1G網卡和12*1TB SATA 硬盤,一個用于操作系統,另一個用于HBASE MASTER LOGS。

          ZOOPKEEPERS節點

          服務器配置和HBASE MASTER相似,也可以與HBASE MASTER放在一起,但就要多增加一個硬盤單獨給ZOOPKEEPER使用。

          安裝各節點

          JVM配置:
          -Xmx8g—設置HEAP的最大值到8G,不建議設到15 GB.
          -Xms8g—設置HEAP的最小值到8GS.
          -Xmn128m—設置新生代的值到128 MB,默認值太小。
          -XX:+UseParNewGC—設置對于新生代的垃圾回收器類型,這種類型是會停止JAVA進程,然后再進行回收的,但由于新生代體積比較小,持續時間通常只有幾毫秒,因此可以接受。
          -XX:+UseConcMarkSweepGC—設置老生代的垃圾回收類型,如果用新生代的那個會不合適,即會導致JAVA進程停止的時間太長,用這種不會停止JAVA進程,而是在JAVA進程運行的同時,并行的進行回收。
          -XX:CMSInitiatingOccupancyFraction—設置CMS回收器運行的頻率。




          posted on 2013-02-04 12:10 paulwong 閱讀(1244) 評論(0)  編輯  收藏 所屬分類: 分布式HADOOP云計算HBASE

          主站蜘蛛池模板: 庄河市| 长寿区| 庆城县| 贵州省| 绥化市| 平山县| 沂源县| 金阳县| 琼海市| 象州县| 桃江县| 孟州市| 黄骅市| 眉山市| 陇南市| 博罗县| 泗阳县| 六安市| 藁城市| 两当县| 南和县| 防城港市| 香河县| 龙里县| 凤台县| 城固县| 慈溪市| 罗田县| 中西区| 侯马市| 阳山县| 温泉县| 得荣县| 民乐县| 颍上县| 铅山县| 桓台县| 凌云县| 蓬安县| 宁阳县| 罗山县|