HBASE部署要點
REGIONS SERVER和TASK TRACKER SERVER不要在同一臺機器上,最好如果有MAPREDUCE JOB運行的話,應該分開兩個CLUSTER,即兩群不同的服務器上,這樣MAPREDUCE 的線下負載不會影響到SCANER這些線上負載。
如果主要是做MAPREDUCE JOB的話,將REGIONS SERVER和TASK TRACKER SERVER放在一起是可以的。
原始集群模式
小型集群模式(10-20臺服務器)
中型集群模式(20-50臺服務器)
大型集群模式(>50臺服務器)
HADOOP MASTER節點
HBASE MASTER節點
HADOOP DATA NODES和HBASE REGION SERVER節點
ZOOPKEEPERS節點
安裝各節點
-Xms8g—設置HEAP的最小值到8GS.
-Xmn128m—設置新生代的值到128 MB,默認值太小。
-XX:+UseParNewGC—設置對于新生代的垃圾回收器類型,這種類型是會停止JAVA進程,然后再進行回收的,但由于新生代體積比較小,持續時間通常只有幾毫秒,因此可以接受。
-XX:+UseConcMarkSweepGC—設置老生代的垃圾回收類型,如果用新生代的那個會不合適,即會導致JAVA進程停止的時間太長,用這種不會停止JAVA進程,而是在JAVA進程運行的同時,并行的進行回收。
-XX:CMSInitiatingOccupancyFraction—設置CMS回收器運行的頻率。
posted on 2013-02-04 12:10 paulwong 閱讀(1244) 評論(0) 編輯 收藏 所屬分類: 分布式 、HADOOP 、云計算 、HBASE