Change Dir

          先知cd——熱愛生活是一切藝術(shù)的開始

          統(tǒng)計(jì)

          留言簿(18)

          積分與排名

          “?!眰兊牟┛?/h3>

          各個(gè)公司技術(shù)

          我的鏈接

          淘寶技術(shù)

          閱讀排行榜

          評(píng)論排行榜

          Hbase配置項(xiàng)粗解(1)

          繼之前寫的設(shè)計(jì)和使用tip,這里補(bǔ)充一下hbase所有的配置項(xiàng)。之前涉及的一個(gè)項(xiàng)目在hbase設(shè)計(jì)上存在缺陷,當(dāng)進(jìn)入時(shí)已經(jīng)存在著很多rowkey設(shè)計(jì)和讀寫問題,現(xiàn)在重讀hbase文檔,把所有的配置項(xiàng)整理一遍。

          hbase.tmp.dir:本地文件系統(tǒng)的臨時(shí)目錄,默認(rèn)是${java.io.tmpdir}/hbase-${user.name};

          hbase.rootdir:hbase持久化的目錄,被所有regionserver共享,默認(rèn)${hbase.tmp.dir}/hbase,一般設(shè)置為hdfs://namenode.example.org:9000/hbase類似,帶全限定名;

          hbase.cluster.distributed:hbase集群模式運(yùn)作與否的標(biāo)志,默認(rèn)是false,開啟需要設(shè)置為true,false時(shí)啟動(dòng)hbase會(huì)在一個(gè)jvm中運(yùn)行hbase和zk;

          hbase.zookeeper.quorum:重要的也是必須設(shè)置的,啟動(dòng)zk的服務(wù)器列表,逗號(hào)分隔,cluster模式下必須設(shè)置,默認(rèn)是localhost,hbase客戶端也需要設(shè)置這個(gè)值去訪問zk;

          hbase.local.dir:本地文件系統(tǒng)被用在本地存儲(chǔ)的目錄,默認(rèn)${hbase.tmp.dir}/local/;

          hbase.master.port:hbase master綁定的端口,默認(rèn)是60000;

          hbase.master.info.port:hbase master web 界面的端口,默認(rèn)是60010,設(shè)置為-1可以禁用ui;

          hbase.master.info.bindAddress:master web界面的綁定地址,默認(rèn)是0.0.0.0;

          hbase.master.logcleaner.plugins:清理日志的插件列表,逗號(hào)分隔,被LogService調(diào)用的LogCleanerDelegate,可以自定義,順序執(zhí)行,清理WAL和HLog;默認(rèn)org.apache.hadoop.hbase.master.cleaner.TimeToLiveLogCleaner

          hbase.master.logcleaner.ttl:HLog在.oldlogdir目錄中生存的最長時(shí)間,過期則被Master起線程回收,默認(rèn)是600000;

          hbase.master.hfilecleaner.plugins:HFile的清理插件列表,逗號(hào)分隔,被HFileService調(diào)用,可以自定義,默認(rèn)org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner

          hbase.master.catalog.timeout:Catalog Janitor從master到META的超時(shí)時(shí)間,我們知道這個(gè)Janitor是定時(shí)的去META掃描表目錄,來決定回收無用的regions,默認(rèn)是600000;

          fail.fast.expired.active.master:如果master過期,那么不需要從zk恢復(fù),直接終止,默認(rèn)是false;

          hbase.master.dns.interface:master的dns接口,向該接口提供ip,默認(rèn)是default;

          hbase.master.dns.nameserver:master使用的dns主機(jī)名或者ip,默認(rèn)是default;

          hbase.regionserver.port:regionserver綁定的端口,默認(rèn)是60020;

          hbase.regionserver.info.port:regionserver的web界面端口,-1取消界面,默認(rèn)是60030;

          hbase.regionserver.info.bindAddress:regionserver的web綁定,默認(rèn)是0.0.0.0;

          hbase.regionserver.info.port.auto:master或者regionserver是否自動(dòng)搜索綁定的端口,默認(rèn)是false;

          hbase.regionserver.handler.count:regionserver上rpc listener的個(gè)數(shù),http://kenwublog.com/hbase-performance-tuning把這個(gè)配置稱為io線程數(shù),其實(shí)雷同,就是說在regionserver上一個(gè)處理rpc的handler,默認(rèn)是30;

          hbase.regionserver.msginterval:regionserver向master發(fā)消息的間隔,默認(rèn)3000毫秒;

          hbase.regionserver.optionallogflushinterval:如果沒有足夠的entry觸發(fā)同步,那么過了這個(gè)間隔后HLog將被同步到HDFS,默認(rèn)是1000毫秒;

          hbase.regionserver.regionSplitLimit:regionsplit的最大限額,默認(rèn)是MAX_INT=2147483647,設(shè)置這個(gè)限制后,在到達(dá)限制時(shí)region split就不會(huì)再進(jìn)行;

          hbase.regionserver.logroll.period:不管有多少版本,直接roll掉commit log的周期,也就是說一個(gè)固定的時(shí)間周期,到期就roll,默認(rèn)是3600000毫秒;

          hbase.regionserver.logroll.errors.tolerated:可接受的WAL關(guān)閉錯(cuò)誤個(gè)數(shù),到達(dá)后將觸發(fā)服務(wù)器終止;設(shè)置為0那么在WAL writer做log rolling失敗時(shí)就停止region server,默認(rèn)是2;

          hbase.regionserver.hlog.reader.impl:HLog 文件reader的實(shí)現(xiàn)類,默認(rèn)是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogReader;

          hbase.regionserver.hlog.writer.impl:HLog 文件writer的實(shí)現(xiàn)類,默認(rèn)是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogWriter;

          hbase.regionserver.global.memstore.upperLimit:memstore在regionserver內(nèi)存中的上限,屆時(shí)新的update被阻塞并且flush被強(qiáng)制寫,默認(rèn)是0.4就是堆內(nèi)存的40%;阻塞狀態(tài)持續(xù)到regionserver的所有memstore的容量到達(dá)hbase.regionserver.global.memstore.lowerLimit;

          hbase.regionserver.global.memstore.lowerLimit:memstore在regionserver內(nèi)存中的最大上限,到達(dá)時(shí)flush就被強(qiáng)制寫,默認(rèn)是0.38等價(jià)于38%的內(nèi)存容量;

          hbase.regionserver.optionalcacheflushinterval:一個(gè)edit版本在內(nèi)存中的cache時(shí)長,默認(rèn)3600000毫秒,設(shè)置為0的話則禁止自動(dòng)flush;

          hbase.regionserver.catalog.timeout:regionserver的Catalog Janitor訪問META的超時(shí)時(shí)間,默認(rèn)是600000;

          hbase.regionserver.dns.interface:同master類似~~不講

          hbase.regionserver.dns.nameserver:同master類似

          zookeeper.session.timeout:這是個(gè)值得說道一下的配置,首先ZK客戶端要用,Hbase使用zk的客戶端聯(lián)系總體,同時(shí)也被用來啟動(dòng)一個(gè)zk server,作為zk的maxSessionTimeout,總的來說就是regionserver與zk的關(guān)鍵參數(shù),如果連接超時(shí),master會(huì)重新的balance,regionserver也會(huì)被從集群名單中清除,默認(rèn)是90000;一個(gè)問題是如果zk 由hbase自己維護(hù),那么該參數(shù)作為regionserver連接是一個(gè)值,如果zk在另外的集群,那么zk自己的maxSessionTimeout參數(shù)將優(yōu)先于Hbase的該參數(shù),屆時(shí)可能會(huì)發(fā)生超時(shí)時(shí)間不同的問題;

          zookeeper.znode.parent:znode存放root region的地址,默認(rèn)是root-region-server;

          zookeeper.znode.acl.parent:root znode的acl,默認(rèn)acl;

          hbase.zookeeper.dns.interface:zk的dns接口,默認(rèn)default;

          hbase.zookeeper.dns.nameserver:zk的dns服務(wù)地址,默認(rèn)default;

          hbase.zookeeper.peerport:zk的peer之間的通訊端口,默認(rèn)是2888;

          hbase.zookeeper.leaderport:zk選leader的通訊端口,默認(rèn)是3888;

          hbase.zookeeper.useMulti:zk支持多重update,要求zk在3.4版本以上,默認(rèn)是false;

          hbase.config.read.zookeeper.config:讓hbaseconfig去讀zk的config,默認(rèn)false,也不支持開啟,這個(gè)功能很搞笑~~個(gè)人觀點(diǎn);

          hbase.zookeeper.property.initLimit:zk的配置,同步的屬性個(gè)數(shù)限制,默認(rèn)10個(gè)~~沒用;

          hbase.zookeeper.property.syncLimit:zk的配置,同步時(shí)的每次請(qǐng)求的條數(shù),默認(rèn)5個(gè);

          hbase.zookeeper.property.dataDir:zk的配置,snapshot存放的目錄,默認(rèn)是${hbase.tmp.dir}/zookeeper;

          hbase.zookeeper.property.clientPort:zk的配置,client連zk的端口,默認(rèn)2181;

          hbase.zookeeper.property.maxClientCnxns:zk的配置,允許接入zk的最大并發(fā)連接數(shù)的限制,按ip分配,默認(rèn)300;

          posted on 2013-12-09 20:07 changedi 閱讀(6145) 評(píng)論(0)  編輯  收藏 所屬分類: 數(shù)據(jù)

          主站蜘蛛池模板: 柳河县| 绵竹市| 厦门市| 牙克石市| 景泰县| 龙山县| 潜山县| 汶上县| 温泉县| 大余县| 远安县| 体育| 晋州市| 甘南县| 牡丹江市| 宜宾县| 高州市| 瑞丽市| 富顺县| 西林县| 乐安县| 大余县| 云霄县| 五大连池市| 鲜城| 阳山县| 汉川市| 万荣县| 罗城| 阳春市| 手机| 勃利县| 毕节市| 陵水| 七台河市| 固原市| 抚顺县| 清新县| 綦江县| 石泉县| 玉龙|