Change Dir

          先知cd——熱愛生活是一切藝術(shù)的開始

          統(tǒng)計(jì)

          留言簿(18)

          積分與排名

          “牛”們的博客

          各個(gè)公司技術(shù)

          我的鏈接

          淘寶技術(shù)

          閱讀排行榜

          評(píng)論排行榜

          Hive配置項(xiàng)的含義詳解(5)

          關(guān)于MetaStore:metastore是個(gè)獨(dú)立的關(guān)系數(shù)據(jù)庫(kù),用來持久化schema和系統(tǒng)元數(shù)據(jù)。

          hive.metastore.local:控制hive是否連接一個(gè)遠(yuǎn)程metastore服務(wù)器還是開啟一個(gè)本地客戶端jvm,默認(rèn)是true,Hive0.10已經(jīng)取消了該配置項(xiàng);

          javax.jdo.option.ConnectionURL:JDBC連接字符串,默認(rèn)jdbc:derby:;databaseName=metastore_db;create=true;

          javax.jdo.option.ConnectionDriverName:JDBC的driver,默認(rèn)org.apache.derby.jdbc.EmbeddedDriver

          javax.jdo.PersisteneManagerFactoryClass:實(shí)現(xiàn)JDO PersistenceManagerFactory的類名,默認(rèn)org.datanucleus.jdo.JDOPersistenceManagerFactory;

          javax.jdo.option.DetachAllOnCommit:事務(wù)提交后detach所有提交的對(duì)象,默認(rèn)是true;

          javax.jdo.option.NonTransactionalRead:是否允許非事務(wù)的讀,默認(rèn)是true;

          javax.jdo.option.ConnectionUserName:username,默認(rèn)APP;

          javax.jdo.option.ConnectionPassword:password,默認(rèn)mine;

          javax.jdo.option.Multithreaded:是否支持并發(fā)訪問metastore,默認(rèn)是true;

          datanucleus.connectionPoolingType:使用連接池來訪問JDBC metastore,默認(rèn)是DBCP;

          datanucleus.validateTables:檢查是否存在表的schema,默認(rèn)是false;

          datanucleus.validateColumns:檢查是否存在列的schema,默認(rèn)false;

          datanucleus.validateConstraints:檢查是否存在constraint的schema,默認(rèn)false;

          datanucleus.stroeManagerType:元數(shù)據(jù)存儲(chǔ)類型,默認(rèn)rdbms;

          datanucleus.autoCreateSchema:在不存在時(shí)是否自動(dòng)創(chuàng)建必要的schema,默認(rèn)是true;

          datanucleus.aotuStartMechanismMode:如果元數(shù)據(jù)表不正確,拋出異常,默認(rèn)是checked;

          datanucleus.transactionIsolation:默認(rèn)的事務(wù)隔離級(jí)別,默認(rèn)是read-committed;

          datanucleus.cache.level2:使用二級(jí)緩存,默認(rèn)是false;

          datanucleus.cache.level2.type:二級(jí)緩存的類型,有兩種,SOFT:軟引用,WEAK:弱引用,默認(rèn)是SOFT;

          datanucleus.identifierFactory:id工廠生產(chǎn)表和列名的名字,默認(rèn)是datanucleus;

          datanucleus.plugin.pluginRegistryBundleCheck:當(dāng)plugin被發(fā)現(xiàn)并且重復(fù)時(shí)的行為,默認(rèn)是LOG;

          hive.metastroe.warehouse.dir:數(shù)據(jù)倉(cāng)庫(kù)的位置,默認(rèn)是/user/hive/warehouse;

          hive.metastore.execute.setugi:非安全模式,設(shè)置為true會(huì)令metastore以客戶端的用戶和組權(quán)限執(zhí)行DFS操作,默認(rèn)是false,這個(gè)屬性需要服務(wù)端和客戶端同時(shí)設(shè)置;

          hive.metastore.event.listeners:metastore的事件監(jiān)聽器列表,逗號(hào)隔開,默認(rèn)是空;

          hive.metastore.partition.inherit.table.properties:當(dāng)新建分區(qū)時(shí)自動(dòng)繼承的key列表,默認(rèn)是空;

          hive.metastore.end.function.listeners:metastore函數(shù)執(zhí)行結(jié)束時(shí)的監(jiān)聽器列表,默認(rèn)是空;

          hive.metastore.event.expiry.duration:事件表中事件的過期時(shí)間,默認(rèn)是0;

          hive.metastore.event.clean.freq:metastore中清理過期事件的定時(shí)器的運(yùn)行周期,默認(rèn)是0;

          hive.metastore.connect.retries:創(chuàng)建metastore連接時(shí)的重試次數(shù),默認(rèn)是5;

          hive.metastore.client.connect.retry.delay:客戶端在連續(xù)的重試連接等待的時(shí)間,默認(rèn)1;

          hive.metastore.client.socket.timeout:客戶端socket超時(shí)時(shí)間,默認(rèn)20秒;

          hive.metastore.rawstore.impl:原始metastore的存儲(chǔ)實(shí)現(xiàn)類,默認(rèn)是org.apache.hadoop.hive.metastore.ObjectStore;

          hive.metastore.batch.retrieve.max:在一個(gè)batch獲取中,能從metastore里取出的最大記錄數(shù),默認(rèn)是300;

          hive.metastore.ds.connection.url.hook:查找JDO連接url時(shí)hook的名字,默認(rèn)是javax.jdo.option.ConnectionURL;

          hive.metastore.ds.retry.attempts:當(dāng)出現(xiàn)連接錯(cuò)誤時(shí)重試連接的次數(shù),默認(rèn)是1次;

          hive.metastore.ds.retry.interval:metastore重試連接的間隔時(shí)間,默認(rèn)1000毫秒;

          hive.metastore.server.min.threads:在thrift服務(wù)池中最小的工作線程數(shù),默認(rèn)是200;

          hive.metastore.server.max.threads:最大線程數(shù),默認(rèn)是100000;

          hive.metastore.server.tcp.keepalive:metastore的server是否開啟長(zhǎng)連接,長(zhǎng)連可以預(yù)防半連接的積累,默認(rèn)是true;

          hive.metastore.sasl.enabled:metastore thrift接口的安全策略,開啟則用SASL加密接口,客戶端必須要用Kerberos機(jī)制鑒權(quán),默認(rèn)是不開啟false;

          hive.metastore.kerberos.keytab.file:在開啟sasl后kerberos的keytab文件存放路徑,默認(rèn)是空;

          hive.metastore.kerberos.principal:kerberos的principal,_HOST部分會(huì)動(dòng)態(tài)替換,默認(rèn)是hive-metastore/_HOST@EXAMPLE.COM

          hive.metastore.cache.pinobjtypes:在cache中支持的metastore的對(duì)象類型,由逗號(hào)分隔,默認(rèn)是Table,StorageDescriptor,SerDeInfo,Partition,Database,Type,FieldSchema,Order;

          hive.metastore.authorization.storage.checks:在做類似drop partition操作時(shí),metastore是否要認(rèn)證權(quán)限,默認(rèn)是false;

          hive.metastore.schema.verification:強(qiáng)制metastore的schema一致性,開啟的話會(huì)校驗(yàn)在metastore中存儲(chǔ)的信息的版本和hive的jar包中的版本一致性,并且關(guān)閉自動(dòng)schema遷移,用戶必須手動(dòng)的升級(jí)hive并且遷移schema,關(guān)閉的話只會(huì)在版本不一致時(shí)給出警告,默認(rèn)是false不開啟;

          posted on 2013-10-14 17:39 changedi 閱讀(9481) 評(píng)論(0)  編輯  收藏 所屬分類: 數(shù)據(jù)

          主站蜘蛛池模板: 库伦旗| 镇赉县| 从江县| 富阳市| 延长县| 绩溪县| 图片| 商南县| 名山县| 伊川县| 曲沃县| 云南省| 宝兴县| 莎车县| 永嘉县| 密山市| 武定县| 阜宁县| 鱼台县| 天全县| 成都市| 乐业县| 榕江县| 南溪县| 通海县| 彰化县| 古浪县| 五寨县| 隆尧县| 滦平县| 玉树县| 罗城| 房山区| 桂平市| 新密市| 庆阳市| 醴陵市| 萝北县| 霍城县| 土默特左旗| 呼伦贝尔市|