Change Dir

          先知cd——熱愛生活是一切藝術(shù)的開始

          統(tǒng)計(jì)

          留言簿(18)

          積分與排名

          “牛”們的博客

          各個(gè)公司技術(shù)

          我的鏈接

          淘寶技術(shù)

          閱讀排行榜

          評(píng)論排行榜

          Hive配置項(xiàng)的含義詳解(6)

          hive的index索引相關(guān)、統(tǒng)計(jì)相關(guān)和認(rèn)證授權(quán)相關(guān)的配置。

          hive.index.compact.file.ignore.hdfs:在索引文件中存儲(chǔ)的hdfs地址將在運(yùn)行時(shí)被忽略,如果開啟的話;如果數(shù)據(jù)被遷移,那么索引文件依然可用,默認(rèn)是false;

          hive.optimize.index.filter.compact.minsize:壓縮索引自動(dòng)應(yīng)用的最小輸入大小,默認(rèn)是5368709120;

          hive.optimize.index.filter.compact.maxsize:同上,相反含義,如果是負(fù)值代表正無窮,默認(rèn)是-1;

          hive.index.compact.query.max.size:一個(gè)使用壓縮索引做的查詢能取到的最大數(shù)據(jù)量,默認(rèn)是10737418240 個(gè)byte;負(fù)值代表無窮大;

          hive.index.compact.query.max.entries:使用壓縮索引查詢時(shí)能讀到的最大索引項(xiàng)數(shù),默認(rèn)是10000000;負(fù)值代表無窮大;

          hive.index.compact.binary.search:在索引表中是否開啟二分搜索進(jìn)行索引項(xiàng)查詢,默認(rèn)是true;

          hive.exec.concatenate.check.index:如果設(shè)置為true,那么在做ALTER TABLE tbl_name CONCATENATE on a table/partition(有索引) 操作時(shí),拋出錯(cuò)誤;可以幫助用戶避免index的刪除和重建;

          hive.stats.dbclass:存儲(chǔ)hive臨時(shí)統(tǒng)計(jì)信息的數(shù)據(jù)庫,默認(rèn)是jdbc:derby;

          hive.stats.autogather:在insert overwrite命令時(shí)自動(dòng)收集統(tǒng)計(jì)信息,默認(rèn)開啟true;

          hive.stats.jdbcdriver:數(shù)據(jù)庫臨時(shí)存儲(chǔ)hive統(tǒng)計(jì)信息的jdbc驅(qū)動(dòng);

          hive.stats.dbconnectionstring:臨時(shí)統(tǒng)計(jì)信息數(shù)據(jù)庫連接串,默認(rèn)jdbc:derby:databaseName=TempStatsStore;create=true;

          hive.stats.defaults.publisher:如果dbclass不是jdbc或者h(yuǎn)base,那么使用這個(gè)作為默認(rèn)發(fā)布,必須實(shí)現(xiàn)StatsPublisher接口,默認(rèn)是空;

          hive.stats.defaults.aggregator:如果dbclass不是jdbc或者h(yuǎn)base,那么使用該類做聚集,要求實(shí)現(xiàn)StatsAggregator接口,默認(rèn)是空;

          hive.stats.jdbc.timeout:jdbc連接超時(shí)配置,默認(rèn)30秒;

          hive.stats.retries.max:當(dāng)統(tǒng)計(jì)發(fā)布合聚集在更新數(shù)據(jù)庫時(shí)出現(xiàn)異常時(shí)最大的重試次數(shù),默認(rèn)是0,不重試;

          hive.stats.retries.wait:重試次數(shù)之間的等待窗口,默認(rèn)是3000毫秒;

          hive.client.stats.publishers:做count的job的統(tǒng)計(jì)發(fā)布類列表,由逗號(hào)隔開,默認(rèn)是空;必須實(shí)現(xiàn)org.apache.hadoop.hive.ql.stats.ClientStatsPublisher接口;

          hive.client.stats.counters:沒什么用~~~

          hive.security.authorization.enabled:hive客戶端是否認(rèn)證,默認(rèn)是false;

          hive.security.authorization.manager:hive客戶端認(rèn)證的管理類,默認(rèn)是org.apache.hadoop.hive.ql.security.authorization.DefaultHiveAuthorizationProvider;用戶定義的要實(shí)現(xiàn)org.apache.hadoop.hive.ql.security.authorization.HiveAuthorizationProvider;

          hive.security.authenticator.manager:hive客戶端授權(quán)的管理類,默認(rèn)是org.apache.hadoop.hive.ql.security.HadoopDefaultAuthenticator;用戶定義的需要實(shí)現(xiàn)org.apache.hadoop.hive.ql.security.HiveAuthenticatorProvider;

          hive.security.authorization.createtable.user.grants:當(dāng)表創(chuàng)建時(shí)自動(dòng)授權(quán)給用戶,默認(rèn)是空;

          hive.security.authorization.createtable.group.grants:同上,自動(dòng)授權(quán)給組,默認(rèn)是空;

          hive.security.authorization.createtable.role.grants:同上,自動(dòng)授權(quán)給角色,默認(rèn)是空;

          hive.security.authorization.createtable.owner.grants:同上,自動(dòng)授權(quán)給owner,默認(rèn)是空;

          hive.security.metastore.authorization.manager:metastore的認(rèn)證管理類,默認(rèn)是org.apache.hadoop.hive.ql.security.authorization.DefaultHiveMetastoreAuthorizationProvider;用戶定義的必須實(shí)現(xiàn)org.apache.hadoop.hive.ql.security.authorization.HiveMetastoreAuthorizationProvider接口;接口參數(shù)要包含org.apache.hadoop.hive.ql.security.authorization.StorageBasedAuthorizationProvider接口;使用HDFS的權(quán)限控制認(rèn)證而不是hive的基于grant的方式;

          hive.security.metastore.authenticator.manager:metastore端的授權(quán)管理類,默認(rèn)是org.apache.hadoop.hive.ql.security.HadoopDefaultMetastoreAuthenticator,自定義的必須實(shí)現(xiàn)org.apache.hadoop.hive.ql.security.HiveAuthenticatorProvider接口;

          hive.metastore.pre.event.listeners:在metastore做數(shù)據(jù)庫任何操作前執(zhí)行的事件監(jiān)聽類列表;

          posted on 2013-10-26 19:35 changedi 閱讀(6113) 評(píng)論(1)  編輯  收藏 所屬分類: 數(shù)據(jù)

          評(píng)論

          # re: Hive配置項(xiàng)的含義詳解(6) 2013-10-27 13:22 鵬達(dá)鎖業(yè)

          不是很明白  回復(fù)  更多評(píng)論   

          主站蜘蛛池模板: 阳江市| 长垣县| 郴州市| 桂阳县| 齐齐哈尔市| 汨罗市| 额济纳旗| 通许县| 巴彦淖尔市| 西丰县| 桃园市| 年辖:市辖区| 张家川| 卫辉市| 赫章县| 马公市| 嵊州市| 周宁县| 宁波市| 巴东县| 天峨县| 张家界市| 资中县| 苍山县| 大渡口区| 沾益县| 张家界市| 泰州市| 平顺县| 遵化市| 西青区| 湘潭市| 建阳市| 安西县| 疏附县| 宣城市| 雷山县| 铜山县| 南郑县| 松阳县| 宁南县|