隨筆-314  評論-209  文章-0  trackbacks-0
          關于mapreduce程序運行在yarn上時內存的分配一直是一個讓我蒙圈的事情,單獨查任何一個資料都不能很好的理解透徹。于是,最近查了大量的資料,綜合各種解釋,終于理解到了一個比較清晰的程度,在這里將理解的東西做一個簡單的記錄,以備忘卻。 首先,先將關于mapreduce和yarn關于內存分配的參數粘貼上: yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocation-mb yarn.nodemanager.resource.memory-mb yarn.nodemanager.vmem-pmem-ratio yarn.scheduler.increment-allocation-mb mapreduce.map.memory.mb mapreduce.reduce.memory.mb mapreduce.map.java.opts mapreduce.reduce.java.opts 個人認為,針對mapreduce任務,這些參數只有放在一起學習才能真正理解,如果單獨考慮,理解不清晰。下面開始詳細講解。 一、理解參數yarn.nodemanager.resource.memory-mb,yarn.nodemanager.vmem-pmem-ratio yarn.nodemanager.resource.memory-mb很簡單,就是你的這臺服務器節點上準備分給yarn的內存; yarn.nodemanager.vmem-pmem-ratio網上解釋都是"每使用1MB物理內存,最多可用的虛擬內存數,默認2.1",但是目前我還是不太理解其作用是什么,有知道的朋友希望能詳細解釋下。 二、理解參數yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb 都知道,在yarn上運行程序時每個task都是在獨立的Container中運行的,單個Container可以申請的最小和最大內存的限制就是這兩個參數,注意,并不是這兩個參數決定單個Container申請內存的大小,而僅僅是限制的一個范圍。 三、理解yarn的內存規整化因子和內存規整化算法 先不說和哪個參數有關,單純理解這一概念。舉例: 假如規整化因子b=512M,上述講的參數yarn.scheduler.minimum-allocation-mb為1024,yarn.scheduler.maximum-allocation-mb為8096,然后我打算給單個map任務申請內存資源(mapreduce.map.memory.mb): 申請的資源為a=1000M時,實際得到的Container內存大小為1024M(小于yarn.scheduler.minimum-allocation-mb的話自動設置為yarn.scheduler.minimum-allocation-mb); 申請的資源為a=1500M時,實際得到的Container內存大小為1536M,計算公式為:ceiling(a/b)*b,即ceiling(a/b)=ceiling(1500/512)=3,3*512=1536。此處假如b=1024,則Container實際內存大小為2048M 也就是說Container實際內存大小最小為yarn.scheduler.minimum-allocation-mb值,然后增加時的最小增加量為規整化因子b,最大不超過yarn.scheduler.maximum-allocation-mb 四、理解mapreduce.map.memory.mb、mapreduce.reduce.memory.mb "三"中提到的"打算給單個map任務申請內存資源"也就是a,其實就是指的"mapreduce.map.memory.mb"或"mapreduce.reduce.memory.mb",注意其值不要超過yarn.scheduler.maximum-allocation-mb 五、理解mapreduce.map.java.opts、mapreduce.reduce.java.opts 以map任務為例,Container其實就是在執行一個腳本文件,而腳本文件中,會執行一個 Java 的子進程,這個子進程就是真正的 Map Task,mapreduce.map.java.opts 其實就是啟動 JVM 虛擬機時,傳遞給虛擬機的啟動參數,而默認值 -Xmx200m 表示這個 Java 程序可以使用的最大堆內存數,一旦超過這個大小,JVM 就會拋出 Out of Memory 異常,并終止進程。而 mapreduce.map.memory.mb 設置的是 Container 的內存上限,這個參數由 NodeManager 讀取并進行控制,當 Container 的內存大小超過了這個參數值,NodeManager 會負責 kill 掉 Container。在后面分析 yarn.nodemanager.vmem-pmem-ratio 這個參數的時候,會講解 NodeManager 監控 Container 內存(包括虛擬內存和物理內存)及 kill 掉 Container 的過程。 也就是說,mapreduce.map.java.opts一定要小于mapreduce.map.memory.mb mapreduce.reduce.java.opts同mapreduce.map.java.opts一樣的道理。 六、理解規整化因子指的是哪個參數 "三"中提到的規整化因子也就是b,具體指的是哪個參數和yarn使用的調度器有關,一共有三種調度器:capacity scheduler(默認調度器)、fair scheduler和fifo scheduler 當使用capacity scheduler或者fifo scheduler時,規整化因子指的就是參數yarn.scheduler.minimum-allocation-mb,不能單獨配置,即yarn.scheduler.increment-allocation-mb無作用; 當使用fair scheduler時,規整化因子指的是參數yarn.scheduler.increment-allocation-mb 至此,關于yarn和mapreduce的任務內存配置問題講完了,這也是我目前理解的層次。
          posted on 2017-08-30 21:05 xzc 閱讀(309) 評論(0)  編輯  收藏 所屬分類: hadoop
          <2017年8月>
          303112345
          6789101112
          13141516171819
          20212223242526
          272829303112
          3456789

          常用鏈接

          留言簿(12)

          隨筆分類

          隨筆檔案

          收藏夾

          搜索

          •  

          最新評論

          閱讀排行榜

          評論排行榜

          主站蜘蛛池模板: 炉霍县| 温州市| 云龙县| 山丹县| 湘潭县| 元阳县| 扎囊县| 巴南区| 临泽县| 剑川县| 新丰县| 当阳市| 泉州市| 长宁区| 四平市| 拜城县| 丹巴县| 铜鼓县| 怀来县| 会泽县| 四平市| 彭州市| 印江| 上犹县| 平昌县| 大洼县| 湖口县| 德令哈市| 乌海市| 桂平市| 平果县| 南华县| 长白| 凤山市| 班戈县| 鲁甸县| 内乡县| 汉川市| 讷河市| 措美县| 邓州市|