The NoteBook of EricKong

            BlogJava :: 首頁 :: 聯系 :: 聚合  :: 管理
            611 Posts :: 1 Stories :: 190 Comments :: 0 Trackbacks

          Hugepages是從Linux kernal 2.6后被引入的,其目的是使用更大的memory page size以適應越來越大的系統內存,使得oracle SGA這種大內存結構能分配到一個大塊(hugepagesize)連續的內存,提高效率.


          在Linux下,默認的page size大小為4k。默認的hugepagesize=2M。

          我們來看看兩者之間有什么區別

          1. Page Table大小(小page size 可以節省內存,但提高管理成本page table的規模很大)

          Page Table是用來存放虛擬內存也和物理內存頁對應關系的內存結構。因為page size較小,所以相應的改內存結構也會比較大。

          而Hugepages的常見page size為2M,是4k size的500倍,所以可以大大減小page table的size。

          我們來看兩個例子:

          這是一個沒有配置Hugepage的系統,系統內存128G,pagetable大小大約為4G。

          cat /proc/meminfo

          MemTotal: 132086880 kB
          PageTables: 4059612 kB

          這是配置了Hugepage的系統,系統內存96G, PageTable大小僅為78M

          MemTotal: 98999880 kB
          PageTables: 79916 kB

          2. 大大提高了CPU cache中存放的page table所覆蓋的內存大小,從而提高了TLB命中率

          進程的虛擬內存地址段先連接到page tables然后再連接到物理內存。所以在訪問內存時需要先訪問page tables得到虛擬內存和物理內存的映射關系,然后再訪問物理內存。

          CPU cache中有一部分TLB(Translation Lookaside Buffer)用來存放部分page table以提高這種裝換的速度。因為page size變大了,所以同樣大小的TLB,所覆蓋的內存大小也變大了。提高了TBL命中率,也就是提高了地址轉換的速度。

          3. 使用Hugepages的內存頁是不會被交換出去的,永遠常駐在內存中,所以也減少了內存也替換的額外開銷

          下面再說說在數據庫服務器上使用Hugepages要注意的幾點

          1. Hugepages是在分配后就會預留出來的,其大小一定要比服務器上所有實例的SGA總和要大,差一點都不行。

          比如說Hugepages設置為90G,oracle SGA為91G,那么oracle在啟動的時候就不會使用到這90G的Hugepages。這90G就浪費了。所以在設置Hugepages時要計算SGA的大小,后面會給出一個腳本來計算。

          2. 其他進程無法使用Hugepages的內存,所以不要設置太大,稍稍比SGA大一點保證SGA可以使用到hugepages就好了。

          3. PGA不會使用Hugepages的內存。所以11g的AMM (Automatic Memory Management,memory_target參數)是不被支持的。而ASMM(Automatic Shared Memory Management, SGA_target參數)是被支持的,這兩個不要搞混淆了。

          4. 在meminfo中和Hugepage相關的有四項(RHEL5)

          HugePages_Total: 43000
          HugePages_Free: 29493
          HugePages_Rsvd: 23550
          Hugepagesize: 2048 kB

          HugePages_Total為所分配的頁面數目,和Hugepagesize相乘后得到所分配的內存大小。43000*2/1024大約為84GB
          HugePages_Free為從來沒有被使用過的Hugepages數目。即使oracle sga已經分配了這部分內存,但是如果沒有實際寫入,那么看到的還是Free的。這是很容易誤解的地方
          HugePages_Rsvd為已經被分配預留但是還沒有使用的page數目。在Oracle剛剛啟動時,大部分內存應該都是Reserved并且Free的,隨著oracle SGA的使用,Reserved和Free都會不斷的降低

          HugePages_Free – HugePages_Rsvd 這部分是沒有被使用到的內存,如果沒有其他的oracle instance,這部分內存也許永遠都不會被使用到,也就是被浪費了。在該系統上有11.5GB的內存被浪費了。

          Note: RHEL4上的meminfo有所區別,沒有HugePages_Rsvd這一項,并且當oracle instance啟動時,所分配的內存就從free list上被移除掉了。也就是啟動后HugePages_Free就是沒有被SGA用到被浪費的內存。

          最后說說如何設置HugePages:

          1. 首先計算SGA大小已決定你要使用多少HugePages內存頁。

          你可以手工計算,如果使用了ASMM可以用SGA_Target/Hugepagesize,否則可以將 db_cache_size,large_pool_size, shared_pool_size,jave_pool_size, streams_pool_size五個部分加起來除以Hugepagesize。

          或者可以先將oracle instance都起起來,然后ipcs -m查看共享內存段大小來計算。oracle在401749.1中也提供了一個腳本來幫助計算,腳本如下:

          #!/bin/bash
          #
          # hugepages_settings.sh
          #
          # Linux bash script to compute values for the
          # recommended HugePages/HugeTLB configuration
          #
          # Note: This script does calculation for all shared memory
          # segments available when the script is run, no matter it
          # is an Oracle RDBMS shared memory segment or not.
          #
          # This script is provided by Doc ID 401749.1 from My Oracle Support
          # http://support.oracle.com

          # Welcome text
          echo "
          This script is provided by Doc ID 401749.1 from My Oracle Support
          (http://support.oracle.com) where it is intended to compute values for
          the recommended HugePages/HugeTLB configuration for the current shared
          memory segments. Before proceeding with the execution please make sure
          that:
           * Oracle Database instance(s) are up and running
           * Oracle Database 11g Automatic Memory Management (AMM) is not setup
             (See Doc ID 749851.1)
           * The shared memory segments can be listed by command:
               # ipcs -m

          Press Enter to proceed..."

          read

          # Check for the kernel version
          KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'`

          # Find out the HugePage size
          HPG_SZ=`grep Hugepagesize /proc/meminfo | awk '{print $2}'`

          # Initialize the counter
          NUM_PG=0

          # Cumulative number of pages required to handle the running shared memory segments
          for SEG_BYTES in `ipcs -m | awk '{print $5}' | grep "[0-9][0-9]*"`
          do
             MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q`
             if [ $MIN_PG -gt 0 ]; then
                NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q`
             fi
          done

          RES_BYTES=`echo "$NUM_PG * $HPG_SZ * 1024" | bc -q`

          # An SGA less than 100MB does not make sense
          # Bail out if that is the case
          if [ $RES_BYTES -lt 100000000 ]; then
             echo "***********"
             echo "** ERROR **"
             echo "***********"
             echo "Sorry! There are not enough total of shared memory segments allocated for
          HugePages configuration. HugePages can only be used for shared memory segments
          that you can list by command:

             # ipcs -m

          of a size that can match an Oracle Database SGA. Please make sure that:
           * Oracle Database instance is up and running
           * Oracle Database 11g Automatic Memory Management (AMM) is not configured"
             exit 1
          fi

          # Finish with results
          case $KERN in
             '2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`;
                    echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;
             '2.6') echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;
              *) echo "Unrecognized kernel version $KERN. Exiting." ;;
          esac

          # End

          2. 關閉所有oracle實例

          3. 用root設定oracle memlock limit,設置一個較大的數值或者unlimited

          在/etc/security/limits.conf最后添加
          oracle hard memlock unlimited
          oracle soft memlock unlimited

          4. 分配hugepages內存

          在/etc/sysctl.conf中添加

          vm.nr_hugepages = 46000 (step1′s value)

          執行sysctl -p使其生效。這時候內存就已經被分配了,可以查看meminfo

          grep Huge /proc/meminfo

          HugePages_Total為設定的值大小,HugePages_Free應該和HugePages_Total一樣大,HugePages_Rsvd為0.

          5. 啟動Oracle instance

          這時候再次查看meminfo

          HugePages_Total為設定的值大小不變,HugePages_Free有所降低,HugePages_Rsvd為一個較大的數值(因為剛剛啟動時,大部分SGA被分配但是沒有被使用到)。

          如果Hugepages沒有被使用,可能一些memory page被分配為4k大小了,那么需要重啟server來設置。

          從我們的測試結果看,Hugepages可以提高OLTP系統10%的吞吐量,當然不同的數據庫應用結果可能不同,但是總體來說這是一個nice to have的設置。

          posted on 2014-04-16 14:31 Eric_jiang 閱讀(317) 評論(0)  編輯  收藏 所屬分類: Linux
          主站蜘蛛池模板: 阿克苏市| 喀喇| 大足县| 富民县| 横山县| 翼城县| 拉孜县| 唐山市| 芜湖市| 绥芬河市| 彝良县| 天祝| 宁蒗| 堆龙德庆县| 苗栗市| 房产| 威远县| 嘉祥县| 苍山县| 栾川县| 镶黄旗| 应用必备| 边坝县| 吉安市| 星座| 鄢陵县| 通化县| 苍溪县| 嘉荫县| 南川市| 肇源县| 宣恩县| 高雄县| 海盐县| 凭祥市| 礼泉县| 南华县| 临沧市| 丘北县| 绵阳市| 竹山县|