Hugepages是從Linux kernal 2.6后被引入的,其目的是使用更大的memory page size以適應越來越大的系統內存,使得oracle SGA這種大內存結構能分配到一個大塊(hugepagesize)連續的內存,提高效率.
在Linux下,默認的page size大小為4k。默認的hugepagesize=2M。
我們來看看兩者之間有什么區別
1. Page Table大小(小page size 可以節省內存,但提高管理成本page table的規模很大)
Page Table是用來存放虛擬內存也和物理內存頁對應關系的內存結構。因為page size較小,所以相應的改內存結構也會比較大。
而Hugepages的常見page size為2M,是4k size的500倍,所以可以大大減小page table的size。
我們來看兩個例子:
這是一個沒有配置Hugepage的系統,系統內存128G,pagetable大小大約為4G。
cat /proc/meminfo
MemTotal: 132086880 kB
PageTables: 4059612 kB
這是配置了Hugepage的系統,系統內存96G, PageTable大小僅為78M
MemTotal: 98999880 kB
PageTables: 79916 kB
2. 大大提高了CPU cache中存放的page table所覆蓋的內存大小,從而提高了TLB命中率
進程的虛擬內存地址段先連接到page tables然后再連接到物理內存。所以在訪問內存時需要先訪問page tables得到虛擬內存和物理內存的映射關系,然后再訪問物理內存。
CPU cache中有一部分TLB(Translation Lookaside Buffer)用來存放部分page table以提高這種裝換的速度。因為page size變大了,所以同樣大小的TLB,所覆蓋的內存大小也變大了。提高了TBL命中率,也就是提高了地址轉換的速度。
3. 使用Hugepages的內存頁是不會被交換出去的,永遠常駐在內存中,所以也減少了內存也替換的額外開銷
下面再說說在數據庫服務器上使用Hugepages要注意的幾點
1. Hugepages是在分配后就會預留出來的,其大小一定要比服務器上所有實例的SGA總和要大,差一點都不行。
比如說Hugepages設置為90G,oracle SGA為91G,那么oracle在啟動的時候就不會使用到這90G的Hugepages。這90G就浪費了。所以在設置Hugepages時要計算SGA的大小,后面會給出一個腳本來計算。
2. 其他進程無法使用Hugepages的內存,所以不要設置太大,稍稍比SGA大一點保證SGA可以使用到hugepages就好了。
3. PGA不會使用Hugepages的內存。所以11g的AMM (Automatic Memory Management,memory_target參數)是不被支持的。而ASMM(Automatic Shared Memory Management, SGA_target參數)是被支持的,這兩個不要搞混淆了。
4. 在meminfo中和Hugepage相關的有四項(RHEL5)
HugePages_Total: 43000
HugePages_Free: 29493
HugePages_Rsvd: 23550
Hugepagesize: 2048 kB
HugePages_Total為所分配的頁面數目,和Hugepagesize相乘后得到所分配的內存大小。43000*2/1024大約為84GB
HugePages_Free為從來沒有被使用過的Hugepages數目。即使oracle sga已經分配了這部分內存,但是如果沒有實際寫入,那么看到的還是Free的。這是很容易誤解的地方
HugePages_Rsvd為已經被分配預留但是還沒有使用的page數目。在Oracle剛剛啟動時,大部分內存應該都是Reserved并且Free的,隨著oracle SGA的使用,Reserved和Free都會不斷的降低
HugePages_Free – HugePages_Rsvd 這部分是沒有被使用到的內存,如果沒有其他的oracle instance,這部分內存也許永遠都不會被使用到,也就是被浪費了。在該系統上有11.5GB的內存被浪費了。
Note: RHEL4上的meminfo有所區別,沒有HugePages_Rsvd這一項,并且當oracle instance啟動時,所分配的內存就從free list上被移除掉了。也就是啟動后HugePages_Free就是沒有被SGA用到被浪費的內存。
最后說說如何設置HugePages:
1. 首先計算SGA大小已決定你要使用多少HugePages內存頁。
你可以手工計算,如果使用了ASMM可以用SGA_Target/Hugepagesize,否則可以將 db_cache_size,large_pool_size, shared_pool_size,jave_pool_size, streams_pool_size五個部分加起來除以Hugepagesize。
或者可以先將oracle instance都起起來,然后ipcs -m查看共享內存段大小來計算。oracle在401749.1中也提供了一個腳本來幫助計算,腳本如下:
#
# hugepages_settings.sh
#
# Linux bash script to compute values for the
# recommended HugePages/HugeTLB configuration
#
# Note: This script does calculation for all shared memory
# segments available when the script is run, no matter it
# is an Oracle RDBMS shared memory segment or not.
#
# This script is provided by Doc ID 401749.1 from My Oracle Support
# http://support.oracle.com
# Welcome text
echo "
This script is provided by Doc ID 401749.1 from My Oracle Support
(http://support.oracle.com) where it is intended to compute values for
the recommended HugePages/HugeTLB configuration for the current shared
memory segments. Before proceeding with the execution please make sure
that:
* Oracle Database instance(s) are up and running
* Oracle Database 11g Automatic Memory Management (AMM) is not setup
(See Doc ID 749851.1)
* The shared memory segments can be listed by command:
# ipcs -m
Press Enter to proceed..."
read
# Check for the kernel version
KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'`
# Find out the HugePage size
HPG_SZ=`grep Hugepagesize /proc/meminfo | awk '{print $2}'`
# Initialize the counter
NUM_PG=0
# Cumulative number of pages required to handle the running shared memory segments
for SEG_BYTES in `ipcs -m | awk '{print $5}' | grep "[0-9][0-9]*"`
do
MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q`
if [ $MIN_PG -gt 0 ]; then
NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q`
fi
done
RES_BYTES=`echo "$NUM_PG * $HPG_SZ * 1024" | bc -q`
# An SGA less than 100MB does not make sense
# Bail out if that is the case
if [ $RES_BYTES -lt 100000000 ]; then
echo "***********"
echo "** ERROR **"
echo "***********"
echo "Sorry! There are not enough total of shared memory segments allocated for
HugePages configuration. HugePages can only be used for shared memory segments
that you can list by command:
# ipcs -m
of a size that can match an Oracle Database SGA. Please make sure that:
* Oracle Database instance is up and running
* Oracle Database 11g Automatic Memory Management (AMM) is not configured"
exit 1
fi
# Finish with results
case $KERN in
'2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`;
echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;
'2.6') echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;
*) echo "Unrecognized kernel version $KERN. Exiting." ;;
esac
# End
2. 關閉所有oracle實例
3. 用root設定oracle memlock limit,設置一個較大的數值或者unlimited
在/etc/security/limits.conf最后添加
oracle hard memlock unlimited
oracle soft memlock unlimited
4. 分配hugepages內存
在/etc/sysctl.conf中添加
vm.nr_hugepages = 46000 (step1′s value)
執行sysctl -p使其生效。這時候內存就已經被分配了,可以查看meminfo
grep Huge /proc/meminfo
HugePages_Total為設定的值大小,HugePages_Free應該和HugePages_Total一樣大,HugePages_Rsvd為0.
5. 啟動Oracle instance
這時候再次查看meminfo
HugePages_Total為設定的值大小不變,HugePages_Free有所降低,HugePages_Rsvd為一個較大的數值(因為剛剛啟動時,大部分SGA被分配但是沒有被使用到)。
如果Hugepages沒有被使用,可能一些memory page被分配為4k大小了,那么需要重啟server來設置。
從我們的測試結果看,Hugepages可以提高OLTP系統10%的吞吐量,當然不同的數據庫應用結果可能不同,但是總體來說這是一個nice to have的設置。