一 linux內(nèi)存管理以及內(nèi)存碎片產(chǎn)生原因

最底層使用伙伴算法管理內(nèi)存頁(yè)面。系統(tǒng)將所有空閑內(nèi)存頁(yè)面分10個(gè)組,每個(gè)組中的內(nèi)存塊大小依次是1,2,4……512個(gè)內(nèi)存頁(yè)面,每組中的內(nèi)存塊大小相
同,并且以鏈表結(jié)構(gòu)保存。大小相同,并且內(nèi)存地址連續(xù)的兩個(gè)內(nèi)存塊稱為伙伴。伙伴算法的中心思想就是將成為伙伴的空閑內(nèi)存合并成一個(gè)更大的內(nèi)存塊。
os中使用get_free_page獲取空閑頁(yè)面,如果找不到合適大小的空閑頁(yè)面,則從更大的組中找到空閑內(nèi)存塊,分配出去,并將剩余內(nèi)存分割,插入到
合適的組中。當(dāng)歸還內(nèi)存時(shí),啟動(dòng)伙伴算法合并空閑內(nèi)存。如果不停的申請(qǐng)內(nèi)存,并且部分歸還,但歸還的內(nèi)存不能成為伙伴,長(zhǎng)期運(yùn)行后,所有內(nèi)存將被分割成不
相鄰的小塊,當(dāng)再次申請(qǐng)大塊內(nèi)存時(shí),則可能由于找不到足夠大的連續(xù)內(nèi)存塊而失敗,這種零散的不相鄰的小塊內(nèi)存稱之為內(nèi)存碎片。當(dāng)然這只是理論上的說(shuō)明,伙
伴算法本身就是為了解決內(nèi)存碎片問(wèn)題。
二 malloc子系統(tǒng)內(nèi)存管理(dlmalloc)
應(yīng)用層面的開(kāi)發(fā)并不是直接調(diào)用sbrk/mmap之類的函數(shù),而是調(diào)用malloc/free等malloc子系統(tǒng)提供的函數(shù),linux上安裝的大多為
DougLea的dlmalloc或者其變形ptmalloc。下面以dlmalloc為例說(shuō)明malloc工作的原理。
1 dlmalloc下名詞解釋:
boundary tag: 邊界標(biāo)記,每個(gè)空閑內(nèi)存塊均有頭部表識(shí)和尾部標(biāo)識(shí),尾部表識(shí)的作為是合并空閑內(nèi)存塊時(shí)更快。這部分空間屬于無(wú)法被應(yīng)用層面使用浪費(fèi)的內(nèi)存空間。
smallbins: 小內(nèi)存箱。dlmalloc將8,16,24……512大小的內(nèi)存分箱,相臨箱子中的內(nèi)存相差8字節(jié)。每個(gè)箱子中的內(nèi)存大小均相同,并且以雙向鏈表連接。
treebins: 樹(shù)結(jié)構(gòu)箱。大于512字節(jié)的內(nèi)存不再是每8字節(jié)1箱,而是一個(gè)范圍段一箱。比如512~640, 640~896…..每個(gè)箱子的范圍段依次是128,256,512……。每箱中的結(jié)構(gòu)不再是雙向鏈表,而是樹(shù)形結(jié)構(gòu)。
dv chunk: 當(dāng)申請(qǐng)內(nèi)存而在對(duì)應(yīng)大小的箱中找不到大小合適的內(nèi)存,則從更大的箱中找一塊內(nèi)存,劃分出需要的內(nèi)存,剩余的內(nèi)存稱之為dv chunk.
top chunk: 當(dāng)dlmalloc中管理的內(nèi)存都找不到合適的內(nèi)存時(shí),則調(diào)用sbrk從系統(tǒng)申請(qǐng)內(nèi)存,可以增長(zhǎng)內(nèi)存方向的chunk稱為top chunk.
2 內(nèi)存分配算法
從合適的箱子中尋找內(nèi)存塊–>從相臨的箱子中尋找內(nèi)存塊–>從dv chunk分配內(nèi)存–>從其他可行的箱子中分配內(nèi)存–>從top chunk中分配內(nèi)存–>調(diào)用sbrk/mmap申請(qǐng)內(nèi)存
3 內(nèi)存釋放算法
臨近內(nèi)存合并–>如屬于top chunk,判斷top chunk>128k,是則歸還系統(tǒng)
–>不屬于chunk,則歸相應(yīng)的箱子
dlmalloc還有小內(nèi)存緩存等其他機(jī)制。可以看出經(jīng)過(guò)dlmalloc,頻繁調(diào)用malloc/free并不會(huì)產(chǎn)生內(nèi)存碎片,只要后續(xù)還有相同
的內(nèi)存大小的內(nèi)存被申請(qǐng),仍舊會(huì)使用以前的合適內(nèi)存,除非大量調(diào)用malloc之后少量釋放free,并且新的malloc又大于以前free的內(nèi)存大
小,造成dlmalloc不停的從系統(tǒng)申請(qǐng)內(nèi)存,而free掉的小內(nèi)存因被使用的內(nèi)存割斷,而使top
chunk<128k,不能歸還給系統(tǒng)。即便如此,占用的總內(nèi)存量也小于的確被使用的內(nèi)存量的2倍(使用的內(nèi)存和空閑的內(nèi)存交叉分割,并且空閑的內(nèi)
存總是小于使用的內(nèi)存大小)。因此可以說(shuō),在沒(méi)有內(nèi)存泄露的情況,常規(guī)頻繁調(diào)用malloc/free并不會(huì)產(chǎn)生內(nèi)存碎片。
posted on 2010-08-25 15:09
何克勤 閱讀(345)
評(píng)論(0) 編輯 收藏 所屬分類:
GNU Linux/Unix