發(fā)現(xiàn)一個(gè)很不錯(cuò)的模擬瀏覽器包htmlunit，它可以直接執(zhí)行訪(fǎng)問(wèn)網(wǎng)站地址，并執(zhí)行相應(yīng)的JavaScript腳本；這個(gè)功能對(duì)于網(wǎng)站爬蟲(chóng)有很大的幫助，一些網(wǎng)站使用了ajax，如果使用簡(jiǎn)單的http訪(fǎng)問(wèn)只能抓到原始的html源碼，但對(duì)于頁(yè)面內(nèi)執(zhí)行的ajax卻無(wú)法獲取；使用這個(gè)包后，可以將執(zhí)行ajax后的html源碼一并抓取下來(lái)。
網(wǎng)站地址：http://htmlunit.sourceforge.net/
該站點(diǎn)下邊還提到了幾個(gè)相類(lèi)似的包：HtmlUnit is used as the underlying "browser" by different Open Source tools like
Canoo WebTest,
JWebUnit,
WebDriver,
JSFUnit,
Celerity, ...
canoo WebTest 看了一下，沒(méi)太明白是怎么用的，沒(méi)想太深入了解
jwebunit 是用來(lái)做網(wǎng)站測(cè)試用的，它整合了JUnit，htmlunit，selenium 包框架；其主要功能是用做白盒測(cè)試和壓力測(cè)試。
webDriver 后來(lái)改名為selenium，它整合了htmlunit，火狐瀏覽器，IE瀏覽器，opare瀏覽器驅(qū)動(dòng)。如果使用htmlunitDriver，則是使用htmlunit包來(lái)訪(fǎng)問(wèn)站點(diǎn)；如果使用FirefoxDriver則會(huì)直接將Firefox瀏覽器調(diào)出來(lái)，然后在瀏覽器上模擬輸入文字和其他鼠標(biāo)鍵盤(pán)事件。
htmlunit包訪(fǎng)問(wèn)網(wǎng)站后，獲取到html源碼后可以對(duì)源碼進(jìn)行修改；而jwebunit，selenium則暫時(shí)沒(méi)有發(fā)現(xiàn)修改的功能，只是用來(lái)做模擬用戶(hù)操作的功能。
posted on 2012-01-12 14:11
SIMONE 閱讀(12625)
評(píng)論(2) 編輯 收藏 所屬分類(lèi):
JAVA