發(fā)現(xiàn)一個很不錯的模擬瀏覽器包htmlunit，它可以直接執(zhí)行訪問網(wǎng)站地址，并執(zhí)行相應(yīng)的JavaScript腳本；這個功能對于網(wǎng)站爬蟲有很大的幫助，一些網(wǎng)站使用了ajax，如果使用簡單的http訪問只能抓到原始的html源碼，但對于頁面內(nèi)執(zhí)行的ajax卻無法獲取；使用這個包后，可以將執(zhí)行ajax后的html源碼一并抓取下來。
網(wǎng)站地址：http://htmlunit.sourceforge.net/
該站點下邊還提到了幾個相類似的包：HtmlUnit is used as the underlying "browser" by different Open Source tools like
Canoo WebTest,
JWebUnit,
WebDriver,
JSFUnit,
Celerity, ...
canoo WebTest 看了一下，沒太明白是怎么用的，沒想太深入了解
jwebunit 是用來做網(wǎng)站測試用的，它整合了JUnit，htmlunit，selenium 包框架；其主要功能是用做白盒測試和壓力測試。
webDriver 后來改名為selenium，它整合了htmlunit，火狐瀏覽器，IE瀏覽器，opare瀏覽器驅(qū)動。如果使用htmlunitDriver，則是使用htmlunit包來訪問站點；如果使用FirefoxDriver則會直接將Firefox瀏覽器調(diào)出來，然后在瀏覽器上模擬輸入文字和其他鼠標(biāo)鍵盤事件。
htmlunit包訪問網(wǎng)站后，獲取到html源碼后可以對源碼進(jìn)行修改；而jwebunit，selenium則暫時沒有發(fā)現(xiàn)修改的功能，只是用來做模擬用戶操作的功能。
posted on 2012-01-12 14:11
SIMONE 閱讀(12616)
評論(2) 編輯 收藏 所屬分類:
JAVA