posts - 495,comments - 227,trackbacks - 0
          發現一個很不錯的模擬瀏覽器包htmlunit,它可以直接執行訪問網站地址,并執行相應的JavaScript腳本;這個功能對于網站爬蟲有很大的幫助,一些網站使用了ajax,如果使用簡單的http訪問只能抓到原始的html源碼,但對于頁面內執行的ajax卻無法獲取;使用這個包后,可以將執行ajax后的html源碼一并抓取下來。
          網站地址:http://htmlunit.sourceforge.net/
          該站點下邊還提到了幾個相類似的包:HtmlUnit is used as the underlying "browser" by different Open Source tools like Canoo WebTest, JWebUnit, WebDriver, JSFUnit, Celerity, ...


          canoo WebTest 看了一下,沒太明白是怎么用的,沒想太深入了解
          jwebunit 是用來做網站測試用的,它整合了JUnit,htmlunit,selenium 包框架;其主要功能是用做白盒測試和壓力測試。
          webDriver 后來改名為selenium,它整合了htmlunit,火狐瀏覽器,IE瀏覽器,opare瀏覽器驅動。如果使用htmlunitDriver,則是使用htmlunit包來訪問站點;如果使用FirefoxDriver則會直接將Firefox瀏覽器調出來,然后在瀏覽器上模擬輸入文字和其他鼠標鍵盤事件。

          htmlunit包訪問網站后,獲取到html源碼后可以對源碼進行修改;而jwebunit,selenium則暫時沒有發現修改的功能,只是用來做模擬用戶操作的功能。
          posted on 2012-01-12 14:11 SIMONE 閱讀(12617) 評論(2)  編輯  收藏 所屬分類: JAVA

          FeedBack:
          # re: java模擬瀏覽器包htmlunit,selenium
          2012-04-20 14:26 | 33
          朋友你好我現在是HtmlUnit運用者,我現在在項目爬去中遇見一個非常棘手的問題,就是分頁數據怎樣爬取,我現在真的不明白了,朋友可以的話加我QQ452276647 這個問題解決了非常非常的感謝了!!!!!  回復  更多評論
            
          # re: java模擬瀏覽器包htmlunit,selenium
          2014-12-02 17:24 | 馬堯
          朋友,你在用這個java模擬瀏覽器包htmlunit嘛!!我怎么那個網址打不開,能不能發給我一個,急需!!!萬分感激!!!601202648@qq.com  回復  更多評論
            
          主站蜘蛛池模板: 稻城县| 樟树市| 鹤山市| 常德市| 政和县| 隆林| 奈曼旗| 宁海县| 临江市| 柘荣县| 潞城市| 常山县| 股票| 河源市| 沾化县| 承德县| 中西区| 于田县| 安乡县| 阳高县| 虞城县| 大宁县| 湘阴县| 宜君县| 荣成市| 南华县| 乌拉特中旗| 东宁县| 合阳县| 西乡县| 运城市| 平泉县| 庆云县| 兖州市| 新源县| 岗巴县| 团风县| 乌兰浩特市| 镇赉县| 文水县| 新竹市|