莊周夢蝶

          生活、程序、未來
             :: 首頁 ::  ::  :: 聚合  :: 管理

          抽取網頁數據的不同思路

          Posted on 2007-11-22 12:35 dennis 閱讀(1157) 評論(1)  編輯  收藏 所屬分類: javamy open-source
              客戶要求從Internet上的網頁上抽取一定的數據,用來顯示或者其他用戶,這個需求很常見。這兩天我們也遇到了這個需求,本來我一開始想是試用正則表達式去匹配需要的文本數據,后來經驗豐富的經理給出了一個更好的思路,就是使用jtidy將不符合xhtml的HTML文件轉化成標準的xhtml文件——本質上就是XML文件,然后利用xsl抽取并轉換成我們所需要的數據的一定格式的xml文件。這樣做其實就是將XSL模板當正則表達式來用,不過更清晰,當網頁改變時也不需要重新編譯代碼,僅僅修改XSL模板就夠了。過程如下:
               html->xhtml--xsl-->數據xml

              做的過程中,初次使用了xsl,xpath等技術,網上找了不少好資料,共享下:
          jtidy: 

          思路來源
          http://www.ibm.com/developerworks/cn/xml/x-wbdm/

          項目地址
          http://jtidy.sourceforge.net/

          參考,解決中文問題使用
          http://www.aygfsteel.com/jhengfei/archive/2006/03/25/37312.html

          xsl,非常系統教程和實踐:

          http://www.cnblogs.com/goody9807/category/36016.html

          xpath:

          http://www.yesky.com/201/171201.shtml



          評論

          # re: 抽取網頁數據的不同思路  回復  更多評論   

          2009-08-29 16:45 by Fuller
          在我的gooseeker網站上有關于使用XSLT抽取網頁內容的很多資料,我開發的網頁抓取/數據抽取軟件工具包MetaSeeker就是在客戶端用XSLT抽取網頁內容的,軟件可下載
          主站蜘蛛池模板: 菏泽市| 莲花县| 远安县| 固始县| 龙井市| 南漳县| 南澳县| 浮梁县| 沙雅县| 湘阴县| 潢川县| 望都县| 海口市| 浮山县| 纳雍县| 福鼎市| 彩票| 安阳市| 泾源县| 浮梁县| 会同县| 清徐县| 菏泽市| 忻城县| 台湾省| 达拉特旗| 田阳县| 龙里县| 潼南县| 礼泉县| 平利县| 汶川县| 盈江县| 郧西县| 咸宁市| 莱阳市| 察哈| 安塞县| 东阳市| 西丰县| 马尔康县|