莊周夢蝶

          生活、程序、未來
             :: 首頁 ::  ::  :: 聚合  :: 管理

          抽取網頁數據的不同思路

          Posted on 2007-11-22 12:35 dennis 閱讀(1157) 評論(1)  編輯  收藏 所屬分類: javamy open-source
              客戶要求從Internet上的網頁上抽取一定的數據,用來顯示或者其他用戶,這個需求很常見。這兩天我們也遇到了這個需求,本來我一開始想是試用正則表達式去匹配需要的文本數據,后來經驗豐富的經理給出了一個更好的思路,就是使用jtidy將不符合xhtml的HTML文件轉化成標準的xhtml文件——本質上就是XML文件,然后利用xsl抽取并轉換成我們所需要的數據的一定格式的xml文件。這樣做其實就是將XSL模板當正則表達式來用,不過更清晰,當網頁改變時也不需要重新編譯代碼,僅僅修改XSL模板就夠了。過程如下:
               html->xhtml--xsl-->數據xml

              做的過程中,初次使用了xsl,xpath等技術,網上找了不少好資料,共享下:
          jtidy: 

          思路來源
          http://www.ibm.com/developerworks/cn/xml/x-wbdm/

          項目地址
          http://jtidy.sourceforge.net/

          參考,解決中文問題使用
          http://www.aygfsteel.com/jhengfei/archive/2006/03/25/37312.html

          xsl,非常系統教程和實踐:

          http://www.cnblogs.com/goody9807/category/36016.html

          xpath:

          http://www.yesky.com/201/171201.shtml



          評論

          # re: 抽取網頁數據的不同思路  回復  更多評論   

          2009-08-29 16:45 by Fuller
          在我的gooseeker網站上有關于使用XSLT抽取網頁內容的很多資料,我開發的網頁抓取/數據抽取軟件工具包MetaSeeker就是在客戶端用XSLT抽取網頁內容的,軟件可下載
          主站蜘蛛池模板: 土默特左旗| 前郭尔| 麟游县| 法库县| 罗江县| 禄劝| 洱源县| 陕西省| 瑞金市| 本溪市| 崇信县| 汝南县| 保定市| 博罗县| 辽中县| 南阳市| 石嘴山市| 张家界市| 西乌珠穆沁旗| 雅江县| 郯城县| 凤山县| 壶关县| 尚志市| 重庆市| 玛多县| 西藏| 孝义市| 盖州市| 淮南市| 徐州市| 慈溪市| 五原县| 夏河县| 昭苏县| 綦江县| 上饶县| 永年县| 新蔡县| 汾阳市| 东源县|