by lostfire
這兩天準備做一些網(wǎng)站編程的工作,于是對HtmlParse小研究了一下,目的是快速入手,而不是深入研究,做了一下整理,和大家共同討論一下。
這兩天準備做一些網(wǎng)站編程的工作,于是對HtmlParse小研究了一下,目的是快速入手,而不是深入研究,做了一下整理,和大家共同討論一下。
?
一,數(shù)據(jù)組織分析:
HtmlParser主要靠Node、AbstractNode和
- Node是形成樹結(jié)構(gòu)表示HTML的基礎(chǔ),所有的數(shù)據(jù)表示都是接口
Node的實現(xiàn),Node定義了與頁面樹結(jié)構(gòu)所表達的頁面Page 對象,定義了獲取父、子、兄弟節(jié)點的方法,定義了節(jié)點到對應(yīng)htm l文本的方法,定義了該節(jié)點對應(yīng)的起止位置,定義了過濾方法 ,定義了Visitor訪問機制。 - AbstractNode是Node的一種具體的類實現(xiàn)
,起到構(gòu)成樹形結(jié)構(gòu)的作用,除了同具體Node相關(guān)的accetp 方法,toString,toHtml,toPlainTextS tring方法以外,AbstractNode實現(xiàn)了大多基本的方 法,使得它的子類,不用理會具體的樹操作。 - Tag是具體分析的主要內(nèi)容。Tag分成composite的Ta
g和不能包含其他Tag的簡單Tag兩類,其中前者的基類是Compo siteTag,其子類包含BodyTag,Div ,FrameSetTag,OptionTag,等27個子類 ;而簡單Tag有BaseHrefTag 、DoctypeTag,FrameTag,ImageTag ,InputTag,JspTag,MetaTag ,ProcessingInstructionTag這八類。
Node分成三類:
- RemarkNode:代表Html中的注釋
- TagNode:標簽節(jié)點,是種類最多的節(jié)點類型,上述Tag的具體節(jié)點類都是TagNode的實現(xiàn)。
- TextNode:文本節(jié)點
?
二,Visitor方式訪問Html:
?
1,整體解析過程
- 用一個URL或頁面String做一個Parser
- 用這個Parser做一個Visitor
- 使用Parser.visitAllNodeWith(Visitor)來遍歷節(jié)點
- 獲取Visitor遍歷后得到的數(shù)據(jù)
2,Visit過程
- 做解析之前做的事情:visitor.beginParsing
(); - 每次取到一個節(jié)點Node,讓該Node接受accept該Vis
itor - 做解析后做的事情:visitor.finishedParsin
g();
3,獲取節(jié)點的過程:逐步遍歷Html,分析出Node。此部分較為復(fù)雜,且對于我們應(yīng)用來說無需很多了解,暫跳過。
?
4,節(jié)點訪問
節(jié)點訪問采用Visitor模式,Node的accept方法和具體Visitor的visit方法是關(guān)鍵。
首先三類Node來accept的方式各不相同:
- 對于所有TagNode都使用一個accept方法
,即TagNode的accept方法。首先判斷是否是標簽結(jié)尾 ,如果是就visitor.visitEndTag (this);否則visitor.visitTag (this); - 如果是TextNode,那就visitor.visitStri
ngNode (this);就可以了。 - 如果是RemarkNode,那就visitor
.visitRemarkNode (this);就可以了。
實際上NodeVisitor里邊這四種visit方法都是空的
系統(tǒng)為我們實現(xiàn)了下面我要介紹的8種Visitor,實際上可以看作是系統(tǒng)給我們演示了如何做各種各樣的Visitor來訪問Html,因為實際上我們要真正來用HtmlParser的話,還需要特定的Visitor,而通過簡單的這些系統(tǒng)提供的Visitor組合是難以做成什么事情的。
?
三,系統(tǒng)Visitor功能簡介:
- ObjectFindingVisitor:用來找出所有指定類型
的節(jié)點,采用getTags()來獲取結(jié)果。 - StringBean:用來從一個指定的URL獲取移除了
<SCRIPT></SCRIPT>和<PRE></PRE >之間代碼的Html代碼,也可以用做Visitor ,用來移除這兩種標簽內(nèi)部的代碼,采用StringBean .getStrings()來獲取結(jié)果。 - HtmlPage:提取Title,body中的節(jié)點和頁面中的T
ableTag節(jié)點。 - LinkFindingVisitor:找出節(jié)點中包含某個鏈接的
總個數(shù)。 - StringFindingVisitor:找出遍歷的TextN
ode中含有指定字符串的個數(shù)。 - TagFindingVisitor:找出指定Tag的所有節(jié)點
,可以指定多種類型。 - TextExtractingVisitor:從網(wǎng)頁中把所有標簽
去掉來提取文本,這個提取文本的Visitor有時是很實用的 ,只是注意在提取文本時將標簽的屬性也去掉了,也就是說只剩下標簽 之間的文本,例如<a>中的鏈接也去掉了。 - UrlModifyingVisitor:用來修改網(wǎng)頁中的鏈接。
四,F(xiàn)ilter
?
如果說visitor是遍歷提取信息,當然這個信息可以包括某些節(jié)點或者從節(jié)點分析出來的更有效的信息,這都取決于我們的Visitor做成什么樣子,那么Filter則目標很明確,就是用來提取節(jié)點的。所以說要想用HtmlParser,首先要熟悉上面講到的數(shù)據(jù)組織。
?
系統(tǒng)定義了17種具體的Filter,包括依據(jù)節(jié)點父子關(guān)系的Filter,連接Filter組合的Filter,依據(jù)網(wǎng)頁內(nèi)容匹配情況的filter,等等。我們也可以implement Filter來做自己的Filter來提取節(jié)點。
?
Filter的調(diào)用是同Visitor獨立的,因為也無需先filter出一些NodeList,再用Visitor來訪問。調(diào)用Filter的方法是:
NodeList nodeList = myParser.parse(someFilter);
解析之后,我們可以采用:
Node[] nodes = nodeList.toNodeArray();
來獲取節(jié)點數(shù)組,也可以直接訪問:
Node node = nodeList.elementAt(i)來獲取Node。
?
另外,在Filter后得到NodeList以后,我們?nèi)匀豢梢允褂肗odeList的extractAllNodesThatMatch(someFilter)來進一步過濾,同時又可以用NodeList的isitAllNodesWith(someVisitor)來做進一步的訪問。
這樣,我們可以看到HtmlParser為我們提供了非常方便的Html解析方式,針對不同的應(yīng)用可以采用visitor來遍歷Html節(jié)點提取數(shù)據(jù),也可以用Filter來過濾節(jié)點,提取出我們所關(guān)注的節(jié)點,再對節(jié)點進行處理。通過這樣的組合,一定能夠找出我們所需要的信息。
?
參考: