2009年11月5日

用正則表達式取出去除html頁面中的tags

這個就比較簡單了，正則式是 “<[^>]*>”，其表意為“以<開頭的，后續(xù)任意個不為>的字符，并以>結尾的字符串”
這樣做的目的是為了獲得所謂plain的文本，方便下一步的處理。

代碼如下：

1    /** *//**
2     * Remove all "<>" tags in the text
3     * @param tagText
4     * @return the clean text without tags
5     */
6    public String removeTags( String tagText )
7    {
8        return tagText.replaceAll("<[^>]*>", "");
9    }

posted @ 2009-11-06 22:19 甜菜侯爵 閱讀(201) | 評論 (0) | 編輯 收藏

用正則表達式提取網頁中的鏈接

個人感覺效率肯定還能進一步提高。。。。
不過實在是對正則不是太熟悉，只好暫時這樣了。

代碼如下：

 1    /** *//** The regex for search link with the tag "a" */
 2    private final String A_REGEX = "<a.*?/a>";
 3    /** *//** The regex for search url with the tag "href" */
 4    private final String HREF_REGEX = "href=\".*?\"";
 5    /** *//** The pattern for linke with the tag "a" */
 6    private final Pattern A_PATTERN = Pattern.compile(A_REGEX);
 7    /** *//** The pattern for url with the tag "href" */
 8    private final Pattern HREF_PATTERN = Pattern.compile(HREF_REGEX);
 9    /** *//**
10     * Get url address from the url and the content of the url
11     * @param url the url need to be get links
12     * @param content the content of the given url
13     * @return a list with the url address of the links
14     */
15    public List<String> getLinkList( URL url, String content )
16    {
17        List<String> linkList = new LinkedList<String>();
18        final Matcher a_matcher = A_PATTERN.matcher(content);
19        while (a_matcher.find()) 
20        {
21            //JUST FOR TEST!
22//            System.out.println(a_matcher.group());
23            //get url address
24            final Matcher myurl = HREF_PATTERN.matcher(a_matcher.group());
25            while (myurl.find())
26            {
27                String urlAddress = myurl.group().replaceAll("href=|>|\"|\"", "");
28                if( urlAddress.startsWith("http") )
29                {
30                    linkList.add(urlAddress);
31                }
32                else if( urlAddress.startsWith("/") || urlAddress.startsWith("\\") )
33                {
34                    linkList.add(url.getPath()+urlAddress);
35                }
36                else
37                {
38                    String fullUrl = url.toString();
39                    //the length of the url without the current page
40                    int lastSlash = fullUrl.lastIndexOf("/") + 1;
41                    linkList.add(fullUrl.substring(0,lastSlash) + urlAddress);
42                }
43            }
44        }
45        return linkList;
46    }

posted @ 2009-11-05 03:00 甜菜侯爵 閱讀(455) | 評論 (0) | 編輯 收藏

Powered by:
BlogJava
Copyright © 甜菜侯爵

導航

• BlogJava
• 首頁
• 新隨筆
• 聯系
• 聚合
• 管理

統計

• 隨筆 - 5
• 文章 - 0
• 評論 - 3
• 引用 - 0

常用鏈接

• 我的隨筆
• 我的評論
• 我的參與
• 最新評論

留言簿

• 給我留言
• 查看公開留言
• 查看私人留言

隨筆檔案

• 2009年11月 (4)
• 2009年10月 (1)

搜索

最新評論

閱讀排行榜

評論排行榜