這里我們以采集普通文章為例,我們選擇普通文章,然后確定
我們進入了采集的設置頁面,填寫節點名稱,就是給這個新節點取個名字,這里你可以任意填寫。
然后打開你想要采集的文章列表頁,這里我們以織夢官網為例http://www.dedecms.com/web-manage/jianzhanxinde/
找到目標頁面編碼,就在charset后面
頁面基本信息其他的一般就不用管了,填完了如圖
現在我們來填寫列表網址獲取規則
看看文章列表第一頁的地址http://www.dedecms.com/web-manage/jianzhanxinde/list_49_1.html
對比第二頁的地址http://www.dedecms.com/web-manage/jianzhanxinde/list_49_2.html
我們發現了他們除了49_后面的數字不一樣,其他的都一樣,所以我們可以這樣寫
http://www.dedecms.com/web-manage/jianzhanxinde/list_49_(*).html
就是把1換成了(*)
可能大家采集的有些列表沒有規則,那就只有手工指定列表網址了,如圖
每行寫一個頁面地址
列表規則寫完了,我們就開始寫文章網址匹配規則了,回到文章列表頁
右鍵查看源文件
我們很容易的找到了如圖中的“新聞列表”
就是這個了,一個很容易找到的標志
如果鏈接中含有圖片: |
不處理 采集為縮略圖 |
對區域網址進行再次篩選: (使用正則表達式) |
必須包含: (優先級高于后者) |
不能包含: |
打開源文件,我們可以很清楚的看到,文章鏈接都是以.html結束的
所以,我們在必須包含后面填.html
我們點擊保存設置進入下一步,可以看到我們獲得的文章網址
看到這些就是對的了,我們保存信息進入下一步設置內容字段獲取規則
我們看看文章有沒有分頁,隨便進入一篇文章看看。。我們看到這里的文章沒有分頁
我們現在來找文章標題等等
我們再來填寫文章內容的開始,結束
和上面的一樣,找到開始和結束標志
你想過濾文章中的什么內容就到過濾規則里寫吧,比如要過濾文章中的圖片
這樣我們就把正文中的圖片過濾了
設置完畢后點保存設置并預覽
這樣一個采集規則就寫好了,很簡單吧有些網站很難寫,可要多下點功夫了哦
我們點保存并開始采集——開始采集網頁
完成了,更新一下文檔吧,可以看到采集到了文章咯
www.kuangtao.net 狂淘購物網