Dust Of Dream

          知識真的是一個圓么?

          Ruby學(xué)習(xí)筆記一:安裝Ruby與Ruby的爬蟲應(yīng)用

          最近終于空下來了,所以下個Ruby玩玩,安裝Ruby很簡單,去官網(wǎng)下載一個一鍵安裝包既可,linux下的安裝,大家Google下就有很多教程了.對于IDE網(wǎng)上說NetBeans支持得很完美,但是因為本人比較喜歡Eclipse,所以還是跟大家推薦EasyEclipse for Ruby and Rails,當(dāng)然你可以選擇只下RoR的插件而不弄個全新的Eclipse.
          以前一直在用Java寫爬蟲工具抓圖片,對HttpClient包裝,正則表達(dá)式處理那個是累啊,就算弄好了工具類,有時候一會又想不起來放哪兒,但Ruby對方面包裝的就很強大,短短幾十行代碼就搞定了這一切:
          頁面獲取和文件下載的方法.
          util.rb:

          require 'net/http'
          def query_url(url)
            
          return Net::HTTP.get(URI.parse(url));
          end

          def save_url(url
          ,dir,filename)
            filename 
          = url[url.rindex('/')+1, url.length-1if filename == nil || filename.empty?
            
          require 'open-uri'
            Dir
          .mkdir("#{dir}"if dir != nil && !dir.empty? && !FileTest.exist?(dir)
            
          open(url) do |fin|
              
          if true
              File
          .new("#{dir}#{filename}","wb").close
              
          open("#{dir}#{filename}","wb"do |fout|
                
          while buf = fin.read(1024do
                  fout
          .write buf
                  STDOUT
          .flush
                end
              end
              end
            end
          end

          抓取圖片的具體應(yīng)用:
          require "util"
          begin
            start_url 
          = 'http://list.mall.taobao.com/1424/g-d-----40-0--1424.htm'
            
          while start_url != nil && !start_url.empty? do
              
          print "開始下載#{start_url}\n"
              content 
          = query_url(start_url)
              next_page 
          = content.scan(/ <a href="(.*?)" class="next-page"><span>下一頁<\/span><\/a>/)
              next_url 
          = nil
              next_url 
          = next_page[0][0if  next_page != nil && next_page.length > 0 && next_page[0].length > 0

              imgs 
          = content.scan(/<img src="(http:\/\/img[\d].*?)" \/>/)
              
          for img in imgs
                url 
          = img[0];
                save_url(url
          ,"d:\\mall\\",nil)
              end

              start_url 
          = next_url;
              
          #    break;
            end

          end
          使用一天之后感覺ruby的語法很自然,很好理解,上手比較容易,而且相關(guān)包封裝的也很好,確實比較適合拿來玩玩小程序.

          posted on 2008-10-15 10:11 Anemone 閱讀(2004) 評論(0)  編輯  收藏 所屬分類: RUBY學(xué)習(xí)

          My Links

          Blog Stats

          News

          常用鏈接

          留言簿(1)

          隨筆分類

          隨筆檔案

          新聞檔案

          相冊

          常去網(wǎng)站

          搜索

          積分與排名

          最新評論

          閱讀排行榜

          評論排行榜

          主站蜘蛛池模板: 特克斯县| 湖口县| 岳池县| 阳曲县| 江城| 黄梅县| 易门县| 石家庄市| 茌平县| 乐业县| 红河县| 庄河市| 日喀则市| 新疆| 正蓝旗| 迭部县| 巴南区| 迁西县| 阆中市| 西盟| 资溪县| 城步| 马鞍山市| 额敏县| 孙吴县| 定安县| 沈阳市| 内乡县| 昭平县| 金堂县| 武鸣县| 疏勒县| 石景山区| 松原市| 体育| 韩城市| 邹平县| 法库县| 墨玉县| 大姚县| 安阳市|