大漠駝鈴

          置身浩瀚的沙漠,方向最為重要,希望此blog能向大漠駝鈴一樣,給我方向和指引。
          Java,Php,Shell,Python,服務器運維,大數據,SEO, 網站開發、運維,云服務技術支持,IM服務供應商, FreeSwitch搭建,技術支持等. 技術討論QQ群:428622099
          隨筆 - 238, 文章 - 3, 評論 - 117, 引用 - 0
          數據加載中……

          Python Urllib2


          http://docs.python.org/library/urllib.html


          設置超時時間

               import socket

          import urllib2

          socket.setdefaulttimeout(seconds)

          open = urllib2.urlopen("

          過socket.setdefaulttimeout() 設置了全局默認超時時間,從而給urllibe2.urlopen()也設置了默認的超時時間





          抓取圖片(這個例子里的Request找不到,我一般只有urllib2)
          soup=urlllib2.open(url)

          # Let's create a function that downloads a file, and saves it locally.
          #
           This function accepts a file name, a read/write mode(binary or text),
          #
           and the base url.

          def stealStuff(file_name,file_mode,base_url):
              
          from urllib2 import Request, urlopen, URLError, HTTPError

              
          #create the url and the request
              url = base_url + file_name
              req 
          = Request(url)

              
          # Open the url
              try:
                  f 
          = urlopen(req)
                  
          print "downloading " + url

                  
          # Open our local file for writing
                  local_file = open(file_name, "w" + file_mode)
                  
          #Write to our local file
                  local_file.write(f.read())
                  local_file.close()

              
          #handle errors
              except HTTPError, e:
                  
          print "HTTP Error:",e.code , url
              
          except URLError, e:
                  
          print "URL Error:",e.reason , url

          # Set the range of images to 1-50.It says 51 because the
          #
           range function never gets to the endpoint.
          image_range = range(1,51)

          # Iterate over image range
          for index in image_range:

              base_url 
          = 'http://www.techniqal.com/'
              
          #create file name based on known pattern
              file_name =  str(index) + ".jpg"
              
          # Now download the image. If these were text files,
              # or other ascii types, just pass an empty string
              # for the second param ala stealStuff(file_name,'',base_url)
              stealStuff(file_name,"b",base_url)

          posted on 2011-03-04 16:02 草原上的駱駝 閱讀(1177) 評論(0)  編輯  收藏 所屬分類: Python

          主站蜘蛛池模板: 社旗县| 利辛县| 疏附县| 岳池县| 广安市| 无为县| 宁海县| 游戏| 黄浦区| 沅江市| 华池县| 菏泽市| 揭西县| 汉源县| 宣恩县| 怀集县| 临武县| 松原市| 伊春市| 松桃| 格尔木市| 固原市| 商城县| 乐都县| 聊城市| 卓资县| 六枝特区| 红安县| 洪雅县| 新昌县| 米脂县| 榆树市| 福泉市| 宁城县| 长葛市| 长沙市| 西华县| 冷水江市| 新津县| 阳原县| 陵川县|