出處：http://zkxp.cnblogs.com/archive/2006/04/24/383924.html
背景
隨著Internet的普及，網(wǎng)絡(luò)信息正以極高的速度增長，在這么多數(shù)據(jù)中找到自己需要的信息是一件很繁瑣的事情，找到需要的信息后如何獲取也是件麻煩的事。這就需要Internet信息抓取程序來代替人工的操作。
所謂Internet信息抓取程序，就是程序會(huì)按照用戶的關(guān)鍵詞或關(guān)鍵網(wǎng)站來收集相應(yīng)的信息，并提供給用戶想要的信息格式。
?
信息量的增加會(huì)帶來信息網(wǎng)站發(fā)布人員工作量的劇增，為實(shí)現(xiàn)信息發(fā)布系統(tǒng)實(shí)現(xiàn)信息自
動(dòng)發(fā)布、減少工作人員工作量、即時(shí)跟蹤最新信息，就需要自動(dòng)信息提供程序，因此Internet信息抓取程序應(yīng)運(yùn)而生。
?
目標(biāo)
?
實(shí)現(xiàn)自定義網(wǎng)站信息分類抓取，存入本地?cái)?shù)據(jù)庫、生成靜態(tài)頁面或其它用戶定義的信息結(jié)構(gòu)，并下載與信息相關(guān)的多媒體文件。
?
開發(fā)
?
l???????? 目標(biāo)站點(diǎn)結(jié)構(gòu)分析
本步驟是準(zhǔn)確抓取信息個(gè)關(guān)鍵。
首先要選擇更新頻率高的頁面做為抓取地址，然后分析要抓取內(nèi)容頁面url特點(diǎn)。
然后分析要抓取信息頁面的元素特性，比如標(biāo)題位置，內(nèi)容位置 等，得到定位標(biāo)記點(diǎn)。
將以上信息寫成自己的配置文件或存到數(shù)據(jù)庫中。
每個(gè)網(wǎng)站都需要分析，寫出單獨(dú)的配置文件，供抓取程序使用。
?
l???????? 信息提取
根據(jù)配置文件取得要抓取頁面url，使用HttpWebRequest類獲取內(nèi)容：
//獲取http頁面函數(shù)
??????? public string Get_Http(string a_strUrl,int timeout)
??????? {
??????????? string strResult ;????????
?
??????????? try
??????????? {
HttpWebRequest myReq = (HttpWebRequest)HttpWebRequest.Create(a_strUrl) ;
??????????????? myReq.Timeout = timeout;
??????????????? HttpWebResponse HttpWResp = (HttpWebResponse)myReq.GetResponse();
???????????
??????????????? Stream myStream = HttpWResp.GetResponseStream () ;
?
??????????????? StreamReader sr = new StreamReader(myStream , Encoding.Default);
??????????????? StringBuilder strBuilder = new StringBuilder();
??????????????? while (-1 != sr.Peek())
??????????????? {
??????????????????? strBuilder.Append(sr.ReadLine()+"\r\n");
??????????????? }
?
??????????????? strResult = strBuilder.ToString();
??????????? }
??????????? catch(Exception exp)
??????????? {
??????????????? strResult = "錯(cuò)誤：" + exp.Message ;
??????????? }
?
??????????? return strResult ;
?
??????? }
獲取頁面內(nèi)容后，分析頁面中連接地址取到要抓取的url：
//處理頁面標(biāo)題和鏈接
??????? public string SniffWebUrl( string urlStr,string blockB,string blockE )
??????? {??????
??????????? string urlch1 = "";
??????????? string urlch2 = "";???????????????????
??????????? int end_n1 = 0;
??????????? int end_nums = 0;
??????????? int end_nums1 = 0;
??????????? int end_nums2 = 0;
??????????? int end_nums3???? = 0;???????????
??????????? string reUTStr = "";
??????????? string reTitle = "";
??????????? string ret = "";??????????
??????????? try
??????????? {
??????????????? int pos01 = urlStr.IndexOf( "." );
??????????????? int pos02 = urlStr.LastIndexOf( "/" );
??????????????? if( pos01 < 0 )
??????????????? {
??????????????????? return "";
??????????????? }
??????????????? if( pos02 < 0 )
??????????????? {
??????????????????? return "";
??????????????? }
??????????????? int pos03 = urlStr.IndexOf( "/",pos01 );
??????????????? if ( pos03 < 0 )
??????????????? {
??????????????????? urlch1 = urlStr;
??????????????????? urlch2 = urlStr;
??????????????? }
??????????????? else
??????????????? {
??????????????????? urlch1 = urlStr.Substring( 0,pos03 );
??????????????????? urlch2 = urlStr.Substring( 0,pos02 );
??????????????? }
?
??????????????? string tmpAllStr = new PublicFun().Get_Http( urlStr ,time1);
?
??????????????? int pos1 = tmpAllStr.IndexOf( blockB );
??????????????? int pos2 = tmpAllStr.IndexOf( blockE,pos1 + blockB.Length );
??????????????? if ( pos1>0 && pos2>0 && pos2>pos1 )
??????????????? {
??????????????????? ret = tmpAllStr.Substring( pos1 + blockB.Length,pos2 - pos1 - blockB.Length );
??????????????????? ret = ret.Substring( ret.IndexOf( "<" ));
??????????????????? while( ret.IndexOf( "<A" ) >= 0 )
??????????????????? {
??????????????????????? ret = ret.Substring( 0,ret.IndexOf( "<A" ) ) + "<a" + ret.Substring( ret.IndexOf( "<A" ) + 2 );
??????????????????? }
??????????????????? while( ret.IndexOf( "</A" ) >=0 )
??????????????????? {
??????????????????????? ret = ret.Substring( 0,ret.IndexOf( "</A" ) ) + "</a" + ret.Substring( ret.IndexOf( "</A" ) + 3 );
??????????????????? }
??????????????????? while( ret.IndexOf( "Href=" ) >=0 )
??????????????????? {
??????????????????????? ret = ret.Substring( 0,ret.IndexOf( "Href=" )) + "href=" + ret.Substring( ret.IndexOf( "Href=" ) + 5 );
??????????????????? }
??????????????????? while( ret.IndexOf( "HREF=" ) >=0 )
??????????????????? {
??????????????????????? ret = ret.Substring( 0,ret.IndexOf( "HREF=" )) + "href=" + ret.Substring( ret.IndexOf( "HREF=" ) + 5 );
??????????????????? }
??????????????????? while( ret.IndexOf( "href='" ) >=0 )
??????????????????? {
??????????????????????? ret = ret.Substring( 0,ret.IndexOf( "href='" )) + "href=\"" + ret.Substring( ret.IndexOf( "href='" ) + 6 );?