由于項目需求，需要采集一些網(wǎng)站的內(nèi)容。在JAVA領域中，已經(jīng)存在很多良好的框架用于該應用，如httpclient，webharvest還有更多強大的框架。但由于本身項目比較單純，且為了良好的自我控制，就決定直接用JDK中的HttpUrlConnection類來抓取網(wǎng)頁內(nèi)容。并不是說那些框架不好，而只是不適用本項目。
說明：本博的一切內(nèi)容均可轉載，但必須注意出處。http://www.lelelog.com(樂樂日志)
一、HttpUrlConnection連接之模擬瀏覽器
在諸多的網(wǎng)站中，特別是大型的網(wǎng)站，設置了必須是瀏覽器的請求才會回應。之所以這樣設置，就是為了防止我們這種項目給他產(chǎn)生無意義的請求（往往這種請求都是大批量，對其服務器產(chǎn)生負荷）。那為了解決這個問題，我們需要在http請求中，添加屬性。
HttpURLConnection urlConn;
urlConn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)");
這樣就設置好了，你可以隨意設置你的操作系統(tǒng)值，瀏覽器值，版本，只要正確就OK了。這樣就可以正常有效地訪問其網(wǎng)站了。他可不知道你是不是瀏覽器。你即使是條狗，他也不知道。
二、完整的設置HttpUrlConnection的屬性值
HttpURLConnection urlConn;
urlConn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)");
urlConn.setRequestProperty("Accept",
"image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-powerpoint, application/vnd.ms-excel, application/msword, */*");
urlConn.setRequestProperty("Accept-Language", "zh-cn");
urlConn.setRequestProperty("UA-CPU", "x86");
urlConn.setRequestProperty("Accept-Encoding", "gzip");//為什么沒有deflate呢
urlConn.setRequestProperty("Content-type", "text/html");
urlConn.setRequestProperty("Connection", "close"); //keep-Alive，有什么用呢，你不是在訪問網(wǎng)站，你是在采集。嘿嘿。減輕別人的壓力，也是減輕自己。
urlConn.setUseCaches(false);//不要用cache，用了也沒有什么用，因為我們不會經(jīng)常對一個鏈接頻繁訪問。（針對程序）
urlConn.setConnectTimeout(6 * 1000);
urlConn.setReadTimeout(6*1000);
urlConn.setDoOutput(true);
urlConn.setDoInput(true);
有什么疑問的話，可以查看JDK的API文檔，這個可以實時看。至于為什么要設置 gzip，而又不設置deflate，原因如下，有些網(wǎng)站他不管你能接受什么壓縮格式，統(tǒng)統(tǒng)也會壓縮網(wǎng)頁內(nèi)容傳給你。當然IE，F(xiàn)F能處理好這些內(nèi)容。所以我們通過瀏覽器查看的時候完全正常。一般gzip的壓縮可以將一個33K的文件壓縮成7K，這樣會節(jié)約不少帶寬，但服務器的負荷并沒有減輕，因為他要壓縮文件呀。至于為什么不用deflate，是由于絕大多數(shù)網(wǎng)站的壓縮方式是用gzip，而在有些網(wǎng)站中，明明是用的gzip卻返回deflate的壓縮標識。這有什么意義呢，所以干脆就告訴服務器，我不接受deflate，因為他太丑了，又長，哪像gzip這么潮呀。呵呵，對于瀏覽量大的靜態(tài)網(wǎng)頁服務器，這樣做很是必要。100M的獨享服務器，他也只有100M呀。
三、開始采集某個網(wǎng)頁的內(nèi)容
該方法就是傳入一個HttpUrlConnection的鏈接，和該文件的字符集編碼，就可以返回其網(wǎng)頁內(nèi)容了。
public static String getContentFromIn(HttpURLConnection urlConn, String charset) {
BufferedReader br = null;
StringBuilder content = new StringBuilder(200);
InputStream in = null;
try {
if(null == urlConn){
return "";
}
if (StringTools.isNotEmpty(urlConn.getContentEncoding())) {
String encode = urlConn.getContentEncoding().toLowerCase();
if (StringTools.isNotEmpty(encode) && encode.indexOf("gzip") >= 0) {
in = new GZIPInputStream(urlConn.getInputStream());
}
}
if (null == in) {
in = urlConn.getInputStream();
}
if (null != in) {
br = new BufferedReader(new InputStreamReader(in, charset));
String line = "";
while ((line = br.readLine()) != null) {
content.append(line);
}
}
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} finally {
if (null != in) {
try {
in.close();
} catch (IOException e) {
e.printStackTrace();
}
in = null;
}
if (null != br) {
try {
br.close();
} catch (IOException e) {
e.printStackTrace();
}
in = null;
}
}
return content.toString();
}
至此一個簡單的采集工具類誕生了，他的優(yōu)美在于，代碼少，不用引入任何包。純JDK，一樣能干許多事。有時不希望把本來簡單的事情搞得復雜化。雖然不要創(chuàng)造重復的輪子，但我們不能純拿來主義，就像這樣一個簡單的功能，不需要搞得太復雜。只要不DRY就可以了，這樣自己也能一點點地進步。
以上有什么錯誤，還請包涵。。。。。。該文章來自:樂樂日志(記下每個快樂的日子)。