使用PHP的cURL庫(kù)可以簡(jiǎn)單和有效地去抓網(wǎng)頁(yè)。你只需要運(yùn)行一個(gè)腳本，然后分析一下你所抓取的網(wǎng)頁(yè)，然后就可以以程序的方式得到你想要的數(shù)據(jù)了。無(wú)論是你想從從一個(gè)鏈接上取部分?jǐn)?shù)據(jù)，或是取一個(gè)XML文件并把其導(dǎo)入數(shù)據(jù)庫(kù)，那怕就是簡(jiǎn)單的獲取網(wǎng)頁(yè)內(nèi)容，cURL
是一個(gè)功能強(qiáng)大的PHP庫(kù)。
PHP中的CURL函數(shù)庫(kù)（Client URL Library Function）
curl_close — 關(guān)閉一個(gè)curl會(huì)話
curl_copy_handle —
拷貝一個(gè)curl連接資源的所有內(nèi)容和參數(shù)
curl_errno — 返回一個(gè)包含當(dāng)前會(huì)話錯(cuò)誤信息的數(shù)字編號(hào)
curl_error —
返回一個(gè)包含當(dāng)前會(huì)話錯(cuò)誤信息的字符串
curl_exec — 執(zhí)行一個(gè)curl會(huì)話
curl_getinfo —
獲取一個(gè)curl連接資源句柄的信息
curl_init — 初始化一個(gè)curl會(huì)話
curl_multi_add_handle —
向curl批處理會(huì)話中添加單獨(dú)的curl句柄資源
curl_multi_close — 關(guān)閉一個(gè)批處理句柄資源
curl_multi_exec —
解析一個(gè)curl批處理句柄
curl_multi_getcontent — 返回獲取的輸出的文本流
curl_multi_info_read —
獲取當(dāng)前解析的curl的相關(guān)傳輸信息
curl_multi_init —
初始化一個(gè)curl批處理句柄資源
curl_multi_remove_handle —
移除curl批處理句柄資源中的某個(gè)句柄資源
curl_multi_select — Get all the sockets associated with
the cURL extension, which can then be "selected"
curl_setopt_array —
以數(shù)組的形式為一個(gè)curl設(shè)置會(huì)話參數(shù)
curl_setopt — 為一個(gè)curl設(shè)置會(huì)話參數(shù)
curl_version —
獲取curl相關(guān)的版本信息
curl_init()函數(shù)的作用初始化一個(gè)curl會(huì)話，curl_init()函數(shù)唯一的一個(gè)參數(shù)是可選的，表示一個(gè)url地址。
curl_exec()函數(shù)的作用是執(zhí)行一個(gè)curl會(huì)話，唯一的參數(shù)是curl_init()函數(shù)返回的句柄。
curl_close()函數(shù)的作用是關(guān)閉一個(gè)curl會(huì)話，唯一的參數(shù)是curl_init()函數(shù)返回的句柄。
例子一: 基本例子
基本例子
﹤?php
// 初始化一個(gè) cURL 對(duì)象
$curl = curl_init();
// 設(shè)置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://www.cmx8.cn');
// 設(shè)置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 設(shè)置cURL 參數(shù)，要求結(jié)果保存到字符串中還是輸出到屏幕上。
curl_setopt($curl,
CURLOPT_RETURNTRANSFER, 1);
// 運(yùn)行cURL，請(qǐng)求網(wǎng)頁(yè)
$data = curl_exec($curl);
// 關(guān)閉URL請(qǐng)求
curl_close($curl);
// 顯示獲得的數(shù)據(jù)
var_dump($data);
?>
例子二: POST數(shù)據(jù)
sendSMS.php，其可以接受兩個(gè)表單域，一個(gè)是電話號(hào)碼，一個(gè)是短信內(nèi)容。
POST數(shù)據(jù)
﹤?php
$phoneNumber = '13812345678';
$message = 'This message was generated by curl and php';
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.lxvoip.com/sendSMS.php');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec();
curl_close($ch);
?﹥
例子三:使用代理服務(wù)器
使用代理服務(wù)器
﹤?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.cmx8.cn');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
curl_setopt($ch, CURLOPT_PROXY, 'proxy.lxvoip.com:1080');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');
$data = curl_exec();
curl_close($ch);
?﹥
例子四: 模擬登錄
Curl 模擬登錄 discuz 程序,適合DZ7.0,將username改成你的用戶名,userpass改成你的密碼就可以了.
Curl 模擬登錄
discuz
程序
<?php
!extension_loaded('curl')
&& die('The curl extension is not
loaded.');
$discuz_url =
'http://www.lxvoip.com';//論壇地址
$login_url = $discuz_url
.'/logging.php?action=login';//登錄頁(yè)地址
$get_url = $discuz_url
.'/my.php?item=threads';
//我的帖子
$post_fields =
array();
//以下兩項(xiàng)不需要修改
$post_fields['loginfield']
= 'username';
$post_fields['loginsubmit'] =
'true';
//用戶名和密碼，必須填寫(xiě)
$post_fields['username']
= 'lxvoip';
$post_fields['password'] =
'88888888';
//安全提問(wèn)
$post_fields['questionid']
= 0;
$post_fields['answer'] =
'';
//@todo驗(yàn)證碼
$post_fields['seccodeverify']
=
'';
//獲取表單FORMHASH
$ch
= curl_init($login_url);
curl_setopt($ch, CURLOPT_HEADER,
0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,
1);
$contents =
curl_exec($ch);
curl_close($ch);
preg_match('/<input\s*type="hidden"\s*name="formhash"\s*value="(.*?)"\s*\/>/i',
$contents, $matches);
if(!empty($matches))
{
$formhash =
$matches[1];
} else
{
die('Not found the
forumhash.');
}
//POST數(shù)據(jù)，獲取COOKIE
$cookie_file
= dirname(__FILE__) . '/cookie.txt';
//$cookie_file =
tempnam('/tmp');
$ch =
curl_init($login_url);
curl_setopt($ch, CURLOPT_HEADER,
0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,
1);
curl_setopt($ch, CURLOPT_POST,
1);
curl_setopt($ch, CURLOPT_POSTFIELDS,
$post_fields);
curl_setopt($ch, CURLOPT_COOKIEJAR,
$cookie_file);
curl_exec($ch);
curl_close($ch);
//帶著上面得到的COOKIE獲取需要登錄后才能查看的頁(yè)面內(nèi)容
$ch
= curl_init($get_url);
curl_setopt($ch, CURLOPT_HEADER,
0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,
0);
curl_setopt($ch, CURLOPT_COOKIEFILE,
$cookie_file);
$contents =
curl_exec($ch);
curl_close($ch);
var_dump($contents);