phphttpcurl
⑴ php中curl爬蟲 怎麼樣通過網頁獲取所有鏈接
本文承接上面兩篇,本篇中的示例要調用到前兩篇中的函數,做一個簡單的URL採集。一般php採集網路數據會用file_get_contents、file和cURL。不過據說cURL會比file_get_contents、file更快更專業,更適合採集。今天就試試用cURL來獲取網頁上的所有鏈接。示例如下:
<?php
/*
* 使用curl 採集hao123.com下的所有鏈接。
*/
include_once('function.php');
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.hao123.com/');
// 只需返回HTTP header
curl_setopt($ch, CURLOPT_HEADER, 1);
// 頁面內容我們並不需要
// curl_setopt($ch, CURLOPT_NOBODY, 1);
// 返回結果,而不是輸出它
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$html = curl_exec($ch);
$info = curl_getinfo($ch);
if ($html === false) {
echo "cURL Error: " . curl_error($ch);
}
curl_close($ch);
$linkarr = _striplinks($html);
// 主機部分,補全用
$host = 'http://www.hao123.com/';
if (is_array($linkarr)) {
foreach ($linkarr as $k => $v) {
$linkresult[$k] = _expandlinks($v, $host);
}
}
printf("<p>此頁面的所有鏈接為:</p><pre>%s</pre>n", var_export($linkresult , true));
?>
function.php內容如下(即為上兩篇中兩個函數的合集):
<?php
function _striplinks($document) {
preg_match_all("'<s*as.*?hrefs*=s*(["'])?(?(1) (.*?)\1 | ([^s>]+))'isx", $document, $links);
// catenate the non-empty matches from the conditional subpattern
while (list($key, $val) = each($links[2])) {
if (!empty($val))
$match[] = $val;
} while (list($key, $val) = each($links[3])) {
if (!empty($val))
$match[] = $val;
}
// return the links
return $match;
}
/*===================================================================*
Function: _expandlinks
Purpose: expand each link into a fully qualified URL
Input: $links the links to qualify
$URI the full URI to get the base from
Output: $expandedLinks the expanded links
*===================================================================*/
function _expandlinks($links,$URI)
{
$URI_PARTS = parse_url($URI);
$host = $URI_PARTS["host"];
preg_match("/^[^?]+/",$URI,$match);
$match = preg_replace("|/[^/.]+.[^/.]+$|","",$match[0]);
$match = preg_replace("|/$|","",$match);
$match_part = parse_url($match);
$match_root =
$match_part["scheme"]."://".$match_part["host"];
$search = array( "|^http://".preg_quote($host)."|i",
"|^(/)|i",
"|^(?!http://)(?!mailto:)|i",
"|/./|",
"|/[^/]+/../|"
);
$replace = array( "",
$match_root."/",
$match."/",
"/",
"/"
);
$expandedLinks = preg_replace($search,$replace,$links);
return $expandedLinks;
}
?>
⑵ 緊急求助,關於PHP中curl的
cURL可以使用URL的語法模擬瀏覽器來傳輸數據,
因為它是模擬瀏覽器,因此它同樣支持多種協議,
ftp, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP等協議都可以很好的支持,包括一些:
HTTPS認證,HTTP POST方法,HTTP PUT方法,FTP上傳,keyberos認證,HTTP上傳,代理伺服器,cookies,用戶名/密碼認證,
下載文件斷點續傳,上傳文件斷點續傳,http代理伺服器管道,甚至它還支持IPv6,scoket5代理伺服器,通過http代理伺服器上傳文件
到FTP伺服器等等。
這就是我們為什麼要使用cURL的原因!
使用cURL完成簡單的請求主要分為以下四步:
1.初始化,創建一個新cURL資源
2.設置URL和相應的選項
3.抓取URL並把它傳遞給瀏覽器
4.關閉cURL資源,並且釋放系統資源
我們來採集一個頁面,通常情況下,我們會使用file_get_contents()函數來獲取:
像這樣:
<?php
$str = file_get_contents('http://bbs.lampbrother.net');
//或者是:
$str = file("http://bbs.lampbrother.net");
//或者是:
readfile("http://bbs.lampbrother.net");
?>
這樣我們會發現,我們沒有辦法有效地進行錯誤處理,更重要的是我們沒有辦法完成一些高難度的任務:
如:處理cookies,驗證,表單提交,文件上傳等等。
好,現在我們來用代碼完成上述cURL的四步:
<?php
//1.初始化,創建一個新cURL資源
$ch = curl_init();
//2.設置URL和相應的選項
curl_setopt($ch, CURLOPT_URL, "http://www.lampbrother.net/");
curl_setopt($ch, CURLOPT_HEADER, 0);
//3.抓取URL並把它傳遞給瀏覽器
curl_exec($ch);
//4.關閉cURL資源,並且釋放系統資源
curl_close($ch);
?>
上述四步中,其中第二步最為關鍵,可以設置一些高級選項:
例如上例中的CURLOPT_URL和CURLOPT_HEADER,分別代表「需要獲取的URL地址」和「啟用時會將頭文件的信息作為數據流輸出」,這些只是冰山一角,我們還可以設置很多選項:
選項 可選value值 備注
CURLOPT_AUTOREFERER 當根據Location:重定向時,自動設置header中的Referer:信息。
CURLOPT_BINARYTRANSFER 在啟用CURLOPT_RETURNTRANSFER的時候,返回原生的(Raw)輸出。
CURLOPT_COOKIESESSION 啟用時curl會僅僅傳遞一個session cookie,忽略其他的cookie,默認狀況下cURL會將所有的cookie返回給服務端。session cookie是指那些用來判斷伺服器端的session是否有效而存在的cookie。
CURLOPT_CRLF 啟用時將Unix的換行符轉換成回車換行符。
CURLOPT_DNS_USE_GLOBAL_CACHE 啟用時會啟用一個全局的DNS緩存,此項為線程安全的,並且默認啟用。
CURLOPT_FAILONERROR 顯示HTTP狀態碼,默認行為是忽略編號小於等於400的HTTP信息。
CURLOPT_FILETIME 啟用時會嘗試修改遠程文檔中的信息。結果信息會通過curl_getinfo()函數的CURLINFO_FILETIME選項返回。 curl_getinfo().
CURLOPT_FOLLOWLOCATION 啟用時會將伺服器伺服器返回的"Location: "放在header中遞歸的返回給伺服器,使用CURLOPT_MAXREDIRS可以限定遞歸返回的數量。
CURLOPT_FORBID_REUSE 在完成交互以後強迫斷開連接,不能重用。
CURLOPT_FRESH_CONNECT 強制獲取一個新的連接,替代緩存中的連接。
CURLOPT_FTP_USE_EPRT 啟用時當FTP下載時,使用EPRT (或 LPRT)命令。設置為FALSE時禁用EPRT和LPRT,使用PORT命令 only.
CURLOPT_FTP_USE_EPSV 啟用時,在FTP傳輸過程中回復到PASV模式前首先嘗試EPSV命令。設置為FALSE時禁用EPSV命令。
CURLOPT_FTPAPPEND 啟用時追加寫入文件而不是覆蓋它。
CURLOPT_FTPASCII CURLOPT_TRANSFERTEXT的別名。
CURLOPT_FTPLISTONLY 啟用時只列出FTP目錄的名字。
CURLOPT_HEADER 啟用時會將頭文件的信息作為數據流輸出。
CURLINFO_HEADER_OUT 啟用時追蹤句柄的請求字元串。 從 PHP 5.1.3 開始可用。CURLINFO_前綴是故意的(intentional)。
CURLOPT_HTTPGET 啟用時會設置HTTP的method為GET,因為GET是默認是,所以只在被修改的情況下使用。
CURLOPT_HTTPPROXYTUNNEL 啟用時會通過HTTP代理來傳輸。
CURLOPT_MUTE 啟用時將cURL函數中所有修改過的參數恢復默認值。
CURLOPT_NETRC 在連接建立以後,訪問~/.netrc文件獲取用戶名和密碼信息連接遠程站點。
CURLOPT_NOBODY 啟用時將不對HTML中的BODY部分進行輸出。
CURLOPT_NOPROGRESS
啟用時關閉curl傳輸的進度條,此項的默認設置為啟用。
Note:
PHP自動地設置這個選項為TRUE,這個選項僅僅應當在以調試為目的時被改變。
CURLOPT_NOSIGNAL 啟用時忽略所有的curl傳遞給php進行的信號。在SAPI多線程傳輸時此項被默認啟用。 cURL 7.10時被加入。
CURLOPT_POST 啟用時會發送一個常規的POST請求,類型為:application/x-www-form-urlencoded,就像表單提交的一樣。
CURLOPT_PUT 啟用時允許HTTP發送文件,必須同時設置CURLOPT_INFILE和CURLOPT_INFILESIZE。
CURLOPT_RETURNTRANSFER 將curl_exec()獲取的信息以文件流的形式返回,而不是直接輸出。
CURLOPT_SSL_VERIFYPEER 禁用後cURL將終止從服務端進行驗證。使用CURLOPT_CAINFO選項設置證書使用CURLOPT_CAPATH選項設置證書目錄 如果CURLOPT_SSL_VERIFYPEER(默認值為2)被啟用,CURLOPT_SSL_VERIFYHOST需要被設置成TRUE否則設置為FALSE。 自cURL 7.10開始默認為TRUE。從cURL 7.10開始默認綁定安裝。
CURLOPT_TRANSFERTEXT 啟用後對FTP傳輸使用ASCII模式。對於LDAP,它檢索純文本信息而非HTML。在Windows系統上,系統不會把STDOUT設置成binary模式。
CURLOPT_UNRESTRICTED_AUTH 在使用CURLOPT_FOLLOWLOCATION產生的header中的多個locations中持續追加用戶名和密碼信息,即使域名已發生改變。
CURLOPT_UPLOAD 啟用後允許文件上傳。
CURLOPT_VERBOSE 啟用時會匯報所有的信息,存放在STDERR或指定的CURLOPT_STDERR中。
對於下面的這些option的可選參數,value應該被設置一個integer類型的值:
選項 可選value值 備注
CURLOPT_BUFFERSIZE 每次獲取的數據中讀入緩存的大小,但是不保證這個值每次都會被填滿。 在cURL 7.10中被加入。
CURLOPT_CLOSEPOLICY 不是CURLCLOSEPOLICY_LEAST_RECENTLY_USED就是CURLCLOSEPOLICY_OLDEST,還存在另外三個CURLCLOSEPOLICY_,但是cURL暫時還不支持。
CURLOPT_CONNECTTIMEOUT 在發起連接前等待的時間,如果設置為0,則無限等待。
CURLOPT_CONNECTTIMEOUT_MS 嘗試連接等待的時間,以毫秒為單位。如果設置為0,則無限等待。 在cURL 7.16.2中被加入。從PHP 5.2.3開始可用。
CURLOPT_DNS_CACHE_TIMEOUT 設置在內存中保存DNS信息的時間,默認為120秒。
CURLOPT_FTPSSLAUTH FTP驗證方式:CURLFTPAUTH_SSL (首先嘗試SSL),CURLFTPAUTH_TLS (首先嘗試TLS)或CURLFTPAUTH_DEFAULT (讓cURL自動決定)。 在cURL 7.12.2中被加入。
CURLOPT_HTTP_VERSION CURL_HTTP_VERSION_NONE (默認值,讓cURL自己判斷使用哪個版本),CURL_HTTP_VERSION_1_0 (強制使用 HTTP/1.0)或CURL_HTTP_VERSION_1_1 (強制使用 HTTP/1.1)。
CURLOPT_HTTPAUTH
使用的HTTP驗證方法,可選的值有:CURLAUTH_BASIC、CURLAUTH_DIGEST、CURLAUTH_GSSNEGOTIATE、CURLAUTH_NTLM、CURLAUTH_ANY和CURLAUTH_ANYSAFE。 可以使用|位域(或)操作符分隔多個值,cURL讓伺服器選擇一個支持最好的值。
CURLAUTH_ANY等價於CURLAUTH_BASIC | CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM. CURLAUTH_ANYSAFE等價於CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM.
CURLOPT_INFILESIZE 設定上傳文件的大小限制,位元組(byte)為單位。
CURLOPT_LOW_SPEED_LIMIT 當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。
CURLOPT_LOW_SPEED_TIME 當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。
CURLOPT_MAXCONNECTS 允許的最大連接數量,超過是會通過CURLOPT_CLOSEPOLICY決定應該停止哪些連接。
CURLOPT_MAXREDIRS 指定最多的HTTP重定向的數量,這個選項是和CURLOPT_FOLLOWLOCATION一起使用的。
CURLOPT_PORT 用來指定連接埠。(可選項)
CURLOPT_PROTOCOLS
CURLPROTO_*的位域指。如果被啟用,位域值會限定libcurl在傳輸過程中有哪些可使用的協議。這將允許你在編譯libcurl時支持眾多協議,但是限制只是用它們中被允許使用的一個子集。默認libcurl將會使用全部它支持的協議。參見CURLOPT_REDIR_PROTOCOLS. 可用的協議選項為:CURLPROTO_HTTP、CURLPROTO_HTTPS、CURLPROTO_FTP、CURLPROTO_FTPS、CURLPROTO_SCP、CURLPROTO_SFTP、CURLPROTO_TELNET、CURLPROTO_LDAP、CURLPROTO_LDAPS、CURLPROTO_DICT、CURLPROTO_FILE、CURLPROTO_TFTP、CURLPROTO_ALL 在cURL 7.19.4中被加入。
CURLOPT_PROXYAUTH HTTP代理連接的驗證方式。使用在CURLOPT_HTTPAUTH中的位域標志來設置相應選項。對於代理驗證只有CURLAUTH_BASIC和CURLAUTH_NTLM當前被支持。 在cURL 7.10.7中被加入。
CURLOPT_PROXYPORT 代理伺服器的埠。埠也可以在CURLOPT_PROXY中進行設置。
CURLOPT_PROXYTYPE 不是CURLPROXY_HTTP (默認值) 就是CURLPROXY_SOCKS5。 在cURL 7.10中被加入。
CURLOPT_REDIR_PROTOCOLS CURLPROTO_*中的位域值。如果被啟用,位域值將會限制傳輸線程在CURLOPT_FOLLOWLOCATION開啟時跟隨某個重定向時可使用的協議。這將使你對重定向時限制傳輸線程使用被允許的協議子集默認libcurl將會允許除FILE和SCP之外的全部協議。這個和7.19.4預發布版本種無條件地跟隨所有支持的協議有一些不同。關於協議常量,請參照CURLOPT_PROTOCOLS。 在cURL 7.19.4中被加入。
CURLOPT_RESUME_FROM 在恢復傳輸時傳遞一個位元組偏移量(用來斷點續傳)。
CURLOPT_SSL_VERIFYHOST 1 檢查伺服器SSL證書中是否存在一個公用名(common name)。譯者註:公用名(Common Name)一般來講就是填寫你將要申請SSL證書的域名 (domain)或子域名(sub domain)。2 檢查公用名是否存在,並且是否與提供的主機名匹配。
CURLOPT_SSLVERSION 使用的SSL版本(2 或 3)。默認情況下PHP會自己檢測這個值,盡管有些情況下需要手動地進行設置。
CURLOPT_TIMECONDITION 如果在CURLOPT_TIMEVALUE指定的某個時間以後被編輯過,則使用CURL_TIMECOND_IFMODSINCE返回頁面,如果沒有被修改過,並且CURLOPT_HEADER為true,則返回一個"304 Not Modified"的header, CURLOPT_HEADER為false,則使用CURL_TIMECOND_IFUNMODSINCE,默認值為CURL_TIMECOND_IFUNMODSINCE。
CURLOPT_TIMEOUT 設置cURL允許執行的最長秒數。
CURLOPT_TIMEOUT_MS 設置cURL允許執行的最長毫秒數。 在cURL 7.16.2中被加入。從PHP 5.2.3起可使用。
CURLOPT_TIMEVALUE 設置一個CURLOPT_TIMECONDITION使用的時間戳,在默認狀態下使用的是CURL_TIMECOND_IFMODSINCE。
對於下面的這些option的可選參數,value應該被設置一個string類型的值:
選項 可選value值 備注
CURLOPT_CAINFO 一個保存著1個或多個用來讓服務端驗證的證書的文件名。這個參數僅僅在和CURLOPT_SSL_VERIFYPEER一起使用時才有意義。 .
CURLOPT_CAPATH 一個保存著多個CA證書的目錄。這個選項是和CURLOPT_SSL_VERIFYPEER一起使用的。
CURLOPT_COOKIE 設定HTTP請求中"Cookie: "部分的內容。多個cookie用分號分隔,分號後帶一個空格(例如, "fruit=apple; colour=red")。
CURLOPT_COOKIEFILE 包含cookie數據的文件名,cookie文件的格式可以是Netscape格式,或者只是純HTTP頭部信息存入文件。
CURLOPT_COOKIEJAR 連接結束後保存cookie信息的文件。
CURLOPT_CUSTOMREQUEST
使用一個自定義的請求信息來代替"GET"或"HEAD"作為HTTP請求。這對於執行"DELETE" 或者其他更隱蔽的HTTP請求。有效值如"GET","POST","CONNECT"等等。也就是說,不要在這里輸入整個HTTP請求。例如輸入"GET /index.html HTTP/1.0 "是不正確的。
Note: 在確定伺服器支持這個自定義請求的方法前不要使用。
CURLOPT_EGDSOCKET 類似CURLOPT_RANDOM_FILE,除了一個Entropy Gathering Daemon套接字。
CURLOPT_ENCODING HTTP請求頭中"Accept-Encoding: "的值。支持的編碼有"identity","deflate"和"gzip"。如果為空字元串"",請求頭會發送所有支持的編碼類型。 在cURL 7.10中被加入。
CURLOPT_FTPPORT 這個值將被用來獲取供FTP"POST"指令所需要的IP地址。"POST"指令告訴遠程伺服器連接到我們指定的IP地址。這個字元串可以是純文本的IP地址、主機名、一個網路介面名(UNIX下)或者只是一個'-'來使用默認的IP地址。
CURLOPT_INTERFACE 網路發送介面名,可以是一個介面名、IP地址或者是一個主機名。
CURLOPT_KRB4LEVEL KRB4 (Kerberos 4) 安全級別。下面的任何值都是有效的(從低到高的順序):"clear"、"safe"、"confidential"、"private".。如果字元串和這些都不匹配,將使用"private"。這個選項設置為NULL時將禁用KRB4 安全認證。目前KRB4 安全認證只能用於FTP傳輸。
CURLOPT_POSTFIELDS 全部數據使用HTTP協議中的"POST"操作來發送。要發送文件,在文件名前面加上@前綴並使用完整路徑。這個參數可以通過urlencoded後的字元串類似'para1=val1¶2=val2&...'或使用一個以欄位名為鍵值,欄位數據為值的數組。如果value是一個數組,Content-Type頭將會被設置成multipart/form-data。
CURLOPT_PROXY HTTP代理通道。
CURLOPT_PROXYUSERPWD 一個用來連接到代理的"[username]:[password]"格式的字元串。
CURLOPT_RANDOM_FILE 一個被用來生成SSL隨機數種子的文件名。
CURLOPT_RANGE 以"X-Y"的形式,其中X和Y都是可選項獲取數據的范圍,以位元組計。HTTP傳輸線程也支持幾個這樣的重復項中間用逗號分隔如"X-Y,N-M"。
CURLOPT_REFERER 在HTTP請求頭中"Referer: "的內容。
CURLOPT_SSL_CIPHER_LIST 一個SSL的加密演算法列表。例如RC4-SHA和TLSv1都是可用的加密列表。
CURLOPT_SSLCERT 一個包含PEM格式證書的文件名。
CURLOPT_SSLCERTPASSWD 使用CURLOPT_SSLCERT證書需要的密碼。
CURLOPT_SSLCERTTYPE 證書的類型。支持的格式有"PEM" (默認值), "DER"和"ENG"。 在cURL 7.9.3中被加入。
CURLOPT_SSLENGINE 用來在CURLOPT_SSLKEY中指定的SSL私鑰的加密引擎變數。
CURLOPT_SSLENGINE_DEFAULT 用來做非對稱加密操作的變數。
CURLOPT_SSLKEY 包含SSL私鑰的文件名。
CURLOPT_SSLKEYPASSWD
在CURLOPT_SSLKEY中指定了的SSL私鑰的密碼。
Note: 由於這個選項包含了敏感的密碼信息,記得保證這個PHP腳本的安全。
CURLOPT_SSLKEYTYPE CURLOPT_SSLKEY中規定的私鑰的加密類型,支持的密鑰類型為"PEM"(默認值)、"DER"和"ENG"。
CURLOPT_URL 需要獲取的URL地址,也可以在curl_init()函數中設置。
CURLOPT_USERAGENT 在HTTP請求中包含一個"User-Agent: "頭的字元串。
CURLOPT_USERPWD 傳遞一個連接中需要的用戶名和密碼,格式為:"[username]:[password]"。
對於下面的這些option的可選參數,value應該被設置一個數組:
對於下面的這些option的可選參數,value應該被設置一個流資源 (例如使用fopen()):
對於下面的這些option的可選參數,value應該被設置為一個回調函數名:
選項 可選value值
CURLOPT_HEADERFUNCTION 設置一個回調函數,這個函數有兩個參數,第一個是cURL的資源句柄,第二個是輸出的header數據。header數據的輸出必須依賴這個函數,返回已寫入的數據大小。
CURLOPT_PASSWDFUNCTION 設置一個回調函數,有三個參數,第一個是cURL的資源句柄,第二個是一個密碼提示符,第三個參數是密碼長度允許的最大值。返回密碼的值。
CURLOPT_PROGRESSFUNCTION 設置一個回調函數,有三個參數,第一個是cURL的資源句柄,第二個是一個文件描述符資源,第三個是長度。返回包含的數據。
CURLOPT_READFUNCTION 擁有兩個參數的回調函數,第一個是參數是會話句柄,第二是HTTP響應頭信息的字元串。使用此函數,將自行處理返回的數據。返回值為數據大小,以位元組計。返回0代表EOF信號。
CURLOPT_WRITEFUNCTION 擁有兩個參數的回調函數,第一個是參數是會話句柄,第二是HTTP響應頭信息的字元串。使用此回調函數,將自行處理響應頭信息。響應頭信息是整個字元串。設置返回值為精確的已寫入字元串長度。發生錯誤時傳輸線程終止。
看到了吧,只要在第二個函數之內設置這些選項就可以完成相應的功能,cURL的功能是灰常強大滴,大家可以嘗試一下哦!
例如,我們只想把獲取到的內容輸入到文件,而不是直接輸出給瀏覽器,我們就可以使用CURLOPT_RETURNTRANSFER選項!
這樣在curl執行的時候,就會把頁面的內容輸出到文件當中,我們就可以完成採集等功能
⑶ php用curl時,HTTP鏈接正常,HTTPS時,獲取不到數據
https 需要認證。
簡易方法 (不認證,不安全)
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
安全方法(認證,安全):
用firefox查出網站的CA certificate,下戴, 然後
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2);
curl_setopt($ch, CURLOPT_CAINFO, getcwd() . "/CAcerts/BuiltinObjectToken-EquifaxSecureCA.crt");
⑷ php curl調用http與https有何不同
https要求有證書,通常可以通過
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,false);//SSL報錯時使用
curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,false);//SSL報錯時使用
對證書進行屏蔽。
如果是你自己本身需要驗證證書,那就不能屏蔽這里了。
更多PHPcURL內容請參考我的博客《PHPcURL實現模擬登錄與採集使用方法詳解教程》
⑸ php curl選項列表(超詳細)
本篇文章是對php中的curl選項列表進行了詳細的分析介紹 需要的朋友參考下第一類 對於下面的這些option的可選參數 value應該被設置一個bool類型的值 選項 可選value值 備注 CURLOPT_AUTOREFERER 當根據Location:重定向時 自動設置header中的Referer:信息 CURLOPT_BINARYTRANSFER 在啟用CURLOPT_RETURNTRANSFER的時候 返回原生的(Raw)輸出 CURLOPT_COOKIESESSION 啟用時curl會僅僅傳遞一個session cookie 忽略其他的cookie 默認狀況下cURL會將所有的cookie返回給服務端 session cookie是指那些用來判斷伺服器端的session是否有效而存在的cookie CURLOPT_CRLF 啟用時將Unix的換行符轉換成回車換行符 CURLOPT_DNS_USE_GLOBAL_CACHE 啟用時會啟用一個全局的DNS緩存 此項為線程安全的 並且默認啟用 CURLOPT_FAILONERROR 顯示HTTP狀態碼 默認行為是忽略編號小於等於 的HTTP信息 CURLOPT_FILETIME 啟用時會嘗試修改遠程文檔中的信息 結果信息會通過 curl_getinfo()函數的CURLINFO_FILETIME選項返回 curl_getinfo() CURLOPT_FOLLOWLOCATION 啟用時會將伺服器伺服器返回的"Location: "放在header中遞歸的返回給伺服器 使用CURLOPT_MAXREDIRS可以限定遞歸返回的數量 CURLOPT_FORBID_REUSE 在完成交互以後強迫斷開連接 不能重用 CURLOPT_FRESH_CONNECT 強制獲取一個新的連接 替代緩存中的連接 CURLOPT_FTP_USE_EPRT 啟用時當FTP下載時 使用EPRT (或 LPRT)命令 設置為FALSE時禁用EPRT和LPRT 使用PORT命令 only CURLOPT_FTP_USE_EPSV 啟用時 在FTP傳輸過程中回復到PASV模式前首先嘗試EPSV命令 設置為FALSE時禁用EPSV命令 CURLOPT_FTPAPPEND 啟用時追加寫入文件而不是覆蓋它 CURLOPT_FTPASCII CURLOPT_TRANSFERTEXT的別名 CURLOPT_FTPLISTONLY 啟用時只列出FTP目錄的名字 CURLOPT_HEADER 啟用時會將頭文件的信息作為數據流輸出 CURLINFO_HEADER_OUT 啟用時追蹤句柄的請求字元串 從 PHP 開始可用 CURLINFO_前綴是故意的(intentional) CURLOPT_HTTPGET 啟用時會設置HTTP的method為GET 因為GET是默認是 所以只在被修改的情況下使用 CURLOPT_HTTPPROXYTUNNEL 啟用時會通過HTTP代理來傳輸 CURLOPT_MUTE 啟用時將cURL函數中所有修改過的參數恢復默認值 CURLOPT_NETRC 在連接建立以後 訪問~/ netrc文件獲取用戶名和密碼信息連接遠程站點 CURLOPT_NOBODY 啟用時將不對HTML中的BODY部分進行輸出 CURLOPT_NOPROGRESS 啟用時關閉curl傳輸的進度條 此項的默認設置為啟用 Note: PHP自動地設置這個選項為TRUE 這個選項僅僅應當在以調試為目的時被改變 CURLOPT_NOSIGNAL 啟用時忽略所有的curl傳遞給php進行的信號 在SAPI多線程傳輸時此項被默認啟用 cURL 時被加入 CURLOPT_POST 啟用時會發送一個常規的POST請求 類型為 application/x form urlencoded 就像表單提交的一樣 CURLOPT_PUT 啟用時允許HTTP發送文件 必須同時設置CURLOPT_INFILE和CURLOPT_INFILESIZE CURLOPT_RETURNTRANSFER 將 curl_exec()獲取的信息以文件流的形式返回 而不是直接輸出 CURLOPT_SSL_VERIFYPEER 禁 用後cURL將終止從服務端進行驗證 使用CURLOPT_CAINFO選項設置證書使用CURLOPT_CAPATH選項設置證書目錄 如果CURLOPT_SSL_VERIFYPEER(默認值為 )被啟用 CURLOPT_SSL_VERIFYHOST需要被設置成TRUE否則設置為 FALSE 自cURL 開始默認為TRUE 從cURL 開始默認綁定安裝 CURLOPT_TRANSFERTEXT 啟用後對FTP傳輸使用ASCII模式 對於LDAP 它檢索純文本信息而非HTML 在Windows系統上 系統不會把STDOUT設置成binary模式 CURLOPT_UNRESTRICTED_AUTH 在使用CURLOPT_FOLLOWLOCATION產生的header中的多個locations中持續追加用戶名和密碼信息 即使域名已發生改變 CURLOPT_UPLOAD 啟用後允許文件上傳 CURLOPT_VERBOSE 啟用時會匯報所有的信息 存放在STDERR或指定的CURLOPT_STDERR中 第二類 對於下面的這些option的可選參數 value應該被設置一個integer類型的值 選項 可選value值 備注 CURLOPT_BUFFERSIZE 每次獲取的數據中讀入緩存的大小 但是不保證這個值每次都會被填滿 在cURL 中被加入 CURLOPT_CLOSEPOLICY 不是CURLCLOSEPOLICY_LEAST_RECENTLY_USED就是CURLCLOSEPOLICY_OLDEST 還存在另外三個CURLCLOSEPOLICY_ 但是cURL暫時還不支持 CURLOPT_CONNECTTIMEOUT 在發起連接前等待的時間 如果設置為 則無限等待 CURLOPT_CONNECTTIMEOUT_MS 嘗試連接等待的時間 以毫秒為單位 如果設置為 則無限等待 在cURL 中被加入 從PHP 開始可用 CURLOPT_DNS_CACHE_TIMEOUT 設置在內存中保存DNS信息的時間 默認為 秒 CURLOPT_FTPSSLAUTH FTP驗證方式 CURLFTPAUTH_SSL (首先嘗試SSL) CURLFTPAUTH_TLS (首先嘗試TLS)或CURLFTPAUTH_DEFAULT (讓cURL自動決定) 在cURL 中被加入 CURLOPT_HTTP_VERSION CURL_HTTP_VERSION_NONE (默認值 讓cURL自己判斷使用哪個版本) CURL_HTTP_VERSION_ _ (強制使用 HTTP/ )或CURL_HTTP_VERSION_ _ (強制使用 HTTP/ ) CURLOPT_HTTPAUTH 使用的HTTP驗證方法 可選的值有 CURLAUTH_BASIC CURLAUTH_DIGEST CURLAUTH_GSSNEGOTIATE CURLAUTH_NTLM CURLAUTH_ANY和CURLAUTH_ANYSAFE 可以使用|位域(或)操作符分隔多個值 cURL讓伺服器選擇一個支持最好的值 CURLAUTH_ANY等價於CURLAUTH_BASIC | CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM CURLAUTH_ANYSAFE等價於CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM CURLOPT_INFILESIZE 設定上傳文件的大小限制 位元組(byte)為單位 CURLOPT_LOW_SPEED_LIMIT 當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec) PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸 CURLOPT_LOW_SPEED_TIME 當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec) PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸 CURLOPT_MAXCONNECTS 允許的最大連接數量 超過是會通過CURLOPT_CLOSEPOLICY決定應該停止哪些連接 CURLOPT_MAXREDIRS 指定最多的HTTP重定向的數量 這個選項是和CURLOPT_FOLLOWLOCATION一起使用的 CURLOPT_PORT 用來指定連接埠 (可選項) CURLOPT_PROTOCOLS CURLPROTO_* 的位域指 如果被啟用 位域值會限定libcurl在傳輸過程中有哪些可使用的協議 這將允許你在編譯libcurl時支持眾多協議 但是限制只是用它們 中被允許使用的一個子集 默認libcurl將會使用全部它支持的協議 參見CURLOPT_REDIR_PROTOCOLS 可用的協議選項 為 CURLPROTO_HTTP CURLPROTO_HTTPS CURLPROTO_FTP CURLPROTO_FTPS CURLPROTO_SCP CURLPROTO_SFTP CURLPROTO_TELNET CURLPROTO_LDAP CURLPROTO_LDAPS CURLPROTO_DICT CURLPROTO_FILE CURLPROTO_TFTP CURLPROTO_ALL 在cURL 中被加入 CURLOPT_PROXYAUTH HTTP代理連接的驗證方式 使用在CURLOPT_HTTPAUTH中的位域標志來設置相應選項 對於代理驗證只有CURLAUTH_BASIC和CURLAUTH_NTLM當前被支持 在cURL 中被加入 CURLOPT_PROXYPORT 代理伺服器的埠 埠也可以在CURLOPT_PROXY中進行設置 CURLOPT_PROXYTYPE 不是CURLPROXY_HTTP (默認值) 就是CURLPROXY_SOCKS 在cURL 中被加入 CURLOPT_REDIR_PROTOCOLS CURLPROTO_* 中的位域值 如果被啟用 位域值將會限制傳輸線程在CURLOPT_FOLLOWLOCATION開啟時跟隨某個重定向時可使用的協議 這將使你對重定向 時限制傳輸線程使用被允許的協議子集默認libcurl將會允許除FILE和SCP之外的全部協議 這個和 預發布版本種無條件地跟隨所有支持 的協議有一些不同 關於協議常量 請參照CURLOPT_PROTOCOLS 在cURL 中被加入 CURLOPT_RESUME_FROM 在恢復傳輸時傳遞一個位元組偏移量(用來斷點續傳) CURLOPT_SSL_VERIFYHOST 檢查伺服器SSL證書中是否存在一個公用名(mon name) 譯者注 公用名(Common Name)一般來講就是填寫你將要申請SSL證書的域名 (domain)或子域名(sub domain) 檢查公用名是否存在 並且是否與提供的主機名匹配 CURLOPT_SSLVERSION 使用的SSL版本( 或 ) 默認情況下PHP會自己檢測這個值 盡管有些情況下需要手動地進行設置 CURLOPT_TIMECONDITION 如 果在CURLOPT_TIMEVALUE指定的某個時間以後被編輯過 則使用CURL_TIMECOND_IFMODSINCE返回頁面 如果沒有被修改 過 並且CURLOPT_HEADER為true 則返回一個" Not Modified"的header CURLOPT_HEADER為false 則使用CURL_TIMECOND_IFUNMODSINCE 默認值為 CURL_TIMECOND_IFUNMODSINCE CURLOPT_TIMEOUT 設置cURL允許執行的最長秒數 CURLOPT_TIMEOUT_MS 設置cURL允許執行的最長毫秒數 在cURL 中被加入 從PHP 起可使用 CURLOPT_TIMEVALUE 設置一個CURLOPT_TIMECONDITION使用的時間戳 在默認狀態下使用的是CURL_TIMECOND_IFMODSINCE 第三類 對於下面的這些option的可選參數 value應該被設置一個string類型的值 選項 可選value值 備注 CURLOPT_CAINFO 一個保存著 個或多個用來讓服務端驗證的證書的文件名 這個參數僅僅在和CURLOPT_SSL_VERIFYPEER一起使用時才有意義 CURLOPT_CAPATH 一個保存著多個CA證書的目錄 這個選項是和CURLOPT_SSL_VERIFYPEER一起使用的 CURLOPT_COOKIE 設定HTTP請求中"Cookie: "部分的內容 多個cookie用分號分隔 分號後帶一個空格(例如 "fruit=apple; colour=red") CURLOPT_COOKIEFILE 包含cookie數據的文件名 cookie文件的格式可以是Netscape格式 或者只是純HTTP頭部信息存入文件 CURLOPT_COOKIEJAR 連接結束後保存cookie信息的文件 CURLOPT_CUSTOMREQUEST 使 用一個自定義的請求信息來代替"GET"或"HEAD"作為HTTP請求 這對於執行"DELETE" 或者其他更隱蔽的HTTP請求 有效值如"GET" "POST" "CONNECT"等等 也就是說 不要在這里輸入整個HTTP請求 例如輸 入"GET /index HTTP/ rnrn"是不正確的 Note: 在確定伺服器支持這個自定義請求的方法前不要使用 CURLOPT_EGDSOCKET 類似CURLOPT_RANDOM_FILE 除了一個Entropy Gathering Daemon套接字 CURLOPT_ENCODING HTTP請求頭中"Accept Encoding: "的值 支持的編碼有"identity" "deflate"和"gzip" 如果為空字元串"" 請求頭會發送所有支持的編碼類型 在cURL 中被加入 CURLOPT_FTPPORT 這個值將被用來獲取供FTP"POST"指令所需要的IP地址 "POST"指令告訴遠程伺服器連接到我們指定的IP地址 這個字元串可以是純文本的IP地址 主機名 一個網路介面名(UNIX下)或者只是一個 來使用默認的IP地址 CURLOPT_INTERFACE 網路發送介面名 可以是一個介面名 IP地址或者是一個主機名 CURLOPT_KRB LEVEL KRB (Kerberos ) 安全級別 下面的任何值都是有效的(從低到高的順序) "clear" "safe" "confidential" "private" 如果字元串 和這些都不匹配 將使用"private" 這個選項設置為NULL時將禁用KRB 安全認證 目前KRB 安全認證只能用於FTP傳輸 CURLOPT_POSTFIELDS 全 部數據使用HTTP協議中的"POST"操作來發送 要發送文件 在文件名前面加上@前綴並使用完整路徑 這個參數可以通過urlencoded後的字元 串類似 para =val ¶ =val & 或使用一個以欄位名為鍵值 欄位數據為值的數組 如果value是一個數 組 Content Type頭將會被設置成multipart/form data CURLOPT_PROXY HTTP代理通道 CURLOPT_PROXYUSERPWD 一個用來連接到代理的"[username]:[password]"格式的字元串 CURLOPT_RANDOM_FILE 一個被用來生成SSL隨機數種子的文件名 CURLOPT_RANGE 以"X Y"的形式 其中X和Y都是可選項獲取數據的范圍 以位元組計 HTTP傳輸線程也支持幾個這樣的重復項中間用逗號分隔如"X Y N M" CURLOPT_REFERER 在HTTP請求頭中"Referer: "的內容 CURLOPT_SSL_CIPHER_LIST 一個SSL的加密演算法列表 例如RC SHA和TLSv 都是可用的加密列表 CURLOPT_SSLCERT 一個包含PEM格式證書的文件名 CURLOPT_SSLCERTPASSWD 使用CURLOPT_SSLCERT證書需要的密碼 CURLOPT_SSLCERTTYPE 證書的類型 支持的格式有"PEM" (默認值) "DER"和"ENG" 在cURL 中被加入 CURLOPT_SSLENGINE 用來在CURLOPT_SSLKEY中指定的SSL私鑰的加密引擎變數 CURLOPT_SSLENGINE_DEFAULT 用來做非對稱加密操作的變數 CURLOPT_SSLKEY 包含SSL私鑰的文件名 CURLOPT_SSLKEYPASSWD 在CURLOPT_SSLKEY中指定了的SSL私鑰的密碼 Note: 由於這個選項包含了敏感的密碼信息 記得保證這個PHP腳本的安全 CURLOPT_SSLKEYTYPE CURLOPT_SSLKEY中規定的私鑰的加密類型 支持的密鑰類型為"PEM"(默認值) "DER"和"ENG" CURLOPT_URL 需要獲取的URL地址 也可以在 curl_init()函數中設置 CURLOPT_USERAGENT 在HTTP請求中包含一個"User Agent: "頭的字元串 CURLOPT_USERPWD 傳遞一個連接中需要的用戶名和密碼 格式為 "[username]:[password]" 第四類 對於下面的這些option的可選參數 value應該被設置一個數組 選項 可選value值 備注 CURLOPT_HTTP ALIASES 響應碼數組 數組中的響應嗎被認為是正確的響應 否則被認為是錯誤的 在cURL 中被加入 CURLOPT_HTTPHEADER 一個用來設置HTTP頭欄位的數組 使用如下的形式的數組進行設置 array( Content type: text/plain Content length: ) CURLOPT_POSTQUOTE 在FTP請求執行完成後 在伺服器上執行的一組FTP命令 CURLOPT_QUOTE 一組先於FTP請求的在伺服器上執行的FTP命令
lishixin/Article/program/PHP/201311/21090
⑹ PHP使用curl的問題
這是PHP對於curl的一個解釋,簡單地說就是,curl是一個庫,能讓你通過URL和許多不同種的伺服器進行勾搭、搭訕和深入交流,並且還支持許多協議。並且人家還說了curl可以支持https認證、http post、ftp上傳、代理、cookies、簡單口令認證等等功能啦。
⑺ php curl的幾種用法
總結一下項目中用到curl的幾種方式
1. php curl的默認調用方法,get方式訪問url
$ch = curl_init();
curl_setopt($ch, CURLOPT_HTTPHEADER, $header); //設置http頭
curl_setopt($ch, CURLOPT_ENCODING, gzip ); //設置為客戶端支持gzip壓縮
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30 ); //設置連接等待時間
curl_setopt($ch, CURLOPT_URL, $url );
curl_exec( $ch );
if ($error = curl_error($ch) ) {//出錯處理return -1;}fclose($fp);
$curl_code = curl_getinfo($ch, CURLINFO_HTTP_CODE); //獲取http返回值
if( $curl_code == 200 ) {
//正常訪問url}//異常
2. 設置http header支持curl訪問lighttpd伺服器Java代碼$header[]= 'Expect:';
$header[]= 'Expect:';
3. 設置curl,只獲取http header,不獲取body:Java代碼curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_NOBODY, 1);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_NOBODY, 1);
或者只獲取body:Java代碼curl_setopt($ch, CURLOPT_HEADER, 0); // make sure we get the body
curl_setopt($ch, CURLOPT_NOBODY, 0);
curl_setopt($ch, CURLOPT_HEADER, 0); // make sure we get the body
curl_setopt($ch, CURLOPT_NOBODY, 0);
4. 訪問虛擬主機,需設置Host
$header[]= 'Host: '.$host;
5. 使用post, put, delete等REStful方式訪問urlpost:curl_setopt($ch, CURLOPT_POST, 1 );
put, delete:
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, DELETE); //或者PUT,需要伺服器支持這些方法。
6. 保存下載內容為文件