phpcurlhtml
⑴ php的cURL庫簡單和有效地抓網頁
使用PHP的cURL庫可以簡單和有效地去抓網頁。你只需要運行一個腳本,然後分析一下你所抓取的網頁,然後就可以以程序的方式得到你想要的數據了。無論是你想從從一個鏈接上取部分數據,或是取一個XML文件並把其導入資料庫,那怕就是簡單的獲取網頁內容,cURL 是一個功能強大的PHP庫。本文主要講述如果使用這個PHP庫。
啟用 cURL 設置
首先,我們得先要確定我們的PHP是否開啟了這個庫,你可以通過使用php_info()函數來得到這一信息。
?php
phpinfo();
?
如果你可以在網頁上看到下面的輸出,那麼表示cURL庫已被開啟。
如果你看到的話,那麼你需要設置你的PHP並開啟這個庫。如果你是在Windows平台下,那麼非常簡單,你需要改一改你的php.ini文件的設置,找到php_curl.dll,並取消前面的分號注釋就行了。如下所示:
//取消下在的注釋
extension=php_curl.dll
如果你是在Linux下面,那麼,你需要重新編譯你的PHP了,編輯時,你需要打開編譯參數——在configure命令上加上「_with-curl」 參數。
一個小示例
如果一切就緒,下面是一個小常式:
?php
// 初始化一個 cURL 對象
$curl = curl_init();
// 設置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, '');
// 設置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 設置cURL 參數,要求結果保存到字元串中還是輸出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 運行cURL,請求網頁
$data = curl_exec($curl);
// 關閉URL請求
curl_close($curl);
// 顯示獲得的數據
var_mp($data);
?
如何POST數據
上面是抓取網頁的代碼,下面則是向某個網頁POST數據。假設我們有一個處理表單的網址,其可以接受兩個表單域,一個是電話號碼,一個是簡訊內容。
?php
$phoneNumber = '
$message = 'This message was generated by curl and php'
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . 'MESSAGE=' . urlencode($message) . 'SUBMIT=Send'
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec();curl_close($ch);
?
從上面的程序我們可以看到,使用CURLOPT_POST設置HTTP協議的POST方法,而不是GET方法,然後以CURLOPT_POSTFIELDS設置POST的數據。
關於代理伺服器
下面是一個如何使用代理伺服器的示例。請注意其中高亮的代碼,代碼很簡單,我就不用多說了。
?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
curl_setopt($ch, CURLOPT_PROXY, ':1080');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');
$data = curl_exec();curl_close($ch);
?
關於SSL和Cookie
關於SSL也就是HTTPS協議,你只需要把CURLOPT_URL連接中的
關於Cookie,你需要了解下面三個參數:
CURLOPT_COOKIE,在當面的會話中設置一個cookie
CURLOPT_COOKIEJAR,當會話結束的時候保存一個Cookie
CURLOPT_COOKIEFILE,Cookie的文件。
HTTP伺服器認證
最後,我們來看一看HTTP伺服器認證的情況。
?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
curl_setopt(CURLOPT_USERPWD, '[username]:[password]')
$data = curl_exec();
curl_close($ch);
?
關於其它更多的內容,請參看相關的cURL手冊。
⑵ php中什麼是curl會話是用來做什麼的有什麼作用
curl 就是模擬瀏覽器請求的,比如獲取獲取遠程的網頁,雖然可以使用file_get_content函數 但是 curl支持cookie 自定義瀏覽器類型,來源 ip等等。
⑶ PHP的curl模擬·登錄老是失敗出現了405錯誤
405 是指請求的 URL 不支持請求的方法, htm(除偽靜態)是靜態頁面,是只能使用 get 方法的,而你要登錄,要用post,而你這里也確實是用的 post,那麼我覺得你應該是 URL 取錯了。像這種 post 的地址都要是有程序處理的,你再回去看看原來頁面中 form 上的 action 地址吧
⑷ php curl的幾種用法
總結一下項目中用到curl的幾種方式 1. php curl的默認調用方法,get方式訪問url $ch = curl_init(); curl_setopt($ch, CURLOPT_HTTPHEADER, $header); //設置http頭 curl_setopt($ch, CURLOPT_ENCODING, "gzip" ); //設置為客戶端支持gzip壓縮 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30 ); //設置連接等待時間 curl_setopt($ch, CURLOPT_URL, $url ); curl_exec( $ch ); if ($error = curl_error($ch) ) {//出錯處理return -1;}fclose($fp); $curl_code = curl_getinfo($ch, CURLINFO_HTTP_CODE); //獲取http返回值 if( $curl_code == 200 ) { //正常訪問url}//異常 2. 設置http header支持curl訪問lighttpd伺服器Java代碼$header[]= 'Expect:'; $header[]= 'Expect:'; 3. 設置curl,只獲取http header,不獲取body:Java代碼curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_NOBODY, 1); curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_NOBODY, 1); 或者只獲取body:Java代碼curl_setopt($ch, CURLOPT_HEADER, 0); // make sure we get the body curl_setopt($ch, CURLOPT_NOBODY, 0); curl_setopt($ch, CURLOPT_HEADER, 0); // make sure we get the body curl_setopt($ch, CURLOPT_NOBODY, 0); 4. 訪問虛擬主機,需設置Host $header[]= 'Host: '.$host; 5. 使用post, put, delete等REStful方式訪問urlpost:curl_setopt($ch, CURLOPT_POST, 1 ); put, delete: curl_setopt($ch, CURLOPT_CUSTOMREQUEST, "DELETE"); //或者PUT,需要伺服器支持這些方法。6. 保存下載內容為文件
⑸ PHP 使用 CURL 詳解
使用PHP的CURL擴展進行HTTP請求發送,通常涉及以下步驟:
首先,初始化CURL連接句柄;
接著,設置CURL選項;
然後,執行請求並獲取結果;
最後,釋放CURL連接句柄。
以下是一個使用CURL發送HTTP請求的典型示例代碼片段。
初始化和關閉CURL連接的函數分別是curl_init()和curl_close(),操作較為簡便。
執行CURL請求的函數是curl_exec()。若請求成功,函數返回URL的響應數據;若出現錯誤,則返回FALSE。注意,使用全等號判斷輸出是否為FALSE,以區分返回空串和出錯的情況。
curl_setopt()函數是CURL庫中最重要的函數,可以通過設置CURL選項來自定義HTTP請求。在示例代碼中,使用了以下三個重要選項:
CURLOPT_URL:指定請求的URL;
CURLOPT_RETURNTRANSFER:設置為1,使curl_exec()函數的返回值是URL的返回字元串,而非將返回字元串輸出到標准輸出;
CURLOPTLOPT_HEADER:設置為0,表示不返回HTTP頭部信息。
PHP官方網站(php.net/manual/en/funct...)提供了CURL支持的所有選項列表。
使用curl_getinfo()函數可以獲取CURL請求輸出的相關信息。該函數返回一個關聯數組,包含如網路地址、內容編碼、HTTP狀態碼等數據。
curl_getinfo()函數還有一個可選參數opt,通過設置常量,可以返回指定欄位的信息。例如,設置opt為CURLINFO_TOTAL_TIME,則只返回總傳輸消耗的時間。
使用CURL發送GET請求時,需要拼裝格式正確的URL。PHP提供了http_build_query函數,用於將關聯數組轉換為GET請求字元串。結合CURL發送HTTP請求的一般流程,可以創建一個發送GET請求的函數。
使用CURL發送POST請求時,可以通過設置CURLOPT_POSTFIELDS選項,將POST字元串數據放在請求正文中。同時,設置CURL_POST為true,標識請求為POST請求。在POST請求中,也可以傳輸GET數據,只需在URL中拼裝GET請求數據即可。