當前位置:首頁 » 編程語言 » php讀取網頁

php讀取網頁

發布時間: 2024-11-17 13:29:30

php的cURL庫簡單和有效地抓網頁


使用PHP的cURL庫可以簡單和有效地去抓網頁。你只需要運行一個腳本,然後分析一下你所抓取的網頁,然後就可以以程序的方式得到你想要的數據了。無論是你想從從一個鏈接上取部分數據,或是取一個XML文件並把其導入資料庫,那怕就是簡單的獲取網頁內容,cURL 是一個功能強大的PHP庫。本文主要講述如果使用這個PHP庫。
啟用 cURL 設置
首先,我們得先要確定我們的PHP是否開啟了這個庫,你可以通過使用php_info()函數來得到這一信息。
?php
phpinfo();
?
如果你可以在網頁上看到下面的輸出,那麼表示cURL庫已被開啟。
如果你看到的話,那麼你需要設置你的PHP並開啟這個庫。如果你是在Windows平台下,那麼非常簡單,你需要改一改你的php.ini文件的設置,找到php_curl.dll,並取消前面的分號注釋就行了。如下所示:
//取消下在的注釋
extension=php_curl.dll
如果你是在Linux下面,那麼,你需要重新編譯你的PHP了,編輯時,你需要打開編譯參數——在configure命令上加上「_with-curl」 參數。
一個小示例
如果一切就緒,下面是一個小常式:
?php
// 初始化一個 cURL 對象
$curl = curl_init();
// 設置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, '');
// 設置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 設置cURL 參數,要求結果保存到字元串中還是輸出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 運行cURL,請求網頁
$data = curl_exec($curl);
// 關閉URL請求
curl_close($curl);
// 顯示獲得的數據
var_mp($data);
?
如何POST數據
上面是抓取網頁的代碼,下面則是向某個網頁POST數據。假設我們有一個處理表單的網址,其可以接受兩個表單域,一個是電話號碼,一個是簡訊內容。
?php
$phoneNumber = �'
$message = 'This message was generated by curl and php'
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . 'MESSAGE=' . urlencode($message) . 'SUBMIT=Send'
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec();curl_close($ch);
?
從上面的程序我們可以看到,使用CURLOPT_POST設置HTTP協議的POST方法,而不是GET方法,然後以CURLOPT_POSTFIELDS設置POST的數據。
關於代理伺服器
下面是一個如何使用代理伺服器的示例。請注意其中高亮的代碼,代碼很簡單,我就不用多說了。
?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
curl_setopt($ch, CURLOPT_PROXY, ':1080');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');
$data = curl_exec();curl_close($ch);
?
關於SSL和Cookie
關於SSL也就是HTTPS協議,你只需要把CURLOPT_URL連接中的
關於Cookie,你需要了解下面三個參數:
CURLOPT_COOKIE,在當面的會話中設置一個cookie
CURLOPT_COOKIEJAR,當會話結束的時候保存一個Cookie
CURLOPT_COOKIEFILE,Cookie的文件。
HTTP伺服器認證
最後,我們來看一看HTTP伺服器認證的情況。
?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
curl_setopt(CURLOPT_USERPWD, '[username]:[password]')
$data = curl_exec();
curl_close($ch);
?
關於其它更多的內容,請參看相關的cURL手冊。

❷ php獲取網頁源碼內容有哪些辦法

可以參考以下幾種方法:

方法一: file_get_contents獲取

<span style="white-space:pre"></span>$url="http://www..com/";

<span style="white-space:pre"></span>$fh= file_get_contents

('http://www.hxfzzx.com/news/fzfj/');<span style="white-space:pre"></span>echo $fh;

拓展資料

PHP(外文名:PHP: Hypertext Preprocessor,中文名:「超文本預處理器」)是一種通用開源腳本語言。語法吸收了C語言、Java和Perl的特點,利於學習,使用廣泛,主要適用於Web開發領域。PHP 獨特的語法混合了C、Java、Perl以及PHP自創的語法。它可以比CGI或者Perl更快速地執行動態網頁。

用PHP做出的動態頁面與其他的編程語言相比,PHP是將程序嵌入到HTML(標准通用標記語言下的一個應用)文檔中去執行,執行效率比完全生成HTML標記的CGI要高許多;PHP還可以執行編譯後代碼,編譯可以達到加密和優化代碼運行,使代碼運行更快。

❸ PHP中怎樣發送post請求並獲取網頁

$post='POST數據';
//初始化
$curl=curl_init('URL');
$header=array();
$header[]='User-Agent:Mozilla/5.0(WindowsNT6.1)AppleWebKit/537.36(KHTML,likeGecko)Chrome/42.0.2311.90Safari/537.36';
curl_setopt($curl,CURLOPT_HTTPHEADER,$header);
//不輸出header頭信息
curl_setopt($curl,CURLOPT_HEADER,0);
//保存到字元串而不是輸出
curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);
//post數據
curl_setopt($curl,CURLOPT_POST,1);
//請求數據
curl_setopt($curl,CURLOPT_POSTFIELDS,$post);
//是否抓取跳轉後的頁面
curl_setopt($curl,CURLOPT_FOLLOWLOCATION,1);
$response=curl_exec($curl);
curl_close($curl);
echo$response;

熱點內容
解壓天堂 發布:2024-11-17 15:21:24 瀏覽:958
mac桌面文件夾 發布:2024-11-17 15:12:29 瀏覽:589
我的世界在伺服器如何更換材質 發布:2024-11-17 15:12:28 瀏覽:799
為什麼電信連接不上伺服器 發布:2024-11-17 15:12:26 瀏覽:553
ftp的主要功能 發布:2024-11-17 15:10:07 瀏覽:753
國際服吃雞為什麼顯示伺服器錯誤 發布:2024-11-17 14:59:51 瀏覽:960
路由表更新演算法 發布:2024-11-17 14:38:30 瀏覽:446
仙五前傳玩什麼配置 發布:2024-11-17 14:34:31 瀏覽:631
伺服器丟失如何恢復 發布:2024-11-17 14:34:27 瀏覽:661
各省百旺參數設置伺服器地址 發布:2024-11-17 14:27:04 瀏覽:383