python網路請求

1. python怎麼響應後端發送get，post請求的介面

測試用CGI,名字為test.py，放在apache的cgi-bin目錄下:
#!/usr/bin/Python
import cgi
def main():
print "Content-type: text/html "
form = cgi.FieldStorage()
if form.has_key("ServiceCode") and form["ServiceCode"].value != "":
print "<h1> Hello",form["ServiceCode"].value,"</h1>"
else:
print "<h1> Error! Please enter first name.</h1>"
main()

python發送post和get請求

get請求：

使用get方式時，請求數據直接放在url中。
方法一、
import urllib
import urllib2

url = "http://192.168.81.16/cgi-bin/python_test/test.py?ServiceCode=aaaa"

req = urllib2.Request(url)
print req

res_data = urllib2.urlopen(req)
res = res_data.read()
print res

方法二、
import httplib

url = "http://192.168.81.16/cgi-bin/python_test/test.py?ServiceCode=aaaa"

conn = httplib.HTTPConnection("192.168.81.16")
conn.request(method="GET",url=url)

response = conn.getresponse()
res= response.read()
print res

post請求：

使用post方式時，數據放在data或者body中，不能放在url中，放在url中將被忽略。
方法一、
import urllib
import urllib2

test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)

requrl = "http://192.168.81.16/cgi-bin/python_test/test.py"

req = urllib2.Request(url = requrl,data =test_data_urlencode)
print req

res_data = urllib2.urlopen(req)
res = res_data.read()
print res

方法二、
import urllib
import httplib
test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)

requrl = "http://192.168.81.16/cgi-bin/python_test/test.py"
headerdata = {"Host":"192.168.81.16"}

conn = httplib.HTTPConnection("192.168.81.16")

conn.request(method="POST",url=requrl,body=test_data_urlencode,headers = headerdata)

response = conn.getresponse()

res= response.read()

print res
對python中json的使用不清楚，所以臨時使用了urllib.urlencode(test_data)方法;

模塊urllib,urllib2,httplib的區別
httplib實現了http和https的客戶端協議，但是在python中，模塊urllib和urllib2對httplib進行了更上層的封裝。

介紹下例子中用到的函數：
1、HTTPConnection函數
httplib.HTTPConnection(host[,port[,stict[,timeout]]])
這個是構造函數，表示一次與伺服器之間的交互，即請求/響應
host 標識伺服器主機(伺服器IP或域名)
port 默認值是80
strict 模式是False，表示無法解析伺服器返回的狀態行時，是否拋出BadStatusLine異常
例如:
conn = httplib.HTTPConnection("192.168.81.16"，80) 與伺服器建立鏈接。

2、HTTPConnection.request(method,url[,body[,header]])函數
這個是向伺服器發送請求
method 請求的方式，一般是post或者get，

例如：

method="POST"或method="Get"
url 請求的資源，請求的資源(頁面或者CGI,我們這里是CGI)

例如：

url="http://192.168.81.16/cgi-bin/python_test/test.py" 請求CGI

或者

url="http://192.168.81.16/python_test/test.html" 請求頁面
body 需要提交到伺服器的數據，可以用json，也可以用上面的格式，json需要調用json模塊
headers 請求的http頭headerdata = {"Host":"192.168.81.16"}
例如:
test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)
requrl = "http://192.168.81.16/cgi-bin/python_test/test.py"
headerdata = {"Host":"192.168.81.16"}
conn = httplib.HTTPConnection("192.168.81.16"，80)
conn.request(method="POST",url=requrl,body=test_data_urlencode,headers = headerdata)
conn在使用完畢後，應該關閉，conn.close()

3、HTTPConnection.getresponse()函數
這個是獲取http響應，返回的對象是HTTPResponse的實例。

4、HTTPResponse介紹：
HTTPResponse的屬性如下：
read([amt]) 獲取響應消息體，amt表示從響應流中讀取指定位元組的數據，沒有指定時，將全部數據讀出；
getheader(name[,default]) 獲得響應的header，name是表示頭域名，在沒有頭域名的時候，default用來指定返回值
getheaders() 以列表的形式獲得header
例如：

date=response.getheader('date');
print date
resheader=''
resheader=response.getheaders();
print resheader

列形式的響應頭部信息:

[('content-length','295'),('accept-ranges','bytes'),('server','Apache'),('last-modified','Sat,31Mar201210:07:02GMT'),('connection','close'),('etag','"e8744-127-4bc871e4fdd80"'),('date','Mon,03Sep201210:01:47GMT'),('content-type','text/html')]

date=response.getheader('date');
print date

取出響應頭部的date的值。

******************************************************************************************************************************************************************************************************************************************************

所謂網頁抓取，就是把URL地址中指定的網路資源從網路流中讀取出來，保存到本地。
類似於使用程序模擬IE瀏覽器的功能，把URL作為HTTP請求的內容發送到伺服器端， 然後讀取伺服器端的響應資源。

在Python中，我們使用urllib2這個組件來抓取網頁。
urllib2是Python的一個獲取URLs(Uniform Resource Locators)的組件。

它以urlopen函數的形式提供了一個非常簡單的介面。

最簡單的urllib2的應用代碼只需要四行。

我們新建一個文件urllib2_test01.py來感受一下urllib2的作用：

import urllib2
response = urllib2.urlopen('http://www..com/')
html = response.read()
print html

按下F5可以看到運行的結果：

我們可以打開網路主頁，右擊，選擇查看源代碼（火狐OR谷歌瀏覽器均可），會發現也是完全一樣的內容。

也就是說，上面這四行代碼將我們訪問網路時瀏覽器收到的代碼們全部列印了出來。

這就是一個最簡單的urllib2的例子。

除了"http:"，URL同樣可以使用"ftp:"，"file:"等等來替代。

HTTP是基於請求和應答機制的：

客戶端提出請求，服務端提供應答。

urllib2用一個Request對象來映射你提出的HTTP請求。

在它最簡單的使用形式中你將用你要請求的地址創建一個Request對象，

通過調用urlopen並傳入Request對象，將返回一個相關請求response對象，

這個應答對象如同一個文件對象，所以你可以在Response中調用.read()。

我們新建一個文件urllib2_test02.py來感受一下：

import urllib2
req = urllib2.Request('http://www..com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page

可以看到輸出的內容和test01是一樣的。

urllib2使用相同的介面處理所有的URL頭。例如你可以像下面那樣創建一個ftp請求。

req = urllib2.Request('ftp://example.com/')

在HTTP請求時，允許你做額外的兩件事。

1.發送data表單數據

這個內容相信做過Web端的都不會陌生，

有時候你希望發送一些數據到URL(通常URL與CGI[通用網關介面]腳本，或其他WEB應用程序掛接)。

在HTTP中,這個經常使用熟知的POST請求發送。

這個通常在你提交一個HTML表單時由你的瀏覽器來做。

並不是所有的POSTs都來源於表單，你能夠使用POST提交任意的數據到你自己的程序。

一般的HTML表單，data需要編碼成標准形式。然後做為data參數傳到Request對象。

編碼工作使用urllib的函數而非urllib2。

我們新建一個文件urllib2_test03.py來感受一下：

import urllib
import urllib2
url = 'http://www.someserver.com/register.cgi'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
data = urllib.urlencode(values) # 編碼工作
req = urllib2.Request(url, data) # 發送請求同時傳data表單
response = urllib2.urlopen(req) #接受反饋的信息
the_page = response.read() #讀取反饋的內容

如果沒有傳送data參數，urllib2使用GET方式的請求。

GET和POST請求的不同之處是POST請求通常有"副作用"，

它們會由於某種途徑改變系統狀態(例如提交成堆垃圾到你的門口)。

Data同樣可以通過在Get請求的URL本身上面編碼來傳送。

import urllib2
import urllib
data = {}
data['name'] = 'WHY'
data['location'] = 'SDU'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
print url_values
name=Somebody+Here&language=Python&location=Northampton
url = 'http://www.example.com/example.cgi'
full_url = url + '?' + url_values
data = urllib2.open(full_url)

這樣就實現了Data數據的Get傳送。

2.設置Headers到http請求

有一些站點不喜歡被程序（非人為訪問）訪問，或者發送不同版本的內容到不同的瀏覽器。

默認的urllib2把自己作為「Python-urllib/x.y」(x和y是Python主版本和次版本號,例如Python-urllib/2.7)，

這個身份可能會讓站點迷惑，或者乾脆不工作。

瀏覽器確認自己身份是通過User-Agent頭，當你創建了一個請求對象，你可以給他一個包含頭數據的字典。

下面的例子發送跟上面一樣的內容，但把自身模擬成Internet Explorer。

（多謝大家的提醒，現在這個Demo已經不可用了，不過原理還是那樣的）。

import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()

以上就是python利用urllib2通過指定的URL抓取網頁內容的全部內容，非常簡單吧，希望對大家能有所幫助

2. Python網路編程5-實現DHCP Client

  DHCP（Dynamic Host Configuration Protocol，動態主機配置協議），前身是BOOTP協議，是一個區域網的網路協議，使用UDP協議工作，統一使用兩個IANA分配的埠：67（伺服器端），68（客戶端）。主要作用是集中的管理、分配IP地址，使client動態的獲得IP地址、Gateway地址、DNS伺服器地址等信息。

option欄位
  DHCP報文中的Options欄位可以用來存放普通協議中沒有定義的控制信息和參數。如果用戶在DHCP伺服器端配置了Options欄位，DHCP客戶端在申請IP地址的時候，會通過伺服器端回應的DHCP報文獲得Options欄位中的配置信息。

獲取IP地址過程

  實驗使用的linux 主機由兩個網路介面，其中ens33使用DHCP獲取IP地址，ens37使用靜態IP地址；因此需要使用ens33來發送數據包。

  Change_MAC.py用於MAC地址與Bytes類型相互轉換。

  DHCP_Discover.py用於發送DHCP Discover報文;其中GET_MAC.py見ARP章節。

  DHCP_Request.py用於發送DHCP Request報文。

  DHCP_FULL.py用於完成DHCP Client與DHCP Server的報文交互

Wireshark對遠程linux主機抓包，結果如下
客戶端以廣播發送DHCP Discover包，其中報文操作類型為1（請求報文），DHCP客戶端的MAC地址設置為00:0c:29:03:a1:08，option53設置報文類型為Discover，option55（請求選項列表）中包含請求的參數。

伺服器以單播向客戶端回復信息，其中報文操作類型為2（應答報文），分配給客戶端的IP為192.168.160.146,option 53設置報文類型為offer，Option 54設置伺服器標識為192.168.160.254，其他option為客戶端請求列表的應答。

值得注意的是，交互的四個報文中Transaction ID均為0x00000000，表明是同一次DHCP交互報文。

3. python向指定ip發送數據包會造成

提到網路編程，我們就不得不提socket（衡巧氏套接字），打開一個socket需要知道目標ip和埠，再指定協議類型即可，應用程序通常通過"套接字"向網路發出請求或者應答網路請求，使主機間或者一台計算機上的進程間可以通訊。python提供了咐散兩個socket模塊：
低級別的網路服務支持基本的 Socket，它提供了標準的 BSD Sockets API，可以訪問底層操作寬態系統Socket介面的全部方法。

4. Python網路請求和解析json數據

Python 的 json 模塊提供了兩個函數 json.mps() 和 json.loads() 來編碼和解碼JSON數據。

如果要處理的是文件而不是字元串，可以使用 json.mp() 和 json.load() 來編碼和解碼JSON數據。例如：

5. 如何通過網路爬蟲獲取網站數據

這里以python為例，簡單介紹一下如何通過python網路爬蟲獲取網站數據，主要分為靜態網頁數據的爬埋山差取和動態網頁數據的爬取，實驗環境win10+python3.6+pycharm5.0，主要內容如下：

靜態網頁數據

這里的數據都嵌套在網頁源碼中，所以直接requests網頁源碼進行解析就行，下面我簡單介紹一下，這里以爬取糗事網路上的數據為例：

1.首先，打開原網頁，如下，這里假設要爬取的欄位包括昵稱、內容、好笑數和評論數：

接著查看網頁源碼，如下，可以看的出來，所有的數據都嵌套在網頁中：

2.然後針對以上網頁結構，我們就可以直接編寫爬蟲代碼，解析網頁並提取出我們需要的數據了，測試代碼如下，非常簡單，主要用到requests+BeautifulSoup組合，其中requests用於獲取網頁源碼，BeautifulSoup用於解析網頁提取數據：

點擊運行這個程序，效果如下，已經成功爬取了到我們需要的數據：

動態網頁數據

這里的數據都沒有在網頁源碼中（所以直接請求頁面是獲取不到任何數據的），大部分情況下都是存儲在一唯唯個json文件中，只有在網頁更新的時候，才會載入數據，下面我簡單介紹一下這種方式，這里以爬取人人貸上面的數據為例：

1.首先，打開原網頁，如下，這里假設要爬取的數據包括年利率，借款標題，期限，金額和進度：

接著按F12調出開發者工具，依次點擊「Network」->「XHR」，F5刷新頁面，就可以找打動態載入的json文件，如下，也就是我們需要爬彎皮取的數據：

2.然後就是根據這個json文件編寫對應代碼解析出我們需要的欄位信息，測試代碼如下，也非常簡單，主要用到requests+json組合，其中requests用於請求json文件，json用於解析json文件提取數據：

點擊運行這個程序，效果如下，已經成功爬取到我們需要的數據：

至此，我們就完成了利用python網路爬蟲來獲取網站數據。總的來說，整個過程非常簡單，python內置了許多網路爬蟲包和框架（scrapy等），可以快速獲取網站數據，非常適合初學者學習和掌握，只要你有一定的爬蟲基礎，熟悉一下上面的流程和代碼，很快就能掌握的，當然，你也可以使用現成的爬蟲軟體，像八爪魚、後羿等也都可以，網上也有相關教程和資料，非常豐富，感興趣的話，可以搜一下，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言進行補充。

6. python爬蟲怎樣向dwr框架發送post請求

1. 安裝網路請求庫，比如 requests

2. 引用庫，import requests
   

3. 構造請求並發送，比如 requests.post(內容）
   

7. 全方面的掌握Requests庫的使用【python爬蟲入門進階】（02）

上一篇文章簡單的介紹了 爬蟲相關的基礎知識點，介紹了一個標准爬蟲程序的三個步驟 。這篇文章就讓我們接著來學習。
本文重點介紹requests庫的使用以及爬蟲協議。之前也寫了一篇 Requests庫使用的博客 ，有興趣的小夥伴可以去看看。

前面介紹了Requests庫是用來抓取網頁源碼，請求介面的利器，整體上是要比urllib庫的request更加好用的庫。官網上將其稱之為唯一一個非轉基因的Python HTTP庫，人類可以安全享用。
Requests庫有7個主要方法。

不過我們平常最常用的方法還是GET方法和POST方法。

get請求方法是爬蟲中最常用到的方法，因為爬蟲主要就是爬取網頁的信息。最基礎的使用是

這里需要通過 res.encoding='utf-8' 設置響應結果的編碼格式是utf-8。不然可能會出現中文亂碼
如果響應結果是二進制數據的話則需要通過 res.content 方法來提取響應結果。
設置編碼的方式也可以是 res.content.decode('utf-8') 。
即

有時候get請求也需要傳入參數，這里可以直接將參數拼接到URL上或者通過params參數傳入一個字典。

運行結果是：

get請求只能傳入簡單的參數，如果參數比較復雜或者傳入的參數比較多的話則GET請求就不再適用了，這時候就需要適用post請求方法了。
Post請求的請求類型有三種：

以表單的方式提交數據是POST請求的默認的請求格式，只需要將參數放在一個字典中進行傳入即可。

這里將請求頭的數據放在一個名為header的字典中，然後在請求時通過headers參數傳入。在請求中設置了內容類型是 application/json ,編碼格式是 charset=utf-8
傳入的是一個json字元串，通過data參數進行傳入。json字元串可以直接寫也可以通過 json.mps(dict) 方法將一個字典序列化,就像下面這樣。

文件上傳與本節爬蟲的內容無關，在此就不過多介紹了。有興趣的小夥伴可以看看 Python中如何編寫介面，以及如何請求外部介面 這篇文章。

在網路請求中，我們常常會遇到狀態碼是3開頭的重定向問題，在Requests中是默認開啟允許重定向的，即遇到重定向時，會自動繼續訪問。通過將allow_redirects 屬性設置為False不允許重定向。

通過timeout屬性可以設置超時時間，單位是秒。get方法和post方法均可設置。

通過status_code屬性可以獲取介面的響應碼。

有時候我們使用了抓包工具，這時候由於抓包證書提供的證書並不是受信任的數字證書頒發機構頒發的，所以證書的驗證會失敗，所以我們就需要關閉證書驗證。在請求的時候把verify參數設置為False就可以關閉證書驗證了。

爬蟲協議也叫做robots協議，告訴網路蜘蛛哪些頁面可以爬取，哪些頁面不能爬取
爬蟲文件的規范是：

允許所有的機器人

本文詳細介紹了Request庫的使用

8. Python如何使用https請求

是發送請求吧，要發送請求的話，可以去網上下載request庫，自行調用，然後可以去csdn尋找使用方法，python內部是不支持發送網路請求包的哦QwQ。

9. python爬蟲需要會什麼

python爬蟲要學什麼？讓我們一起了解一下吧！
1、學習計算機網路協議基礎，了解一個完整的網路請求過程，大致了解網路慶山協議（http協議，tcp-ip協議），了解socket編程，為後期學習爬蟲打下扎實的基礎。
2、學習前端基礎，你需要掌握html、css和JavaScript之間的關系野差蠢，瀏覽器的載入過程，ajax、json和xml，GET、POST方法。
3、學習python爬蟲相關知識，比如最常使用的爬蟲庫requests，要知道如何用requests發送請求獲取數據。網頁定位和選取，比如beautifulsoup、xpath、css選擇器，數據處理用正則表達式。
4、學習數據存儲知識，比如用python將抓取的數據自動導出Excel或者資料庫中。
拓展：爬蟲python能做什麼
1、收集數據
python爬蟲程序可用於收集數據。這也是最直接和最常用的方法。由於爬蟲程序是一個程序，程序運行得非常快，不會因為重復的事情而感到疲倦，因此使用爬蟲程序獲取大量數據變得非常簡單和快速。
2、調研
比如要調研一家電商公司，想知道他們的商品銷售情況。這家公司聲稱每月銷售額達數億元。如果你使用頌陪爬蟲來抓取公司網站上所有產品的銷售情況，那麼你就可以計算出公司的實際總銷售額。
3、刷流量和秒殺
刷流量是python爬蟲的自帶的功能。當一個爬蟲訪問一個網站時，如果爬蟲隱藏得很好，網站無法識別訪問來自爬蟲，那麼它將被視為正常訪問。
除了刷流量外，還可以參與各種秒殺活動，包括但不限於在各種電商網站上搶商品，優惠券，搶機票和火車票。
今天的分享就是這些，希望能幫助到大家！

10. python3中使用urllib進行https請求

剛入門python學習網路爬蟲基礎，我使用的python版本是python3.6.4，學習的教程參考 Python爬蟲入門教程

python3.6的版本已經沒有urllib2這個庫了，所以我也不需要糾結urllib和urllib2的區別和應用場景

參考這篇官方文檔 HOWTO Fetch Internet Resources Using The urllib Package 。關於http(s)請求一般就get和post兩種方式較為常用，所以寫了以下兩個小demo，url鏈接隨便找的，具體場景具體變化，可參考注釋中的基本思路

POST請求：

GET請求：

注意，
使用ssl創建未經驗證的上下文，在urlopen中需傳入上下文參數
urllib.request.urlopen(full_url, context=context)
這是Python 升級到 2.7.9 之後引入的一個新特性，所以在使用urlopen打開https鏈接會遇到如下報錯：
ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:777)
所以，當使用urllib.urlopen打開一個 https 鏈接時，需要先驗證一次 SSL 證書
context = ssl._create_unverified_context()
或者或者導入ssl時關閉證書驗證
ssl._create_default_https_context =ssl._create_unverified_context