httppython
A. 如何在每個url前加上http:爬蟲python
1請求行 最開始GET 開頭的一串,GET表示請求方式,後面跟的是請求參數、HTTP協議及版本號
2請求頭Request Headers Network——>點擊url地址——>點擊headers:找到Request Headers,點擊view source。
python是一種程序語言
B. 如何使用python立即發送http請求參數
1 首先安裝requests這個模塊，方法是 輸入pip install requests。當然你要裝好pip這個包管理器。
2 然後
import requests
url = " " # 這里是你的url
your_param = {'Refer':"sina_index"} # 這里是你要發送的請求參數！， 它在url後邊加上 ??Refer=sina_index這樣子的東東
result = requests.get(url, param = your_param) # 發送請求，如果url是http://s.weibo.com/weibo/s 那麼 這句話的的效果就是 http://s.weibo.com/weibo/s?Refer=sina_index
result_final = result.text #這樣你就獲取到了你發送的這個URL + 參數 之後的結果
全部手打的，採納唄。
C. python怎樣接收http協議返回的一個zip包
從頭開始,找到兩個換行符(前面是HEADER,包括伺服器、日期、長度、是否支持斷點等信息),後面的就是文件內容了.
D. python 什麼是http非同步請求
http請求為耗時IO操作，如果同步阻塞的話，進程會等待請求完成。
非同步的話，進程會發出http請求(請求以後不需要cpu)，然後跳轉到別的任務，直到http請求完成，再調回來繼續處理得到的http回應。
最經典的例子就是燒水，同步阻塞就是你一直蹲在爐子旁邊等待水燒開，而非同步是把水壺放在爐子上，等水開了以後茶壺會叫，這時候你聽到聲音就會回來處理開水～
E. 怎麼知道python發送了什麼http請求
本文實例講述了python通過get,post方式發送http請求和接收http響應的方法。分享給大家供大家參考。具體如下：
測試用CGI,名字為test.py，放在apache的cgi-bin目錄下:
#!/usr/bin/python
import cgi
def main():
print "Content-type: text/html\n"
form = cgi.FieldStorage()
if form.has_key("ServiceCode") and form["ServiceCode"].value != "":
print "<h1> Hello",form["ServiceCode"].value,"</h1>"
else:
print "<h1> Error! Please enter first name.</h1>"
main()
python發送post和get請求
get請求：
使用get方式時，請求數據直接放在url中。
方法一、
import urllib
import urllib2
url = "test.py?ServiceCode=aaaa"
req = urllib2.Request(url)
print req
res_data = urllib2.urlopen(req)
res = res_data.read()
print res
方法二、
import httplib
url = "hest/test.py?ServiceCode=aaaa"
conn = httplib.HTTPConnection("192.168.81.16")
conn.request(method="GET",url=url)
response = conn.getresponse()
res= response.read()
print res
post請求：
使用post方式時，數據放在data或者body中，不能放在url中，放在url中將被忽略。
方法一、
import urllib
import urllib2
test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)
requrl = "/python_test/test.py"
req = urllib2.Request(url = requrl,data =test_data_urlencode)
print req
res_data = urllib2.urlopen(req)
res = res_data.read()
print res
方法二、
import urllib
import httplib
test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)
requrl = "python_test/test.py"
headerdata = {"Host":"116"}
conn = httplib.HTTPConnection("192.168.81.16")
conn.request(method="POST",url=requrl,body=test_data_urlencode,headers = headerdata)
response = conn.getresponse()
res= response.read()
print res
對python中json的使用不清楚，所以臨時使用了urllib.urlencode(test_data)方法;
模塊urllib,urllib2,httplib的區別
httplib實現了http和https的客戶端協議，但是在python中，模塊urllib和urllib2對httplib進行了更上層的封裝。
介紹下例子中用到的函數：
1、HTTPConnection函數
httplib.HTTPConnection(host[,port[,stict[,timeout]]])
這個是構造函數，表示一次與伺服器之間的交互，即請求/響應
host 標識伺服器主機(伺服器IP或域名)
port 默認值是80
strict 模式是False，表示無法解析伺服器返回的狀態行時，是否拋出BadStatusLine異常
例如:
conn = httplib.HTTPConnection("1.16"，80) 與伺服器建立鏈接。
2、HTTPConnection.request(method,url[,body[,header]])函數
這個是向伺服器發送請求
method 請求的方式，一般是post或者get，
例如：
method="POST"或method="Get"
url 請求的資源，請求的資源(頁面或者CGI,我們這里是CGI)
例如：
url="htti-bin/python_test/test.py" 請求CGI
或者
url="ht_test/test.html" 請求頁面
body 需要提交到伺服器的數據，可以用json，也可以用上面的格式，json需要調用json模塊
headers 請求的http頭headerdata = {"Host":"192.168.81.16"}
例如:
test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)
requrl = "hgi-bin/python_test/test.py"
headerdata = {"Host":"192.116"}
conn = httplib.HTTPConnection("196"，80)
conn.request(method="POST",url=requrl,body=test_data_urlencode,headers = headerdata)
conn在使用完畢後，應該關閉，conn.close()
3、HTTPConnection.getresponse()函數
這個是獲取http響應，返回的對象是HTTPResponse的實例。
4、HTTPResponse介紹：
HTTPResponse的屬性如下：
read([amt]) 獲取響應消息體，amt表示從響應流中讀取指定位元組的數據，沒有指定時，將全部數據讀出；
getheader(name[,default]) 獲得響應的header，name是表示頭域名，在沒有頭域名的時候，default用來指定返回值
getheaders() 以列表的形式獲得header
例如：
date=response.getheader('date');
print date
resheader=''
resheader=response.getheaders();
print resheader
列形式的響應頭部信息:
[('content-length', '295'), ('accept-ranges', 'bytes'), ('server', 'Apache'), ('last-modified', 'Sat, 31 Mar 2012 10:07:02 GMT'), ('connection', 'close'), ('etag', '"e8744-127-4bc871e4fdd80"'), ('date', 'Mon, 03 Sep 2012 10:01:47 GMT'), ('content-type', 'text/html')]
date=response.getheader('date');
print date
取出響應頭部的date的值。
F. python http post報錯
三個問題確認一下：
payload中action的值應該帶著.aspx吧？
確認你的key和condition的來源，可能提交的值不對。
頁面訪問是否需要一個session，用requests.session()
G. 如何用Python寫一個http post請求
python發送post和get請求
get請求：
使用get方式時，請求數據直接放在url中。
方法一、
importurllib
importurllib2
url="<ahref="http://192.168.81.16/cgi-bin/python_test/test.py?ServiceCode=aaaa""target="_blank">http://192.168.81.16/cgi-bin/python_test/test.py?ServiceCode=aaaa"</a>
req=urllib2.Request(url)
printreq
res_data=urllib2.urlopen(req)
res=res_data.read()
printres
方法二、
importhttplib
url="<ahref="http://192.168.81.16/cgi-bin/python_test/test.py?ServiceCode=aaaa""target="_blank">http://192.168.81.16/cgi-bin/python_test/test.py?ServiceCode=aaaa"</a>
conn=httplib.HTTPConnection("192.168.81.16")
conn.request(method="GET",url=url)
response=conn.getresponse()
res=response.read()
printres
post請求：
使用post方式時，數據放在data或者body中，不能放在url中，放在url中將被忽略。
方法一、
importurllib
importurllib2
test_data={'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode=urllib.urlencode(test_data)
requrl="<ahref="http://192.168.81.16/cgi-bin/python_test/test.py""target="_blank">http://192.168.81.16/cgi-bin/python_test/test.py"</a>
req=urllib2.Request(url=requrl,data=test_data_urlencode)
printreq
res_data=urllib2.urlopen(req)
res=res_data.read()
printres
方法二、
importurllib
importhttplib
test_data={'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode=urllib.urlencode(test_data)
requrl="<ahref="http://192.168.81.16/cgi-bin/python_test/test.py""target="_blank">http://192.168.81.16/cgi-bin/python_test/test.py"</a>
headerdata={"Host":"192.168.81.16"}
conn=httplib.HTTPConnection("192.168.81.16")
conn.request(method="POST",url=requrl,body=test_data_urlencode,headers=headerdata)
response=conn.getresponse()
res=response.read()
printres
H. python探測哪些埠開了http服務
第一個問題沒啥，用0作為埠那麼就會選擇本地沒有使用的埠。 第二個要麼用python序列化的方法，只要對端用反序列化解釋就可以。要麼用自定義的，藉助於struct的pack/unpack，或者如果跟c通訊，用ctypes定義結構體也可以。看你需要了
I. python 爬蟲報錯%20http什麼意思
python 爬蟲報錯%20http什麼意思
使用python的單元測試框架，可以建立測試類，構造測試集。
測試類中包含了common的測試方法定義，包括測試開始前建立測試環境的setUp方法和測試完成後清理還原環境的tearDown方法，最好按照約定規則（以test開頭）來命名所有的測試方法。
測試集允許你根據測試策略組合不同的測試用例並實施。