python登錄網頁
㈠ 如何用 python 爬取需要登錄的網站
最近我必須執行一項從一個需要登錄的網站上爬取一些網頁的操作。它沒有我想像中那麼簡單，因此我決定為它寫一個輔助教程。
在本教程中，我們將從我們的bitbucket賬戶中爬取一個項目列表。
教程中的代碼可以從我的Github中找到。
我們將會按照以下步驟進行：
提取登錄需要的詳細信息
執行站點登錄
爬取所需要的數據
在本教程中，我使用了以下包（可以在requirements.txt中找到）：
Python
1
2
requests
lxml
步驟一：研究該網站
打開登錄頁面
進入以下頁面 「bitbucket.org/account/signin」。你會看到如下圖所示的頁面（執行注銷，以防你已經登錄）
仔細研究那些我們需要提取的詳細信息，以供登錄之用
在這一部分，我們會創建一個字典來保存執行登錄的詳細信息：
1. 右擊 「Username or email」 欄位，選擇「查看元素」。我們將使用 「name」 屬性為 「username」 的輸入框的值。「username」將會是 key 值，我們的用戶名/電子郵箱就是對應的 value 值（在其他的網站上這些 key 值可能是 「email」，「 user_name」，「 login」，等等）。
2. 右擊 「Password」 欄位，選擇「查看元素」。在腳本中我們需要使用 「name」 屬性為 「password」的輸入框的值。「password」 將是字典的 key 值，我們輸入的密碼將是對應的 value 值（在其他網站key值可能是 「userpassword」，「loginpassword」，「pwd」，等等）。
3. 在源代碼頁面中，查找一個名為 「csrfmiddlewaretoken」 的隱藏輸入標簽。「csrfmiddlewaretoken」 將是 key 值，而對應的 value 值將是這個隱藏的輸入值（在其他網站上這個 value 值可能是一個名為 「csrftoken」，「authenticationtoken」的隱藏輸入值）。列如：「」。
最後我們將會得到一個類似這樣的字典：
Python
1
2
3
4
5
payload = {
"username": "<USER NAME>",
"password": "<PASSWORD>",
"csrfmiddlewaretoken": "<CSRF_TOKEN>"
}
請記住，這是這個網站的一個具體案例。雖然這個登錄表單很簡單，但其他網站可能需要我們檢查瀏覽器的請求日誌，並找到登錄步驟中應該使用的相關的 key 值和 value 值。
步驟2：執行登錄網站
對於這個腳本，我們只需要導入如下內容：
Python
1
2
import requests
from lxml import html
首先，我們要創建session對象。這個對象會允許我們保存所有的登錄會話請求。
Python
1
session_requests = requests.session()
第二，我們要從該網頁上提取在登錄時所使用的 csrf 標記。在這個例子中，我們使用的是 lxml 和 xpath 來提取，我們也可以使用正則表達式或者其他的一些方法來提取這些數據。
Python
1
2
3
4
5
login_url = "n/?next=/"
result = session_requests.get(login_url)
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]
**更多關於xpath 和lxml的信息可以在這里找到。
接下來，我們要執行登錄階段。在這一階段，我們發送一個 POST 請求給登錄的 url。我們使用前面步驟中創建的 payload 作為 data 。也可以為該請求使用一個標題並在該標題中給這個相同的 url添加一個參照鍵。
Python
1
2
3
4
5
result = session_requests.post(
login_url,
data = payload,
headers = dict(referer=login_url)
)
步驟三：爬取內容
現在，我們已經登錄成功了，我們將從bitbucket dashboard頁面上執行真正的爬取操作。
Python
1
2
3
4
5
url = '/overview'
result = session_requests.get(
url,
headers = dict(referer = url)
)
為了測試以上內容，我們從 bitbucket dashboard 頁面上爬取了項目列表。我們將再次使用 xpath 來查找目標元素，清除新行中的文本和空格並列印出結果。如果一切都運行 OK，輸出結果應該是你 bitbucket 賬戶中的 buckets / project 列表。
Python
1
2
3
4
5
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
print bucket_names
你也可以通過檢查從每個請求返回的狀態代碼來驗證這些請求結果。它不會總是能讓你知道登錄階段是否是成功的，但是可以用來作為一個驗證指標。
例如：
Python
1
2
result.ok # 會告訴我們最後一次請求是否成功
result.status_code # 會返回給我們最後一次請求的狀態
㈡ Python模擬登錄知乎，為什麼403 forbidden了
1. 找到正確的登錄鏈接，應該是：self.baseUrl + '/login/email'
2. 這個request.Request(self.baseUrl + '/#signin', postdata.encode('utf-8'))沒用過不清楚，所以不知道有沒有帶上前兩個請求的cookies。我是改成：
self.opener.open(self.baseUrl + '/login/email', postdata.encode('utf-8'))這樣訪問的。
通常登錄403問題都是：
1. 登錄api不對，
2. 前後訪問沒有帶cookies，導致token無效、驗證碼無效。
附上改後的，只會用requests的我，請勿噴啊~~~：
import cookielib,urllib2
import re,urllib,json
class ZhiHuSpider(object):
def __init__(self):
self.baseUrl = 'http://www.hu.com/'
self.captchaUrl = 'http://www.hu.com/captcha.gif?r='
self.cookies = cookielib.CookieJar()
self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookies))
# 獲取網頁xsrf值
def getXsrf(self):
html = None
html = self.opener.open(self.baseUrl).read().decode('utf-8')
xsrf_match = re.search(r'name="_xsrf" value="(.*?)"/>', html)
if xsrf_match:
return xsrf_match.group(1).strip()
# 將驗證碼保存在本地
def getCaptchaCode(self):
data = self.opener.open(self.captchaUrl).read()
fName = self.captchaUrl.split('/')[3].split('?')[0]
f = open(fName, 'wb')
f.write(data)
f.close()
print(u'驗證碼已保存在本地！請查看！')
# 模擬登錄知乎
def login(self):
form = { '_xsrf': self.getXsrf(),
'email': '[email protected]',
'password': 'password' }
self.getCaptchaCode()
code = input(u'請輸入驗證碼：')
form['captcha'] = code
postdata = urllib.urlencode(form)#parse.urlencode(form)
op = self.opener.open(self.baseUrl + '/login/email', postdata.encode('utf-8'))
#req = request.Request(self.baseUrl + '/#signin', postdata.encode('utf-8'))
a = op.read().decode()
a=json.loads(a)
print a,type(a)
print a['msg']
if __name__ == '__main__':
spider = ZhiHuSpider()
spider.login()
㈢ 使用python是否能打開網頁
可以啊，不僅可以打開，還可以將網頁的內容爬取下來
下面這段代碼就可以實現：
importurllib.request
#網址
url="http://www..com/"
#請求
request=urllib.request.Request(url)
#爬取結果
response=urllib.request.urlopen(request)
data=response.read()
#設置解碼方式
data=data.decode('utf-8')
#列印結果
print(data)
#列印爬取網頁的各類信息
print(type(response))
print(response.geturl())
print(response.info())
print(response.getcode())
它的運行結果如下：
你可以拷貝到自己的運行環境去試一試