當前位置:首頁 » 編程語言 » python登陸網頁

python登陸網頁

發布時間: 2024-09-20 05:08:39

python模擬登錄知乎,為什麼403 forbidden了

1. 找到正確的登錄鏈接,應該是:self.baseUrl + '/login/email'
2. 這個request.Request(self.baseUrl + '/#signin', postdata.encode('utf-8'))沒用過不清楚,所以不知道有沒有帶上前兩個請求的cookies。我是改成:
self.opener.open(self.baseUrl + '/login/email', postdata.encode('utf-8'))這樣訪問的。

通常登錄403問題都是:
1. 登錄api不對,
2. 前後訪問沒有帶cookies,導致token無效、驗證碼無效。

附上改後的,只會用requests的我,請勿噴啊~~~:
import cookielib,urllib2
import re,urllib,json

class ZhiHuSpider(object):
def __init__(self):
self.baseUrl = 'http://www.hu.com/'
self.captchaUrl = 'http://www.hu.com/captcha.gif?r='
self.cookies = cookielib.CookieJar()
self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookies))
# 獲取網頁xsrf值
def getXsrf(self):
html = None
html = self.opener.open(self.baseUrl).read().decode('utf-8')
xsrf_match = re.search(r'name="_xsrf" value="(.*?)"/>', html)
if xsrf_match:
return xsrf_match.group(1).strip()

# 將驗證碼保存在本地
def getCaptchaCode(self):
data = self.opener.open(self.captchaUrl).read()
fName = self.captchaUrl.split('/')[3].split('?')[0]
f = open(fName, 'wb')
f.write(data)
f.close()
print(u'驗證碼已保存在本地!請查看!')

# 模擬登錄知乎
def login(self):
form = { '_xsrf': self.getXsrf(),
'email': '[email protected]',
'password': 'password' }
self.getCaptchaCode()
code = input(u'請輸入驗證碼:')
form['captcha'] = code
postdata = urllib.urlencode(form)#parse.urlencode(form)
op = self.opener.open(self.baseUrl + '/login/email', postdata.encode('utf-8'))
#req = request.Request(self.baseUrl + '/#signin', postdata.encode('utf-8'))
a = op.read().decode()
a=json.loads(a)
print a,type(a)
print a['msg']

if __name__ == '__main__':
spider = ZhiHuSpider()
spider.login()

② python中模擬登陸成功如何跳轉到主頁

參考這個可以了,http://www.bubuko.com/infodetail-699326.html
#以post的方法訪問登陸頁面,訪問之後cookieJar會自定保存cookie
opener.open(login_page,data)
#以帶cookie的方式訪問頁面,這樣跳轉主頁就可以了
op=opener.open(url)
附上部分代碼如下:
def login(self,login_url):
data = {
'email': self.email,
'password': self.passwd
}
post_data = urllib.urlencode(data)
req = urllib2.Request(login_url,post_data, self.headers)
response = self.opener.open(req)
content = response.read()
pagesoup = BeautifulSoup(content,fromEncoding = 'utf-8')
return pagesoup

def recent_visit(self,soup):
title = soup.html.head.title
print title.renderContents().strip()
app_link_url = soup.find('li',{'class':'app-nav-item app-homepage'}).a['href']
print app_link_url #人人網主頁
app_link_op = self.opener.open(app_link_url)#跳轉主頁
app_link_soup = BeautifulSoup(app_link_op.read(),fromEncoding = 'utf-8')

③ 使用python是否能打開網頁

可以啊,不僅可以打開,還可以將網頁的內容爬取下來

下面這段代碼就可以實現:

importurllib.request

#網址
url="http://www..com/"

#請求
request=urllib.request.Request(url)

#爬取結果
response=urllib.request.urlopen(request)

data=response.read()

#設置解碼方式
data=data.decode('utf-8')

#列印結果
print(data)

#列印爬取網頁的各類信息

print(type(response))
print(response.geturl())
print(response.info())
print(response.getcode())

它的運行結果如下:

你可以拷貝到自己的運行環境去試一試

④ python+selenium怎樣循環登陸賬號

樓主可以事先將賬號和密碼存儲在一個字典中,也可以用pandas讀取賬號密碼信息,為方便展示,我就將賬號信息儲存在一個字典中,具體的代碼如下:
from selenium import webdriver
# 賬號和密碼信息
user_information = { "username1": "password1", "username2": "password2", "username3": "password3"}
# 使用循環遍歷字典進行賬號登錄
for username, password in user_information.items():
# 創建WebDriver對象,可根據實際情況選擇合適的瀏覽器驅動(如ChromeDriver)
driver = webdriver.Chrome()

# 訪問登錄頁面

driver.get("https://example.com/login") # 替換為實際的URL

# 輸入賬號_name("username") 替換為實際的用戶名輸入框元素定位方式 username_input = driver.find_element_by_name("username") .send_keys(username)
password_input = driver.find_element_by_name("password") .send_keys(password)
# 替換為實際的提交按鈕元素定位方式

submit_button.click()

# 在此添加其他操作或驗證登錄結果的代碼

# 關閉瀏覽器窗口

driver.quit()

⑤ 如何用django做登錄界面(2023年最新解答)

導讀:本篇文章首席CTO筆記來給大家介紹有關如何用django做登錄界面的相關內容,希望對大家有所幫助,一起來看看吧。

PythonDjango寫登陸注冊界面,怎麼實現分教師端和學生端不同的注冊登錄

網頁鏈接

這個網頁看下,學生和教師登陸這個就學要兩個操作系統了,不過部分用相同的數據表,就是做一個出來,另一個就好寫了。

django怎麼寫一個登錄界面

Djangoforms使用容易,又方便擴展,因此Djangoadmin和CBVs基本都基於forms使用.事實上,由於djangoforms的強大驗證功能,大多數DjangoAPI框架都是用forms作為其驗證的一部分.雖然djangoforms的學習需要花費一點時間,但如果將forms,mod

django如何在用戶登錄後返回到原來來頁面,並保持登陸狀態

任何頁面的頭部顯示登錄狀態的部分應該是一個block,其他頁面繼承此block,這個block裡面寫上初始化js,從後台獲取登錄狀態

pythondjango做了個web,在登錄界面我想直接調用系統的login模板,可是每次登錄成功之後就跳到

系統的login.html里包含一個重定向URL的next隱藏域。有這么一行:

inputtype="hidden"name="next"value="{{next}}"/

登陸以後跳轉到系統默認的/accounts/profile

你把value改成你想要跳轉的url或者給next重新傳一個url也行

結語:以上就是首席CTO筆記為大家介紹的關於如何用django做登錄界面的全部內容了,希望對大家有所幫助,如果你還想了解更多這方面的信息,記得收藏關注本站。

⑥ 如何用 Python 爬取需要登錄的網站

最近我必須執行一項從一個需要登錄的網站上爬取一些網頁的操作。它沒有我想像中那麼簡單,因此我決定為它寫一個輔助教程。

在本教程中,我們將從我們的bitbucket賬戶中爬取一個項目列表。

教程中的代碼可以從我的Github中找到。

我們將會按照以下步驟進行:

  • 提取登錄需要的詳細信息

  • 執行站點登錄

  • 爬取所需要的數據

  • 在本教程中,我使用了以下包(可以在requirements.txt中找到):

    Python

    1

    2

  • requests

    lxml

  • 步驟一:研究該網站

    打開登錄頁面

    進入以下頁面 「bitbucket.org/account/signin」。你會看到如下圖所示的頁面(執行注銷,以防你已經登錄)

    仔細研究那些我們需要提取的詳細信息,以供登錄之用

    在這一部分,我們會創建一個字典來保存執行登錄的詳細信息:

    1. 右擊 「Username or email」 欄位,選擇「查看元素」。我們將使用 「name」 屬性為 「username」 的輸入框的值。「username」將會是 key 值,我們的用戶名/電子郵箱就是對應的 value 值(在其他的網站上這些 key 值可能是 「email」,「 user_name」,「 login」,等等)。

    2. 右擊 「Password」 欄位,選擇「查看元素」。在腳本中我們需要使用 「name」 屬性為 「password」的輸入框的值。「password」 將是字典的 key 值,我們輸入的密碼將是對應的 value 值(在其他網站key值可能是 「userpassword」,「loginpassword」,「pwd」,等等)。

    3. 在源代碼頁面中,查找一個名為 「csrfmiddlewaretoken」 的隱藏輸入標簽。「csrfmiddlewaretoken」 將是 key 值,而對應的 value 值將是這個隱藏的輸入值(在其他網站上這個 value 值可能是一個名為 「csrftoken」,「authenticationtoken」的隱藏輸入值)。列如:「」。

    最後我們將會得到一個類似這樣的字典:

    Python

    1

    2

    3

    4

    5

  • payload = {

    "username": "<USER NAME>",

    "password": "<PASSWORD>",

    "csrfmiddlewaretoken": "<CSRF_TOKEN>"

    }

  • 請記住,這是這個網站的一個具體案例。雖然這個登錄表單很簡單,但其他網站可能需要我們檢查瀏覽器的請求日誌,並找到登錄步驟中應該使用的相關的 key 值和 value 值。

    步驟2:執行登錄網站

    對於這個腳本,我們只需要導入如下內容:

    Python

    1

    2

  • import requests

    from lxml import html

  • 首先,我們要創建session對象。這個對象會允許我們保存所有的登錄會話請求。

    Python

    1

  • session_requests = requests.session()

  • 第二,我們要從該網頁上提取在登錄時所使用的 csrf 標記。在這個例子中,我們使用的是 lxml 和 xpath 來提取,我們也可以使用正則表達式或者其他的一些方法來提取這些數據。

    Python

    1

    2

    3

    4

    5

  • login_url = "n/?next=/"

    result = session_requests.get(login_url)

    tree = html.fromstring(result.text)

    authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]

  • **更多關於xpath 和lxml的信息可以在這里找到。

    接下來,我們要執行登錄階段。在這一階段,我們發送一個 POST 請求給登錄的 url。我們使用前面步驟中創建的 payload 作為 data 。也可以為該請求使用一個標題並在該標題中給這個相同的 url添加一個參照鍵。

    Python

    1

    2

    3

    4

    5

  • result = session_requests.post(

    login_url,

    data = payload,

    headers = dict(referer=login_url)

    )

  • 步驟三:爬取內容

    現在,我們已經登錄成功了,我們將從bitbucket dashboard頁面上執行真正的爬取操作。

    Python

    1

    2

    3

    4

    5

  • url = '/overview'

    result = session_requests.get(

    url,

    headers = dict(referer = url)

    )

  • 為了測試以上內容,我們從 bitbucket dashboard 頁面上爬取了項目列表。我們將再次使用 xpath 來查找目標元素,清除新行中的文本和空格並列印出結果。如果一切都運行 OK,輸出結果應該是你 bitbucket 賬戶中的 buckets / project 列表。

    Python

    1

    2

    3

    4

    5

  • tree = html.fromstring(result.content)

    bucket_elems = tree.findall(".//span[@class='repo-name']/")

    bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]

    print bucket_names

  • 你也可以通過檢查從每個請求返回的狀態代碼來驗證這些請求結果。它不會總是能讓你知道登錄階段是否是成功的,但是可以用來作為一個驗證指標。

    例如:

    Python

    1

    2

  • result.ok # 會告訴我們最後一次請求是否成功

    result.status_code # 會返回給我們最後一次請求的狀態

熱點內容
愛丟了編程 發布:2024-11-24 22:32:36 瀏覽:109
linux分割行 發布:2024-11-24 22:11:02 瀏覽:577
獲取ftp文件 發布:2024-11-24 21:54:20 瀏覽:521
資源平滑演算法 發布:2024-11-24 21:54:18 瀏覽:58
vs和vc編譯器哪個好使 發布:2024-11-24 21:54:07 瀏覽:805
愛課程適用於什麼安卓系統 發布:2024-11-24 21:54:02 瀏覽:39
51單片機編譯 發布:2024-11-24 21:50:05 瀏覽:367
android常用的工具類 發布:2024-11-24 21:42:25 瀏覽:49
用戶管理源碼 發布:2024-11-24 21:29:36 瀏覽:678
監控怎麼配置路由器 發布:2024-11-24 21:29:27 瀏覽:456