python獲取網頁內容
⑴ 如何用python爬蟲抓取網頁內容
首先,你要安裝requests和BeautifulSoup4,然後執行如下代碼.
importrequests
frombs4importBeautifulSoup
iurl='http://news.sina.com.cn/c/nd/2017-08-03/doc-ifyitapp0128744.shtml'
res=requests.get(iurl)
res.encoding='utf-8'
#print(len(res.text))
soup=BeautifulSoup(res.text,'html.parser')
#標題
H1=soup.select('#artibodyTitle')[0].text
#來源
time_source=soup.select('.time-source')[0].text
#來源
origin=soup.select('#artibodyp')[0].text.strip()
#原標題
oriTitle=soup.select('#artibodyp')[1].text.strip()
#內容
raw_content=soup.select('#artibodyp')[2:19]
content=[]
forparagraphinraw_content:
content.append(paragraph.text.strip())
'@'.join(content)
#責任編輯
ae=soup.select('.article-editor')[0].text
這樣就可以了
⑵ python 怎樣爬去網頁的內容
用python爬取網頁信息的話，需要學習幾個模塊，urllib，urllib2，urllib3，requests，httplib等等模塊，還要學習re模塊（也就是正則表達式）。根據不同的場景使用不同的模塊來高效快速的解決問題。
最開始我建議你還是從最簡單的urllib模塊學起，比如爬新浪首頁（聲明：本代碼只做學術研究，絕無攻擊用意）：
這樣就把新浪首頁的源代碼爬取到了，這是整個網頁信息，如果你要提取你覺得有用的信息得學會使用字元串方法或者正則表達式了。
平時多看看網上的文章和教程，很快就能學會的。
補充一點：以上使用的環境是python2，在python3中，已經把urllib，urllib2，urllib3整合為一個包，而不再有這幾個單詞為名字的模塊。
⑶ 如何用python把網頁上的文本內容保存下來
1、了解Python如何獲取網頁內容。
⑷ python如何獲取網頁源碼中整個<body>的內容
一般是這樣，用request庫獲取html內容，然後用正則表達式獲取內容。比如：
import requests
from bs4 import BeautifulSoup
txt=requests.get("https://www.gov.cn/").text //抓取網頁
a=BeautifulSoup(txt,'html.parser') //構建解析器
print(a.body) //獲取內容，也可以是a.title或者其他的標記內容
⑸ 如何用Python requests 爬取網頁所有文字
您可以用requests庫的get方法，以請求的網址為參數，獲取網頁所有html代碼，再訪問結果是text屬性即可。