基於python的網頁數據抓取
㈠ python如何讀取網頁中的數據
用Beautiful Soup這類解析模塊：
Beautiful Soup 是用Python寫的一個HTML/XML的解析器，它可以很好的處理不規范標記並生成剖析樹(parse tree)；
它提供簡單又常用的導航(navigating)，搜索以及修改剖析樹的操作；
用urllib或者urllib2(推薦)將頁面的html代碼下載後，用beautifulsoup解析該html；
然後用beautifulsoup的查找模塊或者正則匹配將你想獲得的內容找出來，就可以進行相關處理了，例如：
html='<html><head><title>test</title></head><body><p>testbody</p></body></html>'
soup=BeautifulSoup(html)
soup.contents[0].name
#u'html'
soup.comtents[0].contents[0].name
#u'head'
head=soup.comtents[0].contents[0]
head.parent.name
#u'html'
head.next
#u'<title>test</title>
㈡ 如何用Python爬取數據
方法/步驟
在做爬取數據之前，你需要下載安裝兩個東西，一個是urllib,另外一個是python-docx。
7
這個爬下來的是源代碼，如果還需要篩選的話需要自己去添加各種正則表達式。
㈢ python爬取大量數據(百萬級)
當用python爬取大量網頁獲取想要的數據時，最重要的問題是爬蟲中斷問題，python這種腳本語言，一中斷
進程就會退出，怎麼在中斷後繼續上次爬取的任務就至關重要了。這里就重點剖析這個中斷問題。
第一個問題: 簡單點的用動態代理池就能解決，在爬取大量數據的時候，為了速度不受影響，建議使用一些緩
存的中間件將有效的代理 ip 緩存起來，並定時更新。這里推薦 github 這個倉庫
https://github.com/jhao104/proxy_pool ， 它會做ip有效性驗證並將 ip 放入 redis ，不過實現過於復雜
了，還用到了 db ，個人覺得最好自己修改一下。困難點的就是它會使用別的請求來進行判斷當前的ip是否
是爬蟲，當我們過於聚焦我們的爬蟲請求而忽略了其他的請求時，可能就會被伺服器判定為爬蟲，進而這個ip
會被列入黑名單，而且你換了ip一樣也會卡死在這里。這種方式呢，簡單點就用 selenium + chrome 一個一個
去爬，不過速度太慢了。還是自己去分析吧，也不會過復雜的。
第二個問題： 網路連接超時是大概率會遇到的問題，有可能是在爬取的時候本地網路波動，也有可能是爬
取的服務端對ip做了限制，在爬取到了一定量級的時候做一些延遲的操作，使得一些通用的 http 庫超時
（ urllib ）。不過如果是服務端動的手腳一般延遲不會太高，我們只需要人為的設置一個高一點的
timeout 即可（30 秒），最好在爬取開始的時候就對我們要用的爬取庫進行一層封裝，通用起來才好改
動。
第三個問題: 在解析大量靜態頁面的時候，有些靜態頁面的解析規則不一樣，所以我們就必須得做好斷點
續爬的准備了（ PS : 如果簡單的忽略錯誤可能會導致大量數據的丟失，這就不明智了）。那麼在調試的過
程中斷點續爬有個解決方案，就是生產者和消費者分離，生產者就是產生待爬 url 的爬蟲，消費者就是爬取
最終數據的爬蟲。最終解析數據就是消費者爬蟲了。他們通過消息中間件連接，生產者往消息中間件發送待
爬取的目標信息，消費者從裡面取就行了，還間接的實現了個分布式爬取功能。由於現在的消費中間件都有
ack 機制，一個消費者爬取鏈接失敗會導致消息消費失敗，進而分配給其他消費者消費。所以消息丟失的
概率極低。不過這里還有個 tips ， 消費者的消費超時時間不能太長，會導致消息釋放不及時。還有要開啟
消息中間價的數據持久化功能，不然消息產生過多而消費不及時會撐爆機器內存。那樣就得不償失了。
第四個問題： 這種情況只能 try except catch 住了，不好解決，如果單獨分析的話會耗費點時間。但在
大部分數據 （99%） 都正常的情況下就這條不正常拋棄就行了。主要有了第三個問題的解決方案再出現這
種偶爾中斷的問就方便多了。
希望能幫到各位。
㈣ 如何用python抓取網頁資料庫
最簡單可以用urllib，python2.x和python3.x的用法不同，以python2.x為例：
import
urllib
html
=
urllib.open(url)
text
=
html.read()
復雜些可以用requests庫，支持各種請求類型，支持cookies，header等
再復雜些的可以用selenium，支持抓取javascript產生的文本
㈤ 如何用python抓取網頁上的數據
使用內置的包來抓取，就是在模仿瀏覽器訪問頁面，再把頁面的數據給解析出來，也可以看做是一次請求。
㈥ 如何用python抓取網頁資料庫
最簡單可以用urllib，python2.x和python3.x的用法不同，以python2.x為例：
import urllib
html = urllib.open(url)
text = html.read()
復雜些可以用requests庫，支持各種請求類型，支持cookies，header等
再復雜些的可以用selenium，支持抓取javascript產生的文本
㈦ 如何用python抓取網頁數據
用 requests 庫構造請求；
用 pyquery 庫解析網頁；
用 sqlalchemy 存儲數據。
有這3個庫，基本上的網頁都可以抓取了。
也可以用scrapy，但是太復雜，一個的學習成本大於前三個之和
㈧ 如何用Python爬蟲抓取網頁內容
首先,你要安裝requests和BeautifulSoup4,然後執行如下代碼.
importrequests
frombs4importBeautifulSoup
iurl='http://news.sina.com.cn/c/nd/2017-08-03/doc-ifyitapp0128744.shtml'
res=requests.get(iurl)
res.encoding='utf-8'
#print(len(res.text))
soup=BeautifulSoup(res.text,'html.parser')
#標題
H1=soup.select('#artibodyTitle')[0].text
#來源
time_source=soup.select('.time-source')[0].text
#來源
origin=soup.select('#artibodyp')[0].text.strip()
#原標題
oriTitle=soup.select('#artibodyp')[1].text.strip()
#內容
raw_content=soup.select('#artibodyp')[2:19]
content=[]
forparagraphinraw_content:
content.append(paragraph.text.strip())
'@'.join(content)
#責任編輯
ae=soup.select('.article-editor')[0].text
這樣就可以了
㈨ 如何用python從網頁上抓取數據
用Beautiful Soup這類解析模塊： Beautiful Soup 是用Python寫的一個HTML/XML的解析器，它可以很好的處理不規范標記並生成剖析樹(parse tree)； 它提供簡單又常用的導航(navigating)，搜索以及修改剖析樹的操作
㈩ Python怎樣抓取當前頁面HTML內容
Python用做數據處理還是相當不錯的，如果你想要做爬蟲，Python是很好的選擇，它有很多已經寫好的類包，只要調用，即可完成很多復雜的功能，此文中所有的功能都是基於BeautifulSoup這個包。
1 Pyhton獲取網頁的內容(也就是源代碼)
page = urllib2.urlopen(url)
contents = page.read()
#獲得了整個網頁的內容也就是源代碼 print(contents)
url代表網址，contents代表網址所對應的源代碼，urllib2是需要用到的包，以上三句代碼就能獲得網頁的整個源代碼
2 獲取網頁中想要的內容(先要獲得網頁源代碼，再分析網頁源代碼，找所對應的標簽，然後提取出標簽中的內容)