python動態頁面
『壹』 python怎麼獲取動態網頁鏈接
四中方法：
'''
得到當前頁面所有連接
'''
import requests
import re
from bs4 import BeautifulSoup
from lxml import etree
from selenium import webdriver
url = 'http://www.ok226.com'
r = requests.get(url)
r.encoding = 'gb2312'
# 利用 re
matchs = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" , r.text)
for link in matchs:
print(link)
print()
# 利用 BeautifulSoup4 （DOM樹）
soup = BeautifulSoup(r.text,'lxml')
for a in soup.find_all('a'):
link = a['href']
print(link)
print()
# 利用 lxml.etree （XPath）
tree = etree.HTML(r.text)
for link in tree.xpath("//@href"):
print(link)
print()
# 利用selenium（要開瀏覽器！）
driver = webdriver.Firefox()
driver.get(url)
for link in driver.find_elements_by_tag_name("a"):
print(link.get_attribute("href"))
driver.close()
『貳』 如何用Python抓取動態頁面信息
Spynner的簡單使用
Spynner的功能十分強大，但是由於本人能力有限，就介紹一下如何顯示網頁的源碼吧。
#! /usr/bin/python
#-*-coding: utf-8 -*-
import spynner
browser = spynner.Browser()
#創建一個瀏覽器對象
browser.hide()
#打開瀏覽器，並隱藏。
browser.load("http://www..com")
#browser 類中有一個類方法load，可以用webkit載入你想載入的頁面信息。
#load(是你想要載入的網址的字元串形式)
print browser.html.encode("utf-8")
#browser 類中有一個成員是html，是頁面進過處理後的源碼的字元串.
#將其轉碼為UTF-8編碼
open("Test.html", 'w+').write(browser.html.encode("utf-8"))
#你也可以將它寫到文件中，用瀏覽器打開。
browser.close()
#關閉該瀏覽器
通過這個程序，就可以比較容易的顯示webkit處理的頁面HTML源碼了。
『叄』 如何用Python抓取動態頁面信息
解決思路：
有一個思路最為簡單的思路可以動態解析頁面信息。urllib不可以解析動態信息，但是瀏覽器可以。在瀏覽器上展現處理的信息其實是處理好的HTML文
檔。這為我們抓取動態頁面信息提供了很好的思路。在Python中有一個很有名的圖形庫——PyQt。PyQt雖然是圖形庫，但是他裡面
QtWebkit。這個很實用。谷歌的Chrome和蘋果的Safari都是基於WebKit內核開發的，所以我們可以通過PyQt中得QtWebKit
把頁面中的信息讀取載入到HTML文檔中，再解析HTML文檔，從HTML文檔中提取我們想用得信息。
所需材料：
作者本人實用Mac OS X。應該在Windows和Linux平台也可以採用相同的辦法。
1、Qt4 library
Library，而不是Creator。Library在Mac的默認安裝路徑下，應該是/home/username/Developor/，不要改變Qt4的默認安裝路徑。否則可能安裝失敗。
官方網址：http://qt-project.org/downloads
2、SIP、PyQt4
這兩個軟體可以在在PyQt的官網找到。下載的是它的源碼。Mac和Linux需要自己編譯。
下載地址是：http://www.riverbankcomputing.co.uk/software/pyqt/download
在終端切換到文件解壓後的目錄中。
在終端中輸入
python configure.py
make
sudo make install
進行安裝編譯。
SIP和PyQt4兩個安裝方法相同。但是PyQt4依賴SIP。所以先安裝SIP再安裝PyQt4
1、2兩步完成之後，Python的PyQt4的模塊就安裝好了。在Python shell中輸入import PyQt4看看能不能找到PyQt4的模塊。
3、Spynner
spynner是一個QtWebKit的客戶端，它可以模擬瀏覽器，完成載入頁面、引發事件、填寫表單等操作。
這個模塊可以在Python的官網找到。
下載地址: https://pypi.python.org/pypi/spynner/2.5
解壓後，cd到安裝目錄，然後輸入sudo python configure.py install安裝該模塊。
這樣Spynner模塊就安裝完成了，在python shell中試試import spynner看看該模塊有沒有安裝完成。
Spynner的簡單使用
Spynner的功能十分強大，但是由於本人能力有限，就介紹一下如何顯示網頁的源碼吧。
#! /usr/bin/python
#-*-coding: utf-8 -*-
import spynner
browser = spynner.Browser()
#創建一個瀏覽器對象
browser.hide()
#打開瀏覽器，並隱藏。
browser.load("http://www..com")
#browser 類中有一個類方法load，可以用webkit載入你想載入的頁面信息。
#load(是你想要載入的網址的字元串形式)
print browser.html.encode("utf-8")
#browser 類中有一個成員是html，是頁面進過處理後的源碼的字元串.
#將其轉碼為UTF-8編碼
open("Test.html", 'w+').write(browser.html.encode("utf-8"))
#你也可以將它寫到文件中，用瀏覽器打開。
browser.close()
#關閉該瀏覽器
通過這個程序，就可以比較容易的顯示webkit處理的頁面HTML源碼了。
spynner應用
下面介紹一下spynner的簡單應用，通過簡單的程序，可以獲取你在瀏覽器中看到的頁面的全部圖片。用HTMLParser、BeautifulSoup等都可以完成HTMLParser文檔的解析。而我選擇HTMParser。
#!/usr/bin/python
import spynner
import HTMLParser
import os
import urllib
class MyParser(HTMLParser.HTMLParser):
def handle_starttag(self, tag, attrs):
if tag == 'img':
url = dict(attrs)['src']
name = os.path.basename(dict(attrs)['src'])
if name.endswith('.jpg') or name.endswith('.png') or name.endswith('gif'):
print "Download.....", name
urllib.urlretrieve(url, name)
if __name__ == "__main__":
browser = spynner.Browser()
browser.show()
browser.load("http://www.artist.cn/snakewu1994/StyleBasis_Four/en_album_607236.shtml")
Parser = MyParser()
Parser.feed(browser.html)
print "Done"
browser.close()
通過這個程序，可以下載你在頁面上看到的全部圖片。簡單的幾行程序就完成了這個艱巨的任務。實現了圖片的批量處理。這真是Python語言的優勢，再艱巨的任務交給第三方吧。
『肆』 python 如何抓取動態頁面內容
下面開始說一下本文抓取動態頁面數據的相關工具和庫：
1. python 2.7
2. pyqt
3. spynner （在安裝過程中，其他的一些依賴庫也會自動上網下載安裝）
4. BeautifulSoup
5. ide工具是pycharm（當然這個只是個人喜好，也可以使用其他的ide工具）
以上幾個工具都可以網路找到，python現在出了3.x版本的，但是由於眾多第三方庫或架構都沒有兼容，並且後續要使用到的爬蟲框架scrapy也是沒有支持3.x版本，因此還是建議使用2.7版本吧。
spynner和BeautifulSoup下載後，都可以cd到解壓出來的目錄，然後使用python setup.py install來完成安裝，需要注意的是spynner依賴pyqt，所以一定要安裝pyqt，否則無法使用spynner。
下面使用一個具體是例子來說明一下spynner和BeautifulSoup的使用，我們就以爬取京東頁面上的一些產品數據來說明如何爬取動態頁面數據（當然，如果我們過於頻繁的爬京東，估計還是有可能被京東將我們ip拉黑的）。
『伍』 如何用python爬取js動態生成內容的頁面
抓取js動態生成的內容的頁面有兩種基本的解決方案
1用dryscrape庫動態抓取頁面
js腳本是通過瀏覽器來執行並返回信息的，所以，抓取js執行後的頁面，一個最直接的方式就是用python模擬瀏覽器的行為。WebKit 是一個開源的瀏覽器引擎，python提供了許多庫可以調用這個引擎，dryscrape便是其中之一，它調用webkit引擎來處理包含js等的網頁！
2 selenium web測試框架
selenium是一個web測試框架，它允許調用本地的瀏覽器引擎發送網頁請求，所以，它同樣可以實現抓取頁面的要求。
『陸』 如何用Python抓取動態頁面信息
python抓取動態和靜態頁面基本是一樣的。區別有些動態頁面是有對請求頭有限制(如cookie\user agent)或者是IP限制等。
如果你要抓的動態頁面沒有這些限制，那麼完全可以用抓靜態頁面一樣的方法下面，比如下面的：
import urllib2
url = "xxxxxx"
print urllib2.urlopen(url).read()
『柒』 如何用Python抓取動態頁面信息
很早之前，學習Python web編程的時候，就涉及一個Python的urllib。可以用urllib.urlopen("url").read()可以輕松讀取頁面上面的靜態信息。但是，隨著時代的發展，也來越多的網頁中更多的使用javascript、jQuery、PHP等語言動態生成頁面信息。因此，用urllib再去抓取頁面HTML就不足以達到我們想要的效果。
解決思路：
有一個思路最為簡單的思路可以動態解析頁面信息。urllib不可以解析動態信息，但是瀏覽器可以。在瀏覽器上展現處理的信息其實是處理好的HTML文檔。這為我們抓取動態頁面信息提供了很好的思路。在Python中有一個很有名的圖形庫——PyQt。PyQt雖然是圖形庫，但是他裡面 QtWebkit。這個很實用。谷歌的Chrome和蘋果的Safari都是基於WebKit內核開發的，所以我們可以通過PyQt中得QtWebKit 把頁面中的信息讀取載入到HTML文檔中，再解析HTML文檔，從HTML文檔中提取我們想用得信息。
作者本人實用Mac OS X。應該在Windows和Linux平台也可以採用相同的辦法。
1、Qt4 library
Library，而不是Creator。Library在Mac的默認安裝路徑下，應該是/home/username/Developor/，不要改變Qt4的默認安裝路徑。否則可能安裝失敗。