webkitforpython

『壹』 python爬蟲項目實戰：爬取用戶的所有信息，如性別、年齡等

python爬蟲項目實戰：
爬取糗事網路用戶的所有信息，包括用戶名、性別、年齡、內容等等。

10個步驟實現項目功能，下面開始實例講解：
1.導入模塊
import re
import urllib.request
from bs4 import BeautifulSoup
2.添加頭文件，防止爬取過程被咐跡鏈拒絕衡孫鏈接
def qiuShi(url,page):
################### 模擬成高仿度瀏覽器的行為 ##############

heads ={
'Connection':'keep-alive',
'Accept-Language':'zh-CN,zh;q=0.9',
'Accept':'text/html,application/xhtml+xml,application/xml;
q=0.9,image/webp,image/apng, / ;q=0.8',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
}
headall = []
for key,value in heads.items():
items = (key,value)

headall.append(items)

opener = urllib.request.build_opener()

opener.addheaders = headall

urllib.request.install_opener(opener)

data = opener.open(url).read().decode()

################## end ########################################
3.創建soup解析器對象
soup = BeautifulSoup(data,'lxml')
x = 0
4.開始使用BeautifulSoup4解析器提取用州鉛戶名信息
############### 獲取用戶名 ########################
name = []

unames = soup.find_all('h2')

for uname in unames:

name.append(uname.get_text())

#################end#############################
5.提取發表的內容信息
############## 發表的內容 #########################
cont = []
data4 = soup.find_all('div',class_='content')

data4 = str(data4)

soup3 = BeautifulSoup(data4,'lxml')
contents = soup3.find_all('span')
for content in contents:

cont.append(content.get_text())

##############end####################################
6.提取搞笑指數
#################搞笑指數##########################
happy = []

data2 = soup.find_all('span',class_="stats-vote")

data2 = str(data2) # 將列表轉換成字元串形式才可以使用

soup1 = BeautifulSoup(data2,'lxml')
happynumbers = soup1.find_all('i',class_="number")
for happynumber in happynumbers:

happy.append(happynumber.get_text())

##################end#############################
7.提取評論數
############## 評論數 ############################
comm = []
data3 = soup.find_all('a',class_='qiushi_comments')
data3 = str(data3)

soup2 = BeautifulSoup(data3,'lxml')
comments = soup2.find_all('i',class_="number")
for comment in comments:

comm.append(comment.get_text())
############end#####################################
8.使用正則表達式提取性別和年齡
######## 獲取性別和年齡 ##########################

pattern1 = '<div class="articleGender (w ?)Icon">(d ?)</div>'
sexages = re.compile(pattern1).findall(data)

9.設置用戶所有信息輸出的格局設置
################## 批量輸出用戶的所以個人信息 #################
print()
for sexage in sexages:
sa = sexage
print(' ' 17, '= = 第', page, '頁-第', str(x+1) + '個用戶 = = ',' ' 17)

print('【用戶名】：',name[x],end='')

print('【性別】：',sa[0],' 【年齡】：',sa[1])

print('【內容】：',cont[x])

print('【搞笑指數】：',happy[x],' 【評論數】：',comm[x])
print(' ' 25,' 三八分割線 ',' ' 25)
x += 1
###################end##########################
10.設置循環遍歷爬取13頁的用戶信息
for i in range(1,14):

url = ' https://www.qiushike.com/8hr/page/'+str(i)+'/'
qiuShi(url,i)
運行結果，部分截圖：

『貳』 如何用Python爬蟲獲取那些價值博文

過程大體分為以下幾步：

• 1. 找到爬取的目標網址；

• 2. 分析網頁，找到自已想要保存的信息，這里我們主要保存是博客的文章內容；

• 3. 清洗整理爬取下來的信息，保存在本地磁碟。

打開csdn的網頁，作為一個示例，我們隨機打開一個網頁：

http://blog.csdn.net/u013088062/article/list/1。

可以看到，博主對《C++卷積神經網路》和其它有關機計算機方面的文章都寫得不錯。

1#-*-coding:UTF-8-*-
2importre
3importurllib2
4importsys
5#目的：讀取博客文章，記錄標題，用Htnl格式保存存文章內容
6#版本：python2.7.13
7#功能：讀取網頁內容
8classGetHtmlPage():
9#注意大小寫
10def__init__(self,strPage):
11self.strPapge=strPage
12#獲取網頁
13defGetPage(self):
14req=urllib2.Request(self.strPapge)#建立頁面請求
15rep=req.add_header("User-Agent","Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/38.0.2125.122Safari/537.36SE2.XMetaSr1.0")
16try:
17cn=urllib2.urlopen(req)#網頁請求
18page=cn.read()#讀網頁
19uPage=page.decode("utf-8")#網頁編碼
20cn.close()
21returnuPage
22excepturllib2.URLError,e:#捕獲異常
23print'URLError:',e.code
24return
25excepturllib2.HTTPError,e:#捕獲異常
26print'HTTPError:'+e.reason
27return
28returnrePage
29#正則表達式，獲取想要的內容
30classRePage():
31#正則表達式提取內容，返回鏈表
32defGetReText(self,page,recode):
33rePage=re.findall(recode,page,re.S)
34returnrePage
35#保存文本
36classSaveText():
37defSave(self,text,tilte):
38try:
39t="blog\"+tilte+".html"
40f=file(t,"a")
41f.write(text)
42f.close()
43exceptIOError,e:
44printe.message
45if__name__=="__main__":
46s=SaveText()
47#文件編碼
48#字元正確解碼
49reload(sys)
50sys.setdefaultencoding("utf-8")#獲得系統的默認編碼
51#獲取網頁
52page=GetHtmlPage("http://blog.csdn.net/u013088062/article/list/1")
53htmlPage=page.GetPage()
54#提取內容
55reServer=RePage()
56reBlog=reServer.GetReText(htmlPage,r'.*?(s.+?)')#獲取網址鏈接和標題
57#再向下獲取正文
58forrefinreBlog:
59pageHeard="http://blog.csdn.net/"#加鏈接頭
60strPage=pageHeard+ref[0]
61tilte=ref[1].replace('[置頂]',"")#用替換的功能去除雜的英文
62tilte=tilte.replace(" ","").lstrip().rstrip()
63#獲取正文
64htmlPage=GetHtmlPage(strPage)
65htmlPageData=htmlPage.GetPage()
66reBlogText=reServer.GetReText(htmlPageData,'(.+?)')
67#保存文件
68fors1inreBlogText:
69s1=' '+s1
70s.Save(s1,tilte)

『叄』 python 如何抓取動態頁面內容

下面開始說一下本文抓取動態頁面數據的相關工具和庫：
1. python 2.7
2. pyqt

3. spynner （在安裝過程中，其他的一些依賴庫也會自動上網下載安裝）
4. BeautifulSoup
5. ide工具是pycharm（當然這個只是個人喜好，也可以使用其他的ide工具）

以上幾個工具都可以網路找到，python現在出了3.x版本的，但是由於眾多第三方庫或架構都沒有兼容，並且後續要使用到的爬蟲框架scrapy也是沒有支持3.x版本，因此還是建議使用2.7版本吧。
spynner和BeautifulSoup下載後，都可以cd到解壓出來的目錄，然後使用python setup.py install來完成安裝，需要注意的是spynner依賴pyqt，所以一定要安裝pyqt，否則無法使用spynner。

下面使用一個具體是例子來說明一下spynner和BeautifulSoup的使用，我們就以爬取京東頁面上的一些產品數據來說明如何爬取動態頁面數據（當然，如果我們過於頻繁的爬京東，估計還是有可能被京東將我們ip拉黑的）。

『肆』 python輸出word內容

程序導出word文檔的方法
將web/html內容導出為world文檔，再java中有很多解決方案，比如使用Jacob、Apache POI、Java2Word、iText等各種方式，以及使用freemarker這樣的模板引擎這樣的方式。php中也有一些相應的方法，但在python中將web/html內容生成world文檔的方法是很少的。其中最不好解決的就是如何將使用js代碼非同步獲取填充的數據，圖片導出到word文檔中。
1. unoconv
功能：
1.支持將本地html文檔轉換為docx格式的文檔，所以需要先將網頁中的html文件保存到本地，再調用unoconv進行轉換。轉換效果也不錯，使用方法非常簡單。
\# 安裝
sudo apt-get install unoconv
\# 使用
unoconv -f pdf *.odt
unoconv -f doc *.odt
unoconv -f html *.odt

缺點：
1.只能對靜態html進行轉換，對於頁面中有使用ajax非同步獲取數據的地方也不能轉換（主要是要保證從web頁面保存下來的html文件中有數據）。
2.只能對html進行轉換，如果頁面中有使用echarts,highcharts等js代碼生成的圖片，是無法將這些圖片轉換到word文檔中；
3.生成的word文檔內容格式不容易控制。
2. python-docx
功能：
1.python-docx是一個可以讀寫word文檔的python庫。
使用方法：
1.獲取網頁中的數據，使用python手動排版添加到word文檔中。
from docx import Document
from docx.shared import Inches
document = Document()
document.add_heading('Document Title', 0)
p = document.add_paragraph('A plain paragraph having some ')
p.add_run('bold').bold = True
p.add_run(' and some ')
p.add_run('italic.').italic = True
document.add_heading('Heading, level 1', level=1)
document.add_paragraph('Intense quote', style='IntenseQuote')
document.add_paragraph(
'first item in unordered list', style='ListBullet'
)
document.add_paragraph(
'first item in ordered list', style='ListNumber'
)
document.add_picture('monty-truth.png', width=Inches(1.25))
table = document.add_table(rows=1, cols=3)
hdr_cells = table.rows[0].cells
hdr_cells[0].text = 'Qty'
hdr_cells[1].text = 'Id'
hdr_cells[2].text = 'Desc'
for item in recordset:
row_cells = table.add_row().cells
row_cells[0].text = str(item.qty)
row_cells[1].text = str(item.id)
row_cells[2].text = item.desc
document.add_page_break()
document.save('demo.docx')
from docx import Document
from docx.shared import Inches
document = Document()
for row in range(9):
t = document.add_table(rows=1,cols=1,style = 'Table Grid')
t.autofit = False #很重要！
w = float(row) / 2.0
t.columns[0].width = Inches(w)
document.save('table-step.docx')

缺點：
1.功能非常弱。有很多限制比如不支持模板等，只能生成簡單格式的word文檔。
程序導出PDF文檔方法
1.pdfkit
功能：
1.wkhtmltopdf主要用於HTML生成PDF。
2.pdfkit是基於wkhtmltopdf的python封裝，支持URL，本地文件，文本內容到PDF的轉換，其最終還是調用wkhtmltopdf命令。是目前接觸到的python生成pdf效果較好的。
優點：
1.wkhtmltopdf：利用webkit內核將HTML轉為PDF
webkit是一個高效、開源的瀏覽器內核，包括Chrome和Safari在內的瀏覽器都使用了這個內核。Chrome列印當前網頁的功能，其中有一個選項就是直接「保存為 PDF」。
2.wkhtmltopdf使用webkit內核的PDF渲染引擎來將HTML頁面轉換為PDF。高保真，轉換質量很好，且使用非常簡單。
使用方法：
\# 安裝
pip install pdfkit
\# 使用
import pdfkit
pdfkit.from_url('', 'out.pdf')
pdfkit.from_file('test.html', 'out.pdf')
pdfkit.from_string('Hello!', 'out.pdf')

缺點：
1.對使用echarts，highcharts這樣的js代碼生成的圖標無法轉換為pdf（因為它的功能主要是將html轉換為pdf,而不是將js轉換為pdf）。對於純靜態頁面的轉換效果還是不錯的。
2.其他
其他生成pdf的插件還有：weasyprint，reportlab，PyPDF2等，經簡單試驗都不如pdfkit效果好，且有些用法復雜。