python采集器

‘壹’ python中的网络爬虫有哪些类型呢

通用网络爬虫

通用网络爬虫对于硬件配置的要求比较高，爬行数量和范围较大，对所爬行页面的顺序并没有太高的要求，但是由于采用并行工作方式的原因，需要很长时间才可以刷新爬行页面。

增量式网络爬虫

增量式网络爬虫是指只爬行发生变化网页或者是对已经下载的网页采取增量更新的爬虫，这种类型的爬虫能够一定的保证爬取页面的更新。

深层网络爬虫

深层网页当中存储的信息量非常之多，几乎是表层网页信息量的数百倍，而深层网络爬虫则是专门针对深层网页所开发出的爬虫程序。

聚焦网络爬虫

聚焦网络爬虫是指有针对性的爬取预先设定好的主题相关页面的网络爬虫，和通用网络爬虫相比对于硬件的要求有所降低，而且所抓取的数据垂直性更高，可以满足一些特定人群的需求。

IPIDEA已向众多互联网知名企业提供服务，对提高爬虫的抓取效率提供帮助，支持API批量使用，支持多线程高并发使用。

‘贰’ 值得收藏的Python第三方库

网络站点爬取

爬取网络站点的库Scrapy – 一个快速高级的屏幕爬取及网页采集框架。cola – 一个分布式爬虫框架。Demiurge – 基于PyQuery 的爬虫微型框架。feedparser – 通用 feed 解析器。Grab – 站点爬取框架。MechanicalSoup – 用于自动和网络站点交互的 Python 库。portia – Scrapy 可视化爬取。pyspider – 一个强大的爬虫系统。RoboBrowser – 一个简单的，Python 风格的库，用来浏览网站，而不需要一个独立安装的浏览器。

交互式解析器

交互式 Python 解析器。

IPython – 功能丰富的工具，非常有效的使用交互式 Python。

bpython- 界面丰富的 Python 解析器。

ptpython – 高级交互式Python解析器， 构建于python-prompt-toolkit 之上。

图像处理

用来操作图像的库.

pillow – Pillow 是一个更加易用版的 PIL。

hmap – 图像直方图映射。

imgSeek – 一个使用视觉相似性搜索一组图片集合的项目。

nude.py – 裸体检测。

pyBarcode – 不借助 PIL 库在 Python 程序中生成条形码。

pygram – 类似 Instagram 的图像滤镜。

python-qrcode – 一个纯 Python 实现的二维码生成器。

Quads – 基于四叉树的计算机艺术。

scikit-image – 一个用于（科学）图像处理的 Python 库。

thumbor – 一个小型图像服务，具有剪裁，尺寸重设和翻转功能。

wand – MagickWand的Python 绑定。MagickWand 是 ImageMagick的 C API 。

HTTP

使用HTTP的库。

requests – 人性化的HTTP请求库。

grequests – requests 库 + gevent ，用于异步 HTTP 请求.

httplib2 – 全面的 HTTP 客户端库。

treq – 类似 requests 的Python API 构建于 Twisted HTTP 客户端之上。

urllib3 – 一个具有线程安全连接池，支持文件 post，清晰友好的 HTTP 库。

数据库

Python实现的数据库。

pickleDB – 一个简单，轻量级键值储存数据库。

PipelineDB – 流式 SQL 数据库。

TinyDB – 一个微型的，面向文档型数据库。

ZODB – 一个 Python 原生对象数据库。一个键值和对象图数据库。

Web 框架

全栈 web 框架。

Django – Python 界最流行的 web 框架。

awesome-django系列

Flask – 一个 Python 微型框架。

https://github.com/humiaozuzu/awesome-flask系列

Pyramid – 一个小巧，快速，接地气的开源Python web 框架。

awesome-pyramid系列

Bottle – 一个快速小巧，轻量级的 WSGI 微型 web 框架。

CherryPy – 一个极简的 Python web 框架，服从 HTTP/1.1 协议且具有WSGI 线程池。

TurboGears – 一个可以扩展为全栈解决方案的微型框架。

web.py – 一个 Python 的 web 框架，既简单，又强大。

web2py – 一个全栈 web 框架和平台，专注于简单易用。

Tornado – 一个web 框架和异步网络库。

HTML处理

处理 HTML和XML的库。

BeautifulSoup – 以 Python 风格的方式来对 HTML 或 XML 进行迭代，搜索和修改。

bleach – 一个基于白名单的 HTML 清理和文本链接库。

cssutils – 一个 Python 的 CSS 库。

html5lib – 一个兼容标准的 HTML 文档和片段解析及序列化库。

lxml – 一个非常快速，简单易用，功能齐全的库，用来处理 HTML 和 XML。

MarkupSafe – 为Python 实现 XML/HTML/XHTML 标记安全字符串。

pyquery – 一个解析 HTML 的库，类似 jQuery。

untangle – 将XML文档转换为Python对象，使其可以方便的访问。

xhtml2pdf – HTML/CSS 转 PDF 工具。

xmltodict – 像处理 JSON 一样处理 XML。

游戏开发

超赞的游戏开发库。

Cocos2d – cocos2d 是一个用来开发 2D 游戏， 示例和其他图形/交互应用的框架。基于 pyglet。

Panda3D – 由迪士尼开发的 3D 游戏引擎，并由卡内基梅陇娱乐技术中心负责维护。使用C++编写, 针对 Python 进行了完全的封装。

Pygame – Pygame 是一组 Python 模块，用来编写游戏。

PyOgre – Ogre 3D 渲染引擎的 Python 绑定，可以用来开发游戏和仿真程序等任何 3D 应用。

PyOpenGL – OpenGL 的 Python 绑定及其相关 APIs。

PySDL2 – SDL2 库的封装，基于 ctypes。

RenPy – 一个视觉小说（visual novel）引擎。

‘叁’ Python爬虫实战（1）requests爬取豆瓣电影TOP250

爬取时间：2020/11/25
系统环境：Windows 10
所用工具：Jupyter NotebookPython 3.0
涉及的库：requestslxmlpandasmatplotlib umpy

蛋肥想法： 先将电影名称、原名、评分、评价人数、分类信息从网站上爬取下来。

蛋肥想法： print数据列表后发现电影原名、分类信息等存在不需要的字符，需预先处理；同时因为后续想做一个豆瓣电影TOP250的维度分布图，而同一电影存在多个发行国家、类型（如“法国 美国 / 剧情 动作 犯罪”），为了简（偷）便（懒），这里均取第一个作为记入的数据；最后将数据保存为xlsx。

蛋肥想法： 蛋肥想知道在豆瓣电影TOP250中年份、国家、类型的维度数据，为了练手，使用刚才保存成xlsx的数据，并分别画成雷达图、柱形图、扇形图。

‘肆’ python爬虫---爬取LOL云顶之弈数据

本来是想爬取之后作最佳羁绊组合推算，但是遇到知识点无法消化（知识图谱），所以暂时先不组合了，实力有限

库的安装

1.requests  #爬取棋子数据

2.json  #棋子数据为js动态，需使用json解析

3.BeautifulSoup

实战前先新建个lol文件夹作为工作目录，并创建子目录data，用于存放数据。

1.爬取数据，新建个py文件，用于爬取云顶数据，命念中塌名为data.py

1.1定义个req函数，方便读取。//需设定编码格式，否则会出现乱码

def Re_data(url):

re = requests.get(url)

re.encoding = 'gbk'

data = json.loads(re.text)

return data['data']

1.2定义个Get函数，用于读取数据并使用保存函数进行保存数据，保存格式为json。

def Get_data():

# 获取数据并保存至data目录

base_url = 'https://game.gtimg.cn/images/lol/act/img/tft/js/'培灶

chess = Re_data(base_url + 'chess.js')

race = Re_data(base_url + 'race.js')

job = Re_data(base_url + 'job.js')

equip = Re_data(base_url + 'equip.js')

Save_data(chess,race,job,equip)

1.3定义save函数实现读取的数据进行文件保存，保存目录为工作目录下的data文件夹仔圆。

def Save_data(t_chess,t_race,t_job,t_equip):

with open('./data/chess.json','w') as f:

json.mp(t_chess,f,indent='\t')

with open('./data/race.json','w') as f:

json.mp(t_race,f,indent='\t')

with open('./data/job.json','w') as f:

json.mp(t_job,f,indent='\t')

with open('./data/equip.json','w') as f:

json.mp(t_equip,f,indent='\t')

1.4定义主函数main跑起来

if __name__ == '__main__':

start = time.time()

Get_data()

print('运行时间：' + str(time.time() - start) + '秒')

至此，数据爬取完成。

2.种族和职业进行组合。

2.1未完成 //未完成，使用穷举方法进行组合会出现内存不够导致组合失败（for循环嵌套导致数组内存超限）

//待学习，使用知识图谱建立组合优选，可参考：https://ya360.com/12447.html

期间遇到的问题：

1.爬取棋子数据时为动态js加载，需通过json模块的loads方法获取

2.3层for循环嵌套数据量大，导致计算失败，需优化计算方法。

‘伍’ python如何能采集多个摄像头的数据

可以，用PYQT+CV2,四个USB连接成功，程序如下，UI要自己搞了，放不下
# -*- coding: utf-8 -*-
import sys#, time
from PyQt5 import QtWidgets
from PyQt5.QtCore import QTimer, QThread, pyqtSignal
from Ui_cv2ui_thread import Ui_MainWindow
import cv2 as cv
from PyQt5.QtGui import QImage, QPixmap
from PyQt5.QtWidgets import (QApplication, QDialog, QFileDialog, QGridLayout,
QLabel, QPushButton, QColorDialog)
import numpy as np
class MainWindow(QtWidgets.QMainWindow, Ui_MainWindow):
def __init__(self, parent=None):
super(MainWindow, self).__init__(parent=parent)
self.setupUi(self) #这个一定要在这个最前面位置
# define the slot for pushbutton to save the merged image
self.pushButton.clicked.connect(self.savemergeimage)
self.img = np.ndarray(()) #空的numpy array
self.img1 = np.ndarray(())
self.img2= np.ndarray(())
self.img3= np.ndarray(())
self.img4= np.ndarray(())
self.img4= np.empty([960,1280, 3], int)
self.cap = cv.VideoCapture(3) #注意，由大开到小,很重要
self.cap.set(3, 640) # setup the resolution of CCD
self.cap.set(4, 480)
ret, self.img=self.cap.read()
self.cap1 = cv.VideoCapture(2)
self.cap1.set(3, 640)
self.cap1.set(4, 480)
ret, self.img1=self.cap1.read()
self.cap2 = cv.VideoCapture(1)
self.cap2.set(3, 640)
self.cap2.set(4, 480)
ret, self.img2=self.cap2.read()
self.cap3 = cv.VideoCapture(0)
self.cap3.set(3, 640)
self.cap3.set(4, 480)
ret, self.img3=self.cap3.read()
#time.sleep(1)也许需要延迟，等他准备好
# 初始化一个定时器，在其他条件下用的
#self.timer = QTimer(self)
# 实例化一个线程
self.work0= WorkThread()
self.work0.trigger.connect(self.ccd2)
# 定义时间任务是一次性任务就设定下一行
#self.timer.setSingleShot(True)
# 启动时间任务，注意一致性
self.work0.start()
# 实例化一个线程
self.work= WorkThread()
# 多线程的信号触发连接到ccd3
self.work.trigger.connect(self.ccd3)
self.work.start()
# 实例化一个线程
self.work2 = WorkThread()
# 多线程的信号触发连接到ccd4
self.work2.trigger.connect(self.ccd4)
self.work2.start()
# 实例化一个线程
self.work3 = WorkThread()
# 多线程的信号触发连接到ccd1
self.work3.trigger.connect(self.ccdmerge)
self.work3.start()
self.work4 = WorkThread()
# 多线程的信号触发连接到ccd1
self.work4.trigger.connect(self.ccd1)
self.work4.start()
def refreshShowa(self):#显示ccd1到label1
# 提取图像的尺寸和通道, 用于将opencv下的image转换成Qimage
height, width, channel = self.img.shape
bytesPerLine = 3 * width
self.qImg = QImage(self.img.data, width, height, bytesPerLine,
QImage.Format_RGB888).rgbSwapped()
# 将Qimage显示出来
self.label.setPixmap(QPixmap.fromImage(self.qImg))
def refreshShowb(self):#显示ccd2到label2
# 提取图像的尺寸和通道, 用于将opencv下的image转换成Qimage
height, width, channel = self.img1.shape
bytesPerLine = 3 * width
self.qImg1 = QImage(self.img1.data, width, height, bytesPerLine,
QImage.Format_RGB888).rgbSwapped()
# 将Qimage显示出来
self.label_2.setPixmap(QPixmap.fromImage( self.qImg1))
def refreshShowc(self):#显示ccd3到label3
# 提取图像的尺寸和通道, 用于将opencv下的image转换成Qimage
height, width, channel = self.img2.shape
bytesPerLine = 3 * width
self.qImg2 = QImage(self.img2.data, width, height, bytesPerLine,
QImage.Format_RGB888).rgbSwapped()
# 将Qimage显示出来
self.label_3.setPixmap(QPixmap.fromImage( self.qImg2))
def refreshShowd(self):#显示ccd4到label4
# 提取图像的尺寸和通道, 用于将opencv下的image转换成Qimage
height, width, channel = self.img3.shape
bytesPerLine = 3 * width
self.qImg3 = QImage(self.img3.data, width, height, bytesPerLine,
QImage.Format_RGB888).rgbSwapped()
# 将Qimage显示出来
self.label_4.setPixmap(QPixmap.fromImage( self.qImg3))
def refreshShowe(self):#显示合并的影像到label6
# 提取图像的尺寸和通道, 用于将opencv下的image转换成Qimage
height, width, channel = self.img4.shape
bytesPerLine = 3 * width
self.qImg4 = QImage(self.img4.data, width, height, bytesPerLine,
QImage.Format_RGB888).rgbSwapped()
# 将Qimage显示出来
self.label_6.setPixmap(QPixmap.fromImage( self.qImg4))
def ccd1(self):
self.cap.set(3, 640)
self.cap.set(4, 480)
ret, self.img = self.cap.read()
self.refreshShowa()
# 启动另一个线程
self.work0.start()#注意一致性
def ccd2(self, str):
self.cap1.set(3, 640)
self.cap1.set(4, 480)
ret, self.img1 = self.cap1.read()
self.refreshShowb()
self.work.start()#注意一致性
def ccd3(self, str):
self.cap2.set(3, 640)
self.cap2.set(4, 480)
ret, self.img2= self.cap2.read()
self.refreshShowc()
self.work2.start()#注意一致性
def ccd4(self, str):
self.cap3.set(3, 640)
self.cap3.set(4, 480)
ret, self.img3 = self.cap3.read()
self.refreshShowd()
self.work3.start()#注意一致性
def ccdmerge(self, str):
self.img4=np.hstack((self.img, self.img1))
self.img4=np.vstack((self.img4, np.hstack((self.img2, self.img3))))
#print ('here is a merge process') 可以用来判断多线程的执行
self.refreshShowe() #later to remove the remark
self.work4.start()#注意一致性
def savemergeimage(self):
# 调用存储文件dialog
fileName, tmp = QFileDialog.getSaveFileName(
self, 'Save Image', './__data', '*.png *.jpg *.bmp', '*.png')
if fileName == '':
return
if self.img.size == 1:
return
# 调用opencv写入图像
cv.imwrite(fileName,self.img4)
class WorkThread(QThread): #多线程核心，非常重要
# 定义一个信号
trigger = pyqtSignal(str)
def __int__(self):
# 初始化函数，默认
super(WorkThread, self).__init__()
def run(self):
self.trigger.emit('')
if __name__ == "__main__":
app = QtWidgets.QApplication(sys.argv)
w = MainWindow()
w.show()
sys.exit(app.exec_())

‘陆’ python怎么抓取微信阅

抓取微信公众号的文章

一.思路分析

目前所知晓的能够抓取的方法有：

1、微信APP中微信公众号文章链接的直接抓取（http://mp.weixin.qq.com/s?__biz=MjM5MzU4ODk2MA==&mid=2735446906&idx=1&sn=&scene=0#rd）

2、通过微信合作方搜狗搜索引擎（http://weixin.sogou.com/），发送相应请求来间接抓取

第1种方法中，这种链接不太好获取，而且他的规律不是特别清晰。

因此本文采用的是方法2----通过给 weixin.sogou.com 发送即时请求来实时解析抓取数据并保存到本地。

二.爬取过程

1、首先在搜狗的微信搜索页面测试一下，这样能够让我们的思路更加清晰

在搜索引擎上使用微信公众号英文名进行“搜公众号”操作（因为公众号英文名是公众号唯一的，而中文名可能会有重复，同时公众号名字一定要完全正确，不然可能搜到很多东西，这样我们可以减少数据的筛选工作，只要找到这个唯一英文名对应的那条数据即可），即发送请求到'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_= ' % 'python'，并从页面中解析出搜索结果公众号对应的主页跳转链接。

2.获取主页入口内容

使用request , urllib,urllib2,或者直接使用webdriver+phantomjs等都可以

这里使用的是request.get()的方法获取入口网页内容

[python]view plain

• #爬虫伪装头部设置

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT6.3;WOW64;rv:51.0)Gecko/20100101Firefox/51.0'}

• #设置操作超时时长

• self.timeout=5

• #爬虫模拟在一个request.session中完成

• self.s=requests.Session()




[python]view plain

• #搜索入口地址，以公众为关键字搜索该公众号

• defget_search_result_by_keywords(self):

• self.log('搜索地址为：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

3.获取公众号地址

从获取到的网页内容中，得到公众号主页地址， 这一步骤有很多方法， beautifulsoup、webdriver，直接使用正则，pyquery等都可以

这里使用的是pyquery的方法来查找公众号主页入口地址

[python]view plain

• #获得公众号主页地址

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通过pyquery的方式处理网页内容，类似用beautifulsoup，但是pyquery和jQuery的方法类似，找到公众号主页地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

4.获取公众号主页的文章列表

首先需要加载公众号主页，这里用的是phantomjs+webdriver, 因为这个主页的内容需要JS 渲染加载，采用之前的方法只能获得静态的网页内容

[python]view plain

• #使用webdriver加载公众号主页内容，主要是js渲染的部分

• defget_selenium_js_html(self,url):

• browser=webdriver.PhantomJS()

• browser.get(url)

• time.sleep(3)

• #执行js得到整个页面内容

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

得到主页内容之后，获取文章列表，这个文章列表中有我们需要的内容

[python]view plain

• #获取公众号文章内容

• defparse_wx_articles_by_html(self,selenium_html):

• doc=pq(selenium_html)

• print'开始查找内容msg'

• returndoc('div[class="weui_media_boxappmsg"]')

• #有的公众号仅仅有10篇文章，有的可能多一点

• #returndoc('div[class="weui_msg_card"]')#公众号只有10篇文章文章的

5.解析每一个文章列表，获取我们需要的信息

6.处理对应的内容

包括文章名字，地址，简介，发表时间等

7.保存文章内容

以html的格式保存到本地

同时将上一步骤的内容保存成excel 的格式

8.保存json数据

这样，每一步拆分完，爬取公众号的文章就不是特别难了。

三、源码

第一版源码如下：

[python]view plain

• #!/usr/bin/python

• #coding:utf-8

• importsys

• reload(sys)

• sys.setdefaultencoding('utf-8')

• fromurllibimportquote

• frompyqueryimportPyQueryaspq

• fromseleniumimportwebdriver

• importrequests

• importtime

• importre

• importjson

• importos

• classweixin_spider:

• def__init__(self,kw):

• '构造函数'

• self.kw=kw

• #搜狐微信搜索链接

• #self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_='%quote(self.kw)

• self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&s_from=input&_sug_=n&_sug_type_='%quote(self.kw)

• #爬虫伪装

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64;rv:47.0)Gecko/20100101FirePHP/0refox/47.0FirePHP/0.7.4.1'}

• #操作超时时长

• self.timeout=5

• self.s=requests.Session()

• defget_search_result_by_kw(self):

• self.log('搜索地址为：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• '根据返回sougou_search_html，从中获取公众号主页链接'

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通过pyquery的方式处理网页内容，类似用beautifulsoup，但是pyquery和jQuery的方法类似，找到公众号主页地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

• defget_selenium_js_html(self,wx_url):

• '执行js渲染内容，并返回渲染后的html内容'

• browser=webdriver.PhantomJS()

• browser.get(wx_url)

• time.sleep(3)

• #执行js得到整个dom

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

• defparse_wx_articles_by_html(self,selenium_html):

• '从selenium_html中解析出微信公众号文章'

• doc=pq(selenium_html)

• returndoc('div[class="weui_msg_card"]')

• defswitch_arctiles_to_list(self,articles):

• '把articles转换成数据字典'

• articles_list=[]

• i=1

• ifarticles:

• forarticleinarticles.items():

• self.log(u'开始整合(%d/%d)'%(i,len(articles)))

• articles_list.append(self.parse_one_article(article))

• i+=1

• #break

• returnarticles_list

• defparse_one_article(self,article):

• '解析单篇文章'

• article_dict={}

• article=article('.weui_media_box[id]')

• title=article('h4[class="weui_media_title"]').text()

• self.log('标题是：%s'%title)

• url='http://mp.weixin.qq.com'+article('h4[class="weui_media_title"]').attr('hrefs')

• self.log('地址为：%s'%url)

• summary=article('.weui_media_desc').text()

• self.log('文章简述：%s'%summary)

• date=article('.weui_media_extra_info').text()

• self.log('发表时间为：%s'%date)

• pic=self.parse_cover_pic(article)

• content=self.parse_content_by_url(url).html()

• contentfiletitle=self.kw+'/'+title+'_'+date+'.html'

• self.save_content_file(contentfiletitle,content)

• return{

• 'title':title,

• 'url':url,

• 'summary':summary,

• 'date':date,

• 'pic':pic,

• 'content':content

• }

• defparse_cover_pic(self,article):

• '解析文章封面图片'

• pic=article('.weui_media_hd').attr('style')

• p=re.compile(r'background-image:url(.∗?)')

• rs=p.findall(pic)

• self.log('封面图片是：%s'%rs[0]iflen(rs)>0else'')

• returnrs[0]iflen(rs)>0else''

• defparse_content_by_url(self,url):

• '获取文章详情内容'

• page_html=self.get_selenium_js_html(url)

• returnpq(page_html)('#js_content')

• defsave_content_file(self,title,content):

• '页面内容写入文件'

• withopen(title,'w')asf:

• f.write(content)

• defsave_file(self,content):

• '数据写入文件'

• withopen(self.kw+'/'+self.kw+'.txt','w')asf:

• f.write(content)

• deflog(self,msg):

• '自定义log函数'

• printu'%s:%s'%(time.strftime('%Y-%m-%d%H:%M:%S'),msg)

• defneed_verify(self,selenium_html):

• '有时候对方会封锁ip，这里做一下判断，检测html中是否包含id=verify_change的标签，有的话，代表被重定向了，提醒过一阵子重试'

• returnpq(selenium_html)('#verify_change').text()!=''

• defcreate_dir(self):

• '创建文件夹'

• ifnotos.path.exists(self.kw):

• os.makedirs(self.kw)

• defrun(self):

• '爬虫入口函数'

• #Step0：创建公众号命名的文件夹

• self.create_dir()

• #Step1：GET请求到搜狗微信引擎，以微信公众号英文名称作为查询关键字

• self.log(u'开始获取，微信公众号英文名为：%s'%self.kw)

• self.log(u'开始调用sougou搜索引擎')

• sougou_search_html=self.get_search_result_by_kw()

• #Step2：从搜索结果页中解析出公众号主页链接

• self.log(u'获取sougou_search_html成功，开始抓取公众号对应的主页wx_url')

• wx_url=self.get_wx_url_by_sougou_search_html(sougou_search_html)

• self.log(u'获取wx_url成功，%s'%wx_url)

• #Step3：Selenium+PhantomJs获取js异步加载渲染后的html

• self.log(u'开始调用selenium渲染html')

• selenium_html=self.get_selenium_js_html(wx_url)

• #Step4:检测目标网站是否进行了封锁

• ifself.need_verify(selenium_html):

• self.log(u'爬虫被目标网站封锁，请稍后再试')

• else:

• #Step5:使用PyQuery，从Step3获取的html中解析出公众号文章列表的数据

• self.log(u'调用selenium渲染html完成，开始解析公众号文章')

• articles=self.parse_wx_articles_by_html(selenium_html)

• self.log(u'抓取到微信文章%d篇'%len(articles))

• #Step6:把微信文章数据封装成字典的list

• self.log(u'开始整合微信文章数据为字典')

• articles_list=self.switch_arctiles_to_list(articles)

• #Step7:把Step5的字典list转换为Json

• self.log(u'整合完成，开始转换为json')

• data_json=json.mps(articles_list)

• #Step8:写文件

• self.log(u'转换为json完成，开始保存json数据到文件')

• self.save_file(data_json)

• self.log(u'保存完成，程序结束')

• #main

• if__name__=='__main__':

• gongzhonghao=raw_input(u'输入要爬取的公众号')

• ifnotgongzhonghao:

• gongzhonghao='python6359'

• weixin_spider(gongzhonghao).run()

第二版代码：

对代码进行了一些优化和整改，主要：

1.增加了excel存贮

2.对获取文章内容规则进行修改

3.丰富了注释

本程序已知缺陷： 如果公众号的文章内容包括视视频，可能会报错。

[python]view plain

• #!/usr/bin/python

• #coding:utf-8