微信公众号python

‘壹’ 微信推送的python编程课公众号是真的吗

有真有假。。

‘贰’ 如何使用python语言开展微信端网页自动化测试

我之前是做自动化工作的，自己学了perl，
python，发现perl语法比较难，python比较简单，可读性也很好。现在python的应用很广泛，人才需求也很大，学这个没毛病。前期你可以去鲁德这个测试知道平台看看，自动化测试的资料蛮多的。

‘叁’ python find什么意思

find 方法是字符串类型对象带有的方法；

它可以从一个字符串中，找到另一个字符串；

如果找到了，则返回索引；

如果没有找到，则返回 －1；

代码：

str1 = "this is string example....wow!!!"
str2 = "exam"
print(' ', str1.find(str2))

运行效果：

‘肆’ 如何入门 Python 爬虫

“入门”是良好的动机，但是可能作用缓慢。如果你手里或者脑子里有一个项目，那么实践起来你会被目标驱动，而不会像学习模块一样慢慢学习。

另外如果说知识体系里的每一个知识点是图里的点，依赖关系是边的话，那么这个图一定不是一个有向无环图。因为学习A的经验可以帮助你学习B。因此，你不需要学习怎么样“入门”，因为这样的“入门”点根本不存在！你需要学习的是怎么样做一个比较大的东西，在这个过程中，你会很快地学会需要学会的东西的。当然，你可以争论说需要先懂python，不然怎么学会python做爬虫呢？但是事实上，你完全可以在做这个爬虫的过程中学习python :D

看到前面很多答案都讲的“术”——用什么软件怎么爬，那我就讲讲“道”和“术”吧——爬虫怎么工作以及怎么在python实现。

先长话短说summarize一下：
你需要学习

基本的爬虫工作原理
基本的http抓取工具，scrapy
Bloom Filter: Bloom Filters by Example
如果需要大规模网页抓取，你需要学习分布式爬虫的概念。其实没那么玄乎，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。最简单的实现是python-rq: https://github.com/nvie/rq
rq和Scrapy的结合：darkrho/scrapy-redis · GitHub
后续处理，网页析取(grangier/python-goose · GitHub)，存储(Mongodb)

以下是短话长说：

说说当初写的一个集群爬下整个豆瓣的经验吧。

1）首先你要明白爬虫怎样工作。
想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。

在人民日报的首页，你看到那个页面引向的各种链接。于是你很开心地从爬到了“国内新闻”那个页面。太好了，这样你就已经爬完了俩页面（首页和国内新闻）！暂且不用管爬下来的页面怎么处理的，你就想象你把这个页面完完整整抄成了个html放到了你身上。

突然你发现， 在国内新闻这个页面上，有一个链接链回“首页”。作为一只聪明的蜘蛛，你肯定知道你不用爬回去的吧，因为你已经看过了啊。所以，你需要用你的脑子，存下你已经看过的页面地址。这样，每次看到一个可能需要爬的新链接，你就先查查你脑子里是不是已经去过这个页面地址。如果去过，那就别去了。

好的，理论上如果所有的页面可以从initial page达到的话，那么可以证明你一定可以爬完所有的网页。

那么在python里怎么实现呢？
很简单

import Queue

initial_page = "http://www.renminribao.com"

url_queue = Queue.Queue()
seen = set()

seen.insert(initial_page)
url_queue.put(initial_page)

while(True): #一直进行直到海枯石烂
if url_queue.size()>0:
current_url = url_queue.get() #拿出队例中第一个的url
store(current_url) #把这个url代表的网页存储好
for next_url in extract_urls(current_url): #提取把这个url里链向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break

写得已经很伪代码了。

所有的爬虫的backbone都在这里，下面分析一下为什么爬虫事实上是个非常复杂的东西——搜索引擎公司通常有一整个团队来维护和开发。

2）效率
如果你直接加工一下上面的代码直接运行的话，你需要一整年才能爬下整个豆瓣的内容。更别说Google这样的搜索引擎需要爬下全网的内容了。

问题出在哪呢？需要爬的网页实在太多太多了，而上面的代码太慢太慢了。设想全网有N个网站，那么分析一下判重的复杂度就是N*log(N)，因为所有网页要遍历一次，而每次判重用set的话需要log(N)的复杂度。OK，OK，我知道python的set实现是hash——不过这样还是太慢了，至少内存使用效率不高。

通常的判重做法是怎样呢？Bloom Filter. 简单讲它仍然是一种hash的方法，但是它的特点是，它可以使用固定的内存（不随url的数量而增长）以O(1)的效率判定url是否已经在set中。可惜天下没有白吃的午餐，它的唯一问题在于，如果这个url不在set中，BF可以100%确定这个url没有看过。但是如果这个url在set中，它会告诉你：这个url应该已经出现过，不过我有2%的不确定性。注意这里的不确定性在你分配的内存足够大的时候，可以变得很小很少。一个简单的教程:Bloom Filters by Example

注意到这个特点，url如果被看过，那么可能以小概率重复看一看（没关系，多看看不会累死）。但是如果没被看过，一定会被看一下（这个很重要，不然我们就要漏掉一些网页了！）。 [IMPORTANT: 此段有问题，请暂时略过]

好，现在已经接近处理判重最快的方法了。另外一个瓶颈——你只有一台机器。不管你的带宽有多大，只要你的机器下载网页的速度是瓶颈的话，那么你只有加快这个速度。用一台机子不够的话——用很多台吧！当然，我们假设每台机子都已经进了最大的效率——使用多线程（python的话，多进程吧）。

3）集群化抓取
爬取豆瓣的时候，我总共用了100多台机器昼夜不停地运行了一个月。想象如果只用一台机子你就得运行100个月了...

那么，假设你现在有100台机器可以用，怎么用python实现一个分布式的爬取算法呢？

我们把这100台中的99台运算能力较小的机器叫作slave，另外一台较大的机器叫作master，那么回顾上面代码中的url_queue，如果我们能把这个queue放到这台master机器上，所有的slave都可以通过网络跟master联通，每当一个slave完成下载一个网页，就向master请求一个新的网页来抓取。而每次slave新抓到一个网页，就把这个网页上所有的链接送到master的queue里去。同样，bloom filter也放到master上，但是现在master只发送确定没有被访问过的url给slave。Bloom Filter放到master的内存里，而被访问过的url放到运行在master上的Redis里，这样保证所有操作都是O(1)。（至少平摊是O(1)，Redis的访问效率见:LINSERT – Redis)

考虑如何用python实现：
在各台slave上装好scrapy，那么各台机子就变成了一台有抓取能力的slave，在master上装好Redis和rq用作分布式队列。

代码于是写成

#slave.py

current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)

store(current_url);
send_to_master(to_send)

#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()

initial_pages = "www.renmingribao.com"

while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)

好的，其实你能想到，有人已经给你写好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及后处理
虽然上面用很多“简单”，但是真正要实现一个商业规模可用的爬虫并不是一件容易的事。上面的代码用来爬一个整体的网站几乎没有太大的问题。

但是如果附加上你需要这些后续处理，比如

有效地存储（数据库应该怎样安排）

有效地判重（这里指网页判重，咱可不想把人民日报和抄袭它的大民日报都爬一遍）

有效地信息抽取（比如怎么样抽取出网页上所有的地址抽取出来，“朝阳区奋进路中华道”），搜索引擎通常不需要存储所有的信息，比如图片我存来干嘛...

及时更新（预测这个网页多久会更新一次）

如你所想，这里每一个点都可以供很多研究者十数年的研究。虽然如此，
“路漫漫其修远兮,吾将上下而求索”。

所以，不要问怎么入门，直接上路就好了：）关注微信公众号“Python基础教程”，学python更轻松！

‘伍’ 请问这篇微信推文里的python代码框（可复制，可左右拉动）是怎么加的推文链接https://m

摘要 你好很高兴为您服务。

‘陆’ python怎么抓取微信阅

抓取微信公众号的文章

一.思路分析

目前所知晓的能够抓取的方法有：

1、微信APP中微信公众号文章链接的直接抓取（http://mp.weixin.qq.com/s?__biz=MjM5MzU4ODk2MA==&mid=2735446906&idx=1&sn=&scene=0#rd）

2、通过微信合作方搜狗搜索引擎（http://weixin.sogou.com/），发送相应请求来间接抓取

第1种方法中，这种链接不太好获取，而且他的规律不是特别清晰。

因此本文采用的是方法2----通过给 weixin.sogou.com 发送即时请求来实时解析抓取数据并保存到本地。

二.爬取过程

1、首先在搜狗的微信搜索页面测试一下，这样能够让我们的思路更加清晰

在搜索引擎上使用微信公众号英文名进行“搜公众号”操作（因为公众号英文名是公众号唯一的，而中文名可能会有重复，同时公众号名字一定要完全正确，不然可能搜到很多东西，这样我们可以减少数据的筛选工作，只要找到这个唯一英文名对应的那条数据即可），即发送请求到'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_= ' % 'python'，并从页面中解析出搜索结果公众号对应的主页跳转链接。

2.获取主页入口内容

使用request , urllib,urllib2,或者直接使用webdriver+phantomjs等都可以

这里使用的是request.get()的方法获取入口网页内容

[python]view plain

• #爬虫伪装头部设置

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT6.3;WOW64;rv:51.0)Gecko/20100101Firefox/51.0'}

• #设置操作超时时长

• self.timeout=5

• #爬虫模拟在一个request.session中完成

• self.s=requests.Session()




[python]view plain

• #搜索入口地址，以公众为关键字搜索该公众号

• defget_search_result_by_keywords(self):

• self.log('搜索地址为：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

3.获取公众号地址

从获取到的网页内容中，得到公众号主页地址， 这一步骤有很多方法， beautifulsoup、webdriver，直接使用正则，pyquery等都可以

这里使用的是pyquery的方法来查找公众号主页入口地址

[python]view plain

• #获得公众号主页地址

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通过pyquery的方式处理网页内容，类似用beautifulsoup，但是pyquery和jQuery的方法类似，找到公众号主页地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

4.获取公众号主页的文章列表

首先需要加载公众号主页，这里用的是phantomjs+webdriver, 因为这个主页的内容需要JS 渲染加载，采用之前的方法只能获得静态的网页内容

[python]view plain

• #使用webdriver加载公众号主页内容，主要是js渲染的部分

• defget_selenium_js_html(self,url):

• browser=webdriver.PhantomJS()

• browser.get(url)

• time.sleep(3)

• #执行js得到整个页面内容

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

得到主页内容之后，获取文章列表，这个文章列表中有我们需要的内容

[python]view plain

• #获取公众号文章内容

• defparse_wx_articles_by_html(self,selenium_html):

• doc=pq(selenium_html)

• print'开始查找内容msg'

• returndoc('div[class="weui_media_boxappmsg"]')

• #有的公众号仅仅有10篇文章，有的可能多一点

• #returndoc('div[class="weui_msg_card"]')#公众号只有10篇文章文章的

5.解析每一个文章列表，获取我们需要的信息

6.处理对应的内容

包括文章名字，地址，简介，发表时间等

7.保存文章内容

以html的格式保存到本地

同时将上一步骤的内容保存成excel 的格式

8.保存json数据

这样，每一步拆分完，爬取公众号的文章就不是特别难了。

三、源码

第一版源码如下：

[python]view plain

• #!/usr/bin/python

• #coding:utf-8

• importsys

• reload(sys)

• sys.setdefaultencoding('utf-8')

• fromurllibimportquote

• frompyqueryimportPyQueryaspq

• fromseleniumimportwebdriver

• importrequests

• importtime

• importre

• importjson

• importos

• classweixin_spider:

• def__init__(self,kw):

• '构造函数'

• self.kw=kw

• #搜狐微信搜索链接

• #self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_='%quote(self.kw)

• self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&s_from=input&_sug_=n&_sug_type_='%quote(self.kw)

• #爬虫伪装

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64;rv:47.0)Gecko/20100101FirePHP/0refox/47.0FirePHP/0.7.4.1'}

• #操作超时时长

• self.timeout=5

• self.s=requests.Session()

• defget_search_result_by_kw(self):

• self.log('搜索地址为：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• '根据返回sougou_search_html，从中获取公众号主页链接'

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通过pyquery的方式处理网页内容，类似用beautifulsoup，但是pyquery和jQuery的方法类似，找到公众号主页地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

• defget_selenium_js_html(self,wx_url):

• '执行js渲染内容，并返回渲染后的html内容'

• browser=webdriver.PhantomJS()

• browser.get(wx_url)

• time.sleep(3)

• #执行js得到整个dom

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

• defparse_wx_articles_by_html(self,selenium_html):

• '从selenium_html中解析出微信公众号文章'

• doc=pq(selenium_html)

• returndoc('div[class="weui_msg_card"]')

• defswitch_arctiles_to_list(self,articles):

• '把articles转换成数据字典'

• articles_list=[]

• i=1

• ifarticles:

• forarticleinarticles.items():

• self.log(u'开始整合(%d/%d)'%(i,len(articles)))

• articles_list.append(self.parse_one_article(article))

• i+=1

• #break

• returnarticles_list

• defparse_one_article(self,article):

• '解析单篇文章'

• article_dict={}

• article=article('.weui_media_box[id]')

• title=article('h4[class="weui_media_title"]').text()

• self.log('标题是：%s'%title)

• url='http://mp.weixin.qq.com'+article('h4[class="weui_media_title"]').attr('hrefs')

• self.log('地址为：%s'%url)

• summary=article('.weui_media_desc').text()

• self.log('文章简述：%s'%summary)

• date=article('.weui_media_extra_info').text()

• self.log('发表时间为：%s'%date)

• pic=self.parse_cover_pic(article)

• content=self.parse_content_by_url(url).html()

• contentfiletitle=self.kw+'/'+title+'_'+date+'.html'

• self.save_content_file(contentfiletitle,content)

• return{

• 'title':title,

• 'url':url,

• 'summary':summary,

• 'date':date,

• 'pic':pic,

• 'content':content

• }

• defparse_cover_pic(self,article):

• '解析文章封面图片'

• pic=article('.weui_media_hd').attr('style')

• p=re.compile(r'background-image:url(.∗?)')

• rs=p.findall(pic)

• self.log('封面图片是：%s'%rs[0]iflen(rs)>0else'')

• returnrs[0]iflen(rs)>0else''

• defparse_content_by_url(self,url):

• '获取文章详情内容'

• page_html=self.get_selenium_js_html(url)

• returnpq(page_html)('#js_content')

• defsave_content_file(self,title,content):

• '页面内容写入文件'

• withopen(title,'w')asf:

• f.write(content)

• defsave_file(self,content):

• '数据写入文件'

• withopen(self.kw+'/'+self.kw+'.txt','w')asf:

• f.write(content)

• deflog(self,msg):

• '自定义log函数'

• printu'%s:%s'%(time.strftime('%Y-%m-%d%H:%M:%S'),msg)

• defneed_verify(self,selenium_html):

• '有时候对方会封锁ip，这里做一下判断，检测html中是否包含id=verify_change的标签，有的话，代表被重定向了，提醒过一阵子重试'

• returnpq(selenium_html)('#verify_change').text()!=''

• defcreate_dir(self):

• '创建文件夹'

• ifnotos.path.exists(self.kw):

• os.makedirs(self.kw)

• defrun(self):

• '爬虫入口函数'

• #Step0：创建公众号命名的文件夹

• self.create_dir()

• #Step1：GET请求到搜狗微信引擎，以微信公众号英文名称作为查询关键字

• self.log(u'开始获取，微信公众号英文名为：%s'%self.kw)

• self.log(u'开始调用sougou搜索引擎')

• sougou_search_html=self.get_search_result_by_kw()

• #Step2：从搜索结果页中解析出公众号主页链接

• self.log(u'获取sougou_search_html成功，开始抓取公众号对应的主页wx_url')

• wx_url=self.get_wx_url_by_sougou_search_html(sougou_search_html)

• self.log(u'获取wx_url成功，%s'%wx_url)

• #Step3：Selenium+PhantomJs获取js异步加载渲染后的html

• self.log(u'开始调用selenium渲染html')

• selenium_html=self.get_selenium_js_html(wx_url)

• #Step4:检测目标网站是否进行了封锁

• ifself.need_verify(selenium_html):

• self.log(u'爬虫被目标网站封锁，请稍后再试')

• else:

• #Step5:使用PyQuery，从Step3获取的html中解析出公众号文章列表的数据

• self.log(u'调用selenium渲染html完成，开始解析公众号文章')

• articles=self.parse_wx_articles_by_html(selenium_html)

• self.log(u'抓取到微信文章%d篇'%len(articles))

• #Step6:把微信文章数据封装成字典的list

• self.log(u'开始整合微信文章数据为字典')

• articles_list=self.switch_arctiles_to_list(articles)

• #Step7:把Step5的字典list转换为Json

• self.log(u'整合完成，开始转换为json')

• data_json=json.mps(articles_list)

• #Step8:写文件

• self.log(u'转换为json完成，开始保存json数据到文件')

• self.save_file(data_json)

• self.log(u'保存完成，程序结束')

• #main

• if__name__=='__main__':

• gongzhonghao=raw_input(u'输入要爬取的公众号')

• ifnotgongzhonghao:

• gongzhonghao='python6359'

• weixin_spider(gongzhonghao).run()

第二版代码：

对代码进行了一些优化和整改，主要：

1.增加了excel存贮

2.对获取文章内容规则进行修改

3.丰富了注释

本程序已知缺陷： 如果公众号的文章内容包括视视频，可能会报错。

[python]view plain

• #!/usr/bin/python

• #coding:utf-8

‘柒’ 学python可以做什么

1WEB开发

在国内，豆瓣一开始就使用Python作为web开发基础语言，知乎的整个架构也是基于Python语言，这使得web开发这块在国内发展的很不错。

尽管目前Python并不是做Web开发的首选，但一直都占有不可忽视的一席。Python中有各类Web框架，无论是简单而可以自由搭配的微框架还是全功能的大型MVC框架都一应俱全，这在需要敏捷开发的Web项目中也是十分具有优势的。广泛使用（或曾经广泛使用）Python提供的大型Web服务包括知乎、豆瓣、Dropbox等网站。加之Python本身的“胶水”特性，很容易实现在需要大规模性能级计算时整合其它语言，同时保留Web开发时的轻便快捷。

除此之外，Python中还有大量“开箱即用”的模块，用于与各种其它网站的对接等相关功能。如果希望开发个微信公众号相关功能，wechat-sdk/weixin-python等包，能够使你几乎完全不用管文档中提及的各种服务器交互细节，专注于功能实现即能完成开发。

目前，国内的Python web开发主要有两个技术栈：

（1）Django

Django是一个高级的敏捷web开发框架，如果学会了，撸一个网站很快。当然如果纯粹比撸网站的速度，基于ruby的Ruby on rails显然更快，但是Django有一个优势就是性能优秀，更适合国内网站的应用场景。国外的着名图片社区Pinterest早期也是基于Django开发的，承受了用户快速增长的冲击。所以说如果你想快速开发一个网站，还能兼顾APP客户端的API调用需求，Django是可以信赖的。

（2）Flask

相对于Django，Flask则是一个轻量级的web框架，Flask的最大的优势是性能优越，适合配合手机客户端开发后台API服务。国内基于Flask的Restful API服务这快很火，也是需求最大的。知名的比如网络、网易、小米、陌陌等等很多公司都有基于Flask的应用部署。当然，如果你想做一个传统的web网站，还是建议使用Django，Flask的优势是后端、API，不适合构建全功能网站。

2网络爬虫

网络爬虫是Python比较常用的一个场景，国际上，google在早期大量地使用Python语言作为网络爬虫的基础，带动了整个Python语言的应用发展。以前国内很多人用采集器搜刮网上的内容，现在用Python收集网上的信息比以前容易很多了。

Python在这个方面有许多工具上的积累，无论是用于模拟HTTP请求的Requests、用于HTML DOM解析的PyQuery/BeautifulSoup、用于自动化分布式爬取任务的Scrapy，还是用于最简化数据库访问的各种ORM，都使得Python成为数据爬取的首选语言之一。特别是，爬取后的数据分析与计算是Python最为擅长的领域，非常容易整合。目前Python比较流行的网络爬虫框架是功能非常强大的scrapy。

3人工智能与机器学习

人工智能是现在非常火的一个方向，AI热潮让Python语言的未来充满了无限的潜力。现在释放出来的几个非常有影响力的AI框架，大多是Python的实现，为什么呢？

因为Python足够动态、具有足够性能，这是AI技术所需要的技术特点。比如基于Python的深度学习库、深度学习方向、机器学习方向、自然语言处理方向的一些网站基本都是通过Python来实现的。机器学习，尤其是现在火爆的深度学习，其工具框架大都提供了Python接口。Python在科学计算领域一直有着较好的声誉，其简洁清晰的语法以及丰富的计算工具，深受此领域开发者喜爱。

6桌面程序

Python也可以用于桌面软件开发（如sublime text等），甚至移动端开发（参看kivy）。Python简洁方便，各种工具包齐全的环境，能大幅度减少开发者的负担。着名的UI框架QT有Python语言的实现版本PyQT。Python简单易用的特性加上QT的优雅，可以很轻松的开发界面复杂的桌面程序，并且能轻松实现跨平台特性。

7多媒体应用

可以用Python里面的PIL、Piddle、ReportLab 等模块对图象、声音、视频、动画等进行处理，还可以用Python生成动态图表和统计分析图表。另外，还可以利用PyOpenGl模块非常快速有效的编写出三维场景。

‘捌’ python怎么能抓微信公众号文章的阅读数

思路一，利用rss生成工具，将搜狗的微信搜索结果生成一个rss，然后通过rss监控这个公众号的文章是否更新。(理论上应该可行，但没试过)

思路二，自己做一个桌面浏览器，IE内核。用这个浏览器登录web微信，这个微信帐号关注你想抓取的公众号，这样就可以监控到是这些公众号是否已更新，更新后链接是什么，从而达到抓取数据的目的。（使用过，效率不高，但非常稳定）

思路三，通过修改android的微信客户端来实现(这个方法是我们曾经使用过一段时间的)

思路四，想办法越过验证直接取到链接，再通过链接取到数据。

‘玖’ 通过python开发一个微信公众账号的服务后台，需要哪些知识

django/webpy/torando都行
库的话，有几个，pywechat还是wechatpy的，基本的功能都实现了，可以按照自己的需求进行修改。
数据库是必须的，按照自己的需求设计吧。