python爬取公众号
① python怎么能抓微信公众号文章的阅读数
思路一，利用rss生成工具，将搜狗的微信搜索结果生成一个rss，然后通过rss监控这个公众号的文章是否更新。(理论上应该可行，但没试过)
思路二，自己做一个桌面浏览器，IE内核。用这个浏览器登录web微信，这个微信帐号关注你想抓取的公众号，这样就可以监控到是这些公众号是否已更新，更新后链接是什么，从而达到抓取数据的目的。（使用过，效率不高，但非常稳定）
思路三，通过修改android的微信客户端来实现(这个方法是我们曾经使用过一段时间的)
思路四，想办法越过验证直接取到链接，再通过链接取到数据。
② 如何用python爬微信群或者公众号
首先，你要知道.read处理出来的是什么东西
我们能读取服务器响应的内容。再次以 GitHub 时间线为例：
>>> import requests
>>> r = requests.get('https://github.com/timeline.json')
>>> r.text
u'[{"repository":{"open_issues":0,"url":"https://github.com/.
Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。
返回的是解码过的数据，自然不是直接写入二进制文件中．
③ 如何抓取微信所有公众号最新文章
经常有朋友需要帮忙做公众号文章爬取，这次来做一个各种方法的汇总说明。
目前爬取微信公众号的方法主要有3种：
通过爬取第三方的公众号文章聚合网站
通过微信公众平台引用文章接口
通过抓包程序，分析微信app访问公众号文章的接口
通过第三方的公众号文章聚合网站爬取
微信公众号文章一直没有提供一个对外的搜索功能，直到2013年微信投资搜狗之后，搜狗搜索接入微信公众号数据，从此使用搜狗搜索就可以浏览或查询到相关公众号以及文章。
域名是: https://weixin.sogou.com/
可以直接搜索公众号或者文章的关键字，一些热门的公众号更新还是很及时的，几乎做到了和微信同步。
所以，爬一些热门公众号可以使用搜狗微信的接口来做，但是一些小众公众号是搜索不到的，而且搜狗的防爬机制更新的比较勤，获取数据的接口变化的比较快，经常两三个月就有调整，导致爬虫很容易挂，这里还是建议使用 selenium爬比较省心。另外搜狗对每个ip也有访问限制，访问太频ip会被封禁24小时，需要买个ip池来做应对。
还有一些其他公众号文章聚合网站(比如传送门)也都存在更新不及时或者没有收录的问题，毕竟搜狗这个亲儿子都不行。
通过微信公众平台引用文章接口
这个接口比较隐蔽而且没法匿名访问，所有得有一个公众号，建议新注册一个公众号比较好，免得被封。
下面开始具体步骤：首先登录自己的微信公众号，在进去的首页选择 新建群发，然后再点击 自建图文，在文章编辑工具栏中找到 超链接，如下图：
到这里就可以输入公众号的名字，回车之后微信就会返回相匹配的公众号列表，接着点击你想抓取的公众号，就会显示具体的文章列表了，已经是按时间倒序了，最新的文章就是第一条了。
微信的分页机制比较奇怪，每个公众号的每页显示的数据条数是不一样的，分页爬的时候要处理一下。
通过chrome分析网络请求的数据，我们想要的数据已经基本拿到了，文章链接、封面、发布日期、副标题等，如
由于微信公众平台登录验证比较严格，输入密码之后还必须要手机扫码确认才能登录进去，所以最好还是使用 selenium做自动化比较好。具体微信接口的分析过程我就不列了，直接贴代码了：
import re
import time
import random
import traceback
import requests
from selenium import webdriver
class Spider(object):
'''
微信公众号文章爬虫
'''
def __init__(self):
# 微信公众号账号
self.account = '[email protected]'
# 微信公众号密码
self.pwd = 'lei4649861'
def create_driver(self):
'''
初始化 webdriver
'''
options = webdriver.ChromeOptions()
# 禁用gpu加速，防止出一些未知bug
options.add_argument('--disable-gpu')
# 这里我用 chromedriver 作为 webdriver
# 可以去 http://chromedriver.chromium.org/downloads 下载你的chrome对应版本
self.driver = webdriver.Chrome(executable_path='./chromedriver', chrome_options=options)
# 设置一个隐性等待 5s
self.driver.implicitly_wait(5)
def log(self, msg):
'''
格式化打印
'''
print('------ %s ------' % msg)
def login(self):
'''
登录拿 cookies
'''
try:
self.create_driver()
# 访问微信公众平台
self.driver.get('https://mp.weixin.qq.com/')
# 等待网页加载完毕
time.sleep(3)
# 输入账号
self.driver.find_element_by_xpath("./*//input[@name='account']").clear()
self.driver.find_element_by_xpath("./*//input[@name='account']").send_keys(self.account)
# 输入密码
self.driver.find_element_by_xpath("./*//input[@name='password']").clear()
self.driver.find_element_by_xpath("./*//input[@name='password']").send_keys(self.pwd)
# 点击登录
self.driver.find_elements_by_class_name('btn_login')[0].click()
self.log("请拿手机扫码二维码登录公众号")
# 等待手机扫描
time.sleep(10)
self.log("登录成功")
# 获取cookies 然后保存到变量上，后面要用
self.cookies = dict([[x['name'], x['value']] for x in self.driver.get_cookies()])
except Exception as e:
traceback.print_exc()
finally:
# 退出 chorme
self.driver.quit()
def get_article(self, query=''):
try:
url = 'https://mp.weixin.qq.com'
# 设置headers
headers = {
"HOST": "mp.weixin.qq.com",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"
}
# 登录之后的微信公众号首页url变化为：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，
# 从这里获取token信息
response = requests.get(url=url, cookies=self.cookies)
token = re.findall(r'token=(d+)', str(response.url))[0]
time.sleep(2)
self.log('正在查询[ %s ]相关公众号' % query)
search_url = 'https://mp.weixin.qq.com/cgi-bin/searchbiz?'
# 搜索微信公众号接口需要传入的参数，
# 有三个变量：微信公众号token、随机数random、搜索的微信公众号名字
params = {
'action': 'search_biz',
'token': token,
'random': random.random(),
'query': query,
'lang': 'zh_CN',
'f': 'json',
'ajax': '1',
'begin': '0',
'count': '5'
}
# 打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers
response = requests.get(search_url, cookies=self.cookies, headers=headers, params=params)
time.sleep(2)
# 取搜索结果中的第一个公众号
lists = response.json().get('list')[0]
# 获取这个公众号的fakeid，后面爬取公众号文章需要此字段
fakeid = lists.get('fakeid')
nickname = lists.get('nickname')
# 微信公众号文章接口地址
search_url = 'https://mp.weixin.qq.com/cgi-bin/appmsg?'
# 搜索文章需要传入几个参数：登录的公众号token、要爬取文章的公众号fakeid、随机数random
params = {
'action': 'list_ex',
'token': token,
'random': random.random(),
'fakeid': fakeid,
'lang': 'zh_CN',
'f': 'json',
'ajax': '1',
'begin': '0', # 不同页，此参数变化，变化规则为每页加5
'count': '5',
'query': '',
'type': '9'
}
self.log('正在查询公众号[ %s ]相关文章' % nickname)
# 打开搜索的微信公众号文章列表页
response = requests.get(search_url, cookies=self.cookies, headers=headers, params=params)
time.sleep(2)
for per in response.json().get('app_msg_list', []):
print('title ---> %s' % per.get('title'))
print('link ---> %s' % per.get('link'))
# print('cover ---> %s' % per.get('cover'))
except Exception as e:
traceback.print_exc()
if __name__ == '__main__':
spider = Spider()
spider.login()
spider.get_article('python')
代码只是作为学习使用，没有做分页查询之类。实测过接口存在访问频次限制，一天几百次还是没啥问题，太快或者太多次访问就会被封24小时。
④ 如何利用爬虫爬微信公众号的内容
过程很繁琐，步骤如下：
1、写按键精灵脚本，在手机上自动点击公号文章列表页，也就是“查看历史消息”；
2、使用fiddler代理劫持手机端的访问，将网址转发到本地用php写的网页；
3、在php网页上将接收到的网址备份到数据库；
4、用python从数据库取出网址，然后进行正常的爬取。
如果只是想爬取文章内容，似乎并没有访问频率限制，但如果想抓取阅读数、点赞数，超过一定频率后，返回就会变为空值，我设定的时间间隔为10秒，可以正常抓取，这种频率下，一个小时只能抓取360条，已经没什么实际意义了。
微信公众号数据储存
1、腾讯不对你在本服务中相关数据的删除或储存失败负责。
2、腾讯有权根据实际情况自行决定单个用户在本服务中数据的最长储存期限，并在服务器上为其分配数据最大存储空间等。你可根据自己的需要自行备份本服务中的相关数据。
3、如果你停止使用本服务或服务被终止或取消，腾讯可以从服务器上永久地删除你的数据。服务停止、终止或取消后，腾讯没有义务向你返还任何数据。
⑤ 微信公众号回采怎么用
微信公众号回采是什么？
简单的说就是利用python爬虫技术，获得特定微信公众号的全部营运情况，即为某个公众号某个时间段内的所有的文章链接，标题，摘要，正文，阅读数，点赞数，评论数，在看数，并导出为excel格式为下一步数据分析做准备。
采集方法大致有三种：
1.基于逆向方式
2.基于中间人方式
3.基于万能key方式
以第二誉尺姿种为例，用python-selenium 在微信公众号后台爬取所有文章链接，在Windows PC端微信处用 fiddler 抓取cookie 等进行HTTP数据接口分析，python-request 构造请求header，data, 用post方法请求数据，等到文章的全部内容信息。
目的：如果你是微信公众号运营，自媒体创业者，广告投放数字媒体营销部门等，都可庆绝以通过微信公众号数据分析了解该微信公众号的情况，以作出进一步的决策。
例如 微信公众号的文章的标题该怎么写，摘要改怎么写，字体，间距，文章字符，配图和视频等，
例如当下同行的热点，同行的运营方向和效果，文章质量和转化率，
例如该不该在这个微信公众号上投广告，有没有数据造假，阅读数点赞数等是否稳定，用户互动情况评困敬论数如何，主推文章和次推文章的流量差距等。
例如，制作行业榜单了解公司微信公众号在行业的排名。
以自己的目的为导向，构造统计指标体系。
以公司运营为例：
了解本公司的运营情况，主要指标：每篇文章的阅读数，评论数等，同行榜单排名情况。
同行运营方向和运营情况。主要指标：对比同行，公司文章运营数据的对比得出改进方向，如平均阅读数同比，评论数同比。
文章标题和摘要的特征和写法，行业热点和受众喜爱内容分析。行业内热门文章的汇集分析，行业前10 的公众号阅读量超前的文章分析标题，正文，互动情况和互动内容。