python爬取公眾號
① python怎麼能抓微信公眾號文章的閱讀數
思路一，利用rss生成工具，將搜狗的微信搜索結果生成一個rss，然後通過rss監控這個公眾號的文章是否更新。(理論上應該可行，但沒試過)
思路二，自己做一個桌面瀏覽器，IE內核。用這個瀏覽器登錄web微信，這個微信帳號關注你想抓取的公眾號，這樣就可以監控到是這些公眾號是否已更新，更新後鏈接是什麼，從而達到抓取數據的目的。（使用過，效率不高，但非常穩定）
思路三，通過修改android的微信客戶端來實現(這個方法是我們曾經使用過一段時間的)
思路四，想辦法越過驗證直接取到鏈接，再通過鏈接取到數據。
② 如何用python爬微信群或者公眾號
首先，你要知道.read處理出來的是什麼東西
我們能讀取伺服器響應的內容。再次以 GitHub 時間線為例：
>>> import requests
>>> r = requests.get('https://github.com/timeline.json')
>>> r.text
u'[{"repository":{"open_issues":0,"url":"https://github.com/.
Requests 會自動解碼來自伺服器的內容。大多數 unicode 字元集都能被無縫地解碼。
返回的是解碼過的數據，自然不是直接寫入二進制文件中．
③ 如何抓取微信所有公眾號最新文章
經常有朋友需要幫忙做公眾號文章爬取，這次來做一個各種方法的匯總說明。
目前爬取微信公眾號的方法主要有3種：
通過爬取第三方的公眾號文章聚合網站
通過微信公眾平台引用文章介面
通過抓包程序，分析微信app訪問公眾號文章的介面
通過第三方的公眾號文章聚合網站爬取
微信公眾號文章一直沒有提供一個對外的搜索功能，直到2013年微信投資搜狗之後，搜狗搜索接入微信公眾號數據，從此使用搜狗搜索就可以瀏覽或查詢到相關公眾號以及文章。
域名是: https://weixin.sogou.com/
可以直接搜索公眾號或者文章的關鍵字，一些熱門的公眾號更新還是很及時的，幾乎做到了和微信同步。
所以，爬一些熱門公眾號可以使用搜狗微信的介面來做，但是一些小眾公眾號是搜索不到的，而且搜狗的防爬機制更新的比較勤，獲取數據的介面變化的比較快，經常兩三個月就有調整，導致爬蟲很容易掛，這里還是建議使用 selenium爬比較省心。另外搜狗對每個ip也有訪問限制，訪問太頻ip會被封禁24小時，需要買個ip池來做應對。
還有一些其他公眾號文章聚合網站(比如傳送門)也都存在更新不及時或者沒有收錄的問題，畢竟搜狗這個親兒子都不行。
通過微信公眾平台引用文章介面
這個介面比較隱蔽而且沒法匿名訪問，所有得有一個公眾號，建議新注冊一個公眾號比較好，免得被封。
下面開始具體步驟：首先登錄自己的微信公眾號，在進去的首頁選擇 新建群發，然後再點擊 自建圖文，在文章編輯工具欄中找到 超鏈接，如下圖：
到這里就可以輸入公眾號的名字，回車之後微信就會返回相匹配的公眾號列表，接著點擊你想抓取的公眾號，就會顯示具體的文章列表了，已經是按時間倒序了，最新的文章就是第一條了。
微信的分頁機制比較奇怪，每個公眾號的每頁顯示的數據條數是不一樣的，分頁爬的時候要處理一下。
通過chrome分析網路請求的數據，我們想要的數據已經基本拿到了，文章鏈接、封面、發布日期、副標題等，如
由於微信公眾平台登錄驗證比較嚴格，輸入密碼之後還必須要手機掃碼確認才能登錄進去，所以最好還是使用 selenium做自動化比較好。具體微信介面的分析過程我就不列了，直接貼代碼了：
import re
import time
import random
import traceback
import requests
from selenium import webdriver
class Spider(object):
'''
微信公眾號文章爬蟲
'''
def __init__(self):
# 微信公眾號賬號
self.account = '[email protected]'
# 微信公眾號密碼
self.pwd = 'lei4649861'
def create_driver(self):
'''
初始化 webdriver
'''
options = webdriver.ChromeOptions()
# 禁用gpu加速，防止出一些未知bug
options.add_argument('--disable-gpu')
# 這里我用 chromedriver 作為 webdriver
# 可以去 http://chromedriver.chromium.org/downloads 下載你的chrome對應版本
self.driver = webdriver.Chrome(executable_path='./chromedriver', chrome_options=options)
# 設置一個隱性等待 5s
self.driver.implicitly_wait(5)
def log(self, msg):
'''
格式化列印
'''
print('------ %s ------' % msg)
def login(self):
'''
登錄拿 cookies
'''
try:
self.create_driver()
# 訪問微信公眾平台
self.driver.get('https://mp.weixin.qq.com/')
# 等待網頁載入完畢
time.sleep(3)
# 輸入賬號
self.driver.find_element_by_xpath("./*//input[@name='account']").clear()
self.driver.find_element_by_xpath("./*//input[@name='account']").send_keys(self.account)
# 輸入密碼
self.driver.find_element_by_xpath("./*//input[@name='password']").clear()
self.driver.find_element_by_xpath("./*//input[@name='password']").send_keys(self.pwd)
# 點擊登錄
self.driver.find_elements_by_class_name('btn_login')[0].click()
self.log("請拿手機掃碼二維碼登錄公眾號")
# 等待手機掃描
time.sleep(10)
self.log("登錄成功")
# 獲取cookies 然後保存到變數上，後面要用
self.cookies = dict([[x['name'], x['value']] for x in self.driver.get_cookies()])
except Exception as e:
traceback.print_exc()
finally:
# 退出 chorme
self.driver.quit()
def get_article(self, query=''):
try:
url = 'https://mp.weixin.qq.com'
# 設置headers
headers = {
"HOST": "mp.weixin.qq.com",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"
}
# 登錄之後的微信公眾號首頁url變化為：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，
# 從這里獲取token信息
response = requests.get(url=url, cookies=self.cookies)
token = re.findall(r'token=(d+)', str(response.url))[0]
time.sleep(2)
self.log('正在查詢[ %s ]相關公眾號' % query)
search_url = 'https://mp.weixin.qq.com/cgi-bin/searchbiz?'
# 搜索微信公眾號介面需要傳入的參數，
# 有三個變數：微信公眾號token、隨機數random、搜索的微信公眾號名字
params = {
'action': 'search_biz',
'token': token,
'random': random.random(),
'query': query,
'lang': 'zh_CN',
'f': 'json',
'ajax': '1',
'begin': '0',
'count': '5'
}
# 打開搜索微信公眾號介面地址，需要傳入相關參數信息如：cookies、params、headers
response = requests.get(search_url, cookies=self.cookies, headers=headers, params=params)
time.sleep(2)
# 取搜索結果中的第一個公眾號
lists = response.json().get('list')[0]
# 獲取這個公眾號的fakeid，後面爬取公眾號文章需要此欄位
fakeid = lists.get('fakeid')
nickname = lists.get('nickname')
# 微信公眾號文章介面地址
search_url = 'https://mp.weixin.qq.com/cgi-bin/appmsg?'
# 搜索文章需要傳入幾個參數：登錄的公眾號token、要爬取文章的公眾號fakeid、隨機數random
params = {
'action': 'list_ex',
'token': token,
'random': random.random(),
'fakeid': fakeid,
'lang': 'zh_CN',
'f': 'json',
'ajax': '1',
'begin': '0', # 不同頁，此參數變化，變化規則為每頁加5
'count': '5',
'query': '',
'type': '9'
}
self.log('正在查詢公眾號[ %s ]相關文章' % nickname)
# 打開搜索的微信公眾號文章列表頁
response = requests.get(search_url, cookies=self.cookies, headers=headers, params=params)
time.sleep(2)
for per in response.json().get('app_msg_list', []):
print('title ---> %s' % per.get('title'))
print('link ---> %s' % per.get('link'))
# print('cover ---> %s' % per.get('cover'))
except Exception as e:
traceback.print_exc()
if __name__ == '__main__':
spider = Spider()
spider.login()
spider.get_article('python')
代碼只是作為學習使用，沒有做分頁查詢之類。實測過介面存在訪問頻次限制，一天幾百次還是沒啥問題，太快或者太多次訪問就會被封24小時。
④ 如何利用爬蟲爬微信公眾號的內容
過程很繁瑣，步驟如下：
1、寫按鍵精靈腳本，在手機上自動點擊公號文章列表頁，也就是「查看歷史消息」；
2、使用fiddler代理劫持手機端的訪問，將網址轉發到本地用php寫的網頁；
3、在php網頁上將接收到的網址備份到資料庫；
4、用python從資料庫取出網址，然後進行正常的爬取。
如果只是想爬取文章內容，似乎並沒有訪問頻率限制，但如果想抓取閱讀數、點贊數，超過一定頻率後，返回就會變為空值，我設定的時間間隔為10秒，可以正常抓取，這種頻率下，一個小時只能抓取360條，已經沒什麼實際意義了。
微信公眾號數據儲存
1、騰訊不對你在本服務中相關數據的刪除或儲存失敗負責。
2、騰訊有權根據實際情況自行決定單個用戶在本服務中數據的最長儲存期限，並在伺服器上為其分配數據最大存儲空間等。你可根據自己的需要自行備份本服務中的相關數據。
3、如果你停止使用本服務或服務被終止或取消，騰訊可以從伺服器上永久地刪除你的數據。服務停止、終止或取消後，騰訊沒有義務向你返還任何數據。
⑤ 微信公眾號回採怎麼用
微信公眾號回採是什麼？
簡單的說就是利用python爬蟲技術，獲得特定微信公眾號的全部營運情況，即為某個公眾號某個時間段內的所有的文章鏈接，標題，摘要，正文，閱讀數，點贊數，評論數，在看數，並導出為excel格式為下一步數據分析做准備。
採集方法大致有三種：
1.基於逆向方式
2.基於中間人方式
3.基於萬能key方式
以第二譽尺姿種為例，用python-selenium 在微信公眾號後台爬取所有文章鏈接，在Windows PC端微信處用 fiddler 抓取cookie 等進行HTTP數據介面分析，python-request 構造請求header，data, 用post方法請求數據，等到文章的全部內容信息。
目的：如果你是微信公眾號運營，自媒體創業者，廣告投放數字媒體營銷部門等，都可慶絕以通過微信公眾號數據分析了解該微信公眾號的情況，以作出進一步的決策。
例如 微信公眾號的文章的標題該怎麼寫，摘要改怎麼寫，字體，間距，文章字元，配圖和視頻等，
例如當下同行的熱點，同行的運營方向和效果，文章質量和轉化率，
例如該不該在這個微信公眾號上投廣告，有沒有數據造假，閱讀數點贊數等是否穩定，用戶互動情況評困敬論數如何，主推文章和次推文章的流量差距等。
例如，製作行業榜單了解公司微信公眾號在行業的排名。
以自己的目的為導向，構造統計指標體系。
以公司運營為例：
了解本公司的運營情況，主要指標：每篇文章的閱讀數，評論數等，同行榜單排名情況。
同行運營方向和運營情況。主要指標：對比同行，公司文章運營數據的對比得出改進方向，如平均閱讀數同比，評論數同比。
文章標題和摘要的特徵和寫法，行業熱點和受眾喜愛內容分析。行業內熱門文章的匯集分析，行業前10 的公眾號閱讀量超前的文章分析標題，正文，互動情況和互動內容。