爬app資料庫
A. 誰說python不克不及爬取APP上面的數據
function nTabs(thisObj,Num){
if(thisObj.className == "active")return;
var tabObj = thisObj.parentNode.id;
var tabList = document.getElementById(tabObj).getElementsByTagName("li");
for(i=0; i <tabList.length; i++)
{
B. 如何用30行代碼爬取Google Play 100萬個App的數據
基礎工作:
內置元素選擇器
序列化和存儲數據
處理cookie、HTTP頭這些東西的中間件
爬取 Sitemap 或者 RSS
等等
我的需求是爬取 Google Play 市場上的所有 App 的頁面鏈接以及下載數量。
首先確保配置好 Python 2.7, MongoDB 資料庫, 以及 Python 的 pip 包管理系統。
然後安裝對應的 Python 包並且生成項目模板：
pip install scrapy scrapy-mongodb
scrapy startproject app
cd app
scrapy genspider google
然後把 app/spider/google.py 換成下面的內容：
`# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.linkextractors import LinkExtractor
from app.items import GoogleItem
class GoogleSpider(CrawlSpider):
name = "google"
allowed_domains = ["play.google.com"]
start_urls = [
C. App中的數據可以用網路爬蟲抓取么
可以，你可以用抓包，然後通過代理ip的方式，讓你的手機和電腦處在一個網路，然後通過發送請求的方式去獲取
D. python 怎麼爬取app端數據
可以，但是不提倡這種行為 1，在手機上設置代理，代理到你的電腦上 2，再在電腦上用tcpmp或者其他圖形化的抓包工具獲得數據包，分析這些數據包找到你要的數據 3，根據前兩步的結果，寫代碼模擬app的操作獲得你需要的數據
E. 如何使用網頁抓取工具抓取APP數據
如果用前嗅的ForeSpider數據採集軟體就可以的。但是需要知道app的協議是什麼。如果是http，https的，就可以直接採集。
實時更新也是可以做到的，軟體支持定時採集、一定間隔時間採集，設置好間隔時間，就相當於是在實時更新了。
ForeSpider直接連接資料庫，數據入庫有多種策略，而且入庫前會有兩次自動排重，以保證只插入更新後的數據。
有免費版可以下載，不限制功能。
F. 如何進行手機APP的數據爬取
Python爬蟲手機的步驟：
1. 下載fiddler抓包工具
2. 設置fiddler
這里有兩點需要說明一下。
設置允許抓取HTTPS信息包
操作很簡單，打開下載好的fiddler，找到 Tools -> Options，然後再HTTPS的工具欄下勾選Decrpt HTTPS traffic，在新彈出的選項欄下勾選Ignore server certificate errors。
設置允許外部設備發送HTTP/HTTPS到fiddler
相同的，在Connections選項欄下勾選Allow remote computers to connect，並記住上面的埠號8888，後面會使用到。
好了，需要的fiddler設置就配置完成了。
3. 設置手機端
設置手機端之前，我們需要記住一點：電腦和手機需要在同一個網路下進行操作。
可以使用wifi或者手機熱點等來完成。
假如你已經讓電腦和手機處於同一個網路下了，這時候我們需要知道此網路的ip地址，可以在命令行輸入ipconfig簡單的獲得，如圖。
好了，下面我們開始手機端的設置。
手機APP的抓取操作對於Android和Apple系統都可用，博主使用的蘋果系統，在此以蘋果系統為例。
進入到手機wifi的設置界面，選擇當前連接網路的更多信息，在蘋果中是一個嘆號。然後在最下面你會看到HTTP代理的選項，點擊進入。
進入後，填寫上面記住的ip地址和埠號，確定保存。
4. 下載fiddler安全證書
在手機上打開瀏覽器輸入一個上面ip地址和埠號組成的url：http://192.168.43.38:8888，然後點擊FiddlerRoot certificate下載fiddler證書。
以上就簡單完成了所有的操作，最後我們測試一下是否好用。
5. 手機端測試
就以知乎APP為例，在手機上打開 知乎APP。下面是電腦上fiddler的抓包結果。
結果沒有問題，抓到信息包。然後就可以使用我們分析網頁的方法來進行後續的操作了。
G. 誰說Python不能爬取APP上面的數據
抓包嗎？？？？？？？？？？？？？？？？？
H. 如何爬取appstore的數據
定義：App Store是iTunes Store 中的一部分，是iPhone、iPod Touch、iPad以及Mac的服務軟體，iphone用戶只能通過App Store下載軟體，是蘋果公司為保護用戶下載安全退出的服務軟體。
設置方法：打開手機，選擇「設置」，在「設置」選項中選擇「移動蜂窩數據」，往下拉將看到最後一欄有一行小字「將移動蜂窩數據用於」下面有手機中安裝的軟體列表，其中就有App Store的選項，打開即可設置為在移動數據下載軟體。
如圖：
注意：將App Store設置為移動數據下載軟體後，只能下載100M以內的軟體，如超過100M，有流量也不會下載，只有在連接WLAN的情況下才可下載。
I. 如何利用安卓手機進行app裡面的爬蟲採集
思路：
開發簡單爬取效率低的辦法找app自動化測試工具直接模擬人操作得到數據
如果對爬起取效率高或者對網路熟，可以用wireshark之類公具分析他的通信協議，是http還是自定義協議，然後偽造請求。