爬app数据库
A. 谁说python不克不及爬取APP上面的数据
function nTabs(thisObj,Num){
if(thisObj.className == "active")return;
var tabObj = thisObj.parentNode.id;
var tabList = document.getElementById(tabObj).getElementsByTagName("li");
for(i=0; i <tabList.length; i++)
{
B. 如何用30行代码爬取Google Play 100万个App的数据
基础工作:
内置元素选择器
序列化和存储数据
处理cookie、HTTP头这些东西的中间件
爬取 Sitemap 或者 RSS
等等
我的需求是爬取 Google Play 市场上的所有 App 的页面链接以及下载数量。
首先确保配置好 Python 2.7, MongoDB 数据库, 以及 Python 的 pip 包管理系统。
然后安装对应的 Python 包并且生成项目模板：
pip install scrapy scrapy-mongodb
scrapy startproject app
cd app
scrapy genspider google
然后把 app/spider/google.py 换成下面的内容：
`# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.linkextractors import LinkExtractor
from app.items import GoogleItem
class GoogleSpider(CrawlSpider):
name = "google"
allowed_domains = ["play.google.com"]
start_urls = [
C. App中的数据可以用网络爬虫抓取么
可以，你可以用抓包，然后通过代理ip的方式，让你的手机和电脑处在一个网络，然后通过发送请求的方式去获取
D. python 怎么爬取app端数据
可以，但是不提倡这种行为 1，在手机上设置代理，代理到你的电脑上 2，再在电脑上用tcpmp或者其他图形化的抓包工具获得数据包，分析这些数据包找到你要的数据 3，根据前两步的结果，写代码模拟app的操作获得你需要的数据
E. 如何使用网页抓取工具抓取APP数据
如果用前嗅的ForeSpider数据采集软件就可以的。但是需要知道app的协议是什么。如果是http，https的，就可以直接采集。
实时更新也是可以做到的，软件支持定时采集、一定间隔时间采集，设置好间隔时间，就相当于是在实时更新了。
ForeSpider直接连接数据库，数据入库有多种策略，而且入库前会有两次自动排重，以保证只插入更新后的数据。
有免费版可以下载，不限制功能。
F. 如何进行手机APP的数据爬取
Python爬虫手机的步骤：
1. 下载fiddler抓包工具
2. 设置fiddler
这里有两点需要说明一下。
设置允许抓取HTTPS信息包
操作很简单，打开下载好的fiddler，找到 Tools -> Options，然后再HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。
设置允许外部设备发送HTTP/HTTPS到fiddler
相同的，在Connections选项栏下勾选Allow remote computers to connect，并记住上面的端口号8888，后面会使用到。
好了，需要的fiddler设置就配置完成了。
3. 设置手机端
设置手机端之前，我们需要记住一点：电脑和手机需要在同一个网络下进行操作。
可以使用wifi或者手机热点等来完成。
假如你已经让电脑和手机处于同一个网络下了，这时候我们需要知道此网络的ip地址，可以在命令行输入ipconfig简单的获得，如图。
好了，下面我们开始手机端的设置。
手机APP的抓取操作对于Android和Apple系统都可用，博主使用的苹果系统，在此以苹果系统为例。
进入到手机wifi的设置界面，选择当前连接网络的更多信息，在苹果中是一个叹号。然后在最下面你会看到HTTP代理的选项，点击进入。
进入后，填写上面记住的ip地址和端口号，确定保存。
4. 下载fiddler安全证书
在手机上打开浏览器输入一个上面ip地址和端口号组成的url：http://192.168.43.38:8888，然后点击FiddlerRoot certificate下载fiddler证书。
以上就简单完成了所有的操作，最后我们测试一下是否好用。
5. 手机端测试
就以知乎APP为例，在手机上打开 知乎APP。下面是电脑上fiddler的抓包结果。
结果没有问题，抓到信息包。然后就可以使用我们分析网页的方法来进行后续的操作了。
G. 谁说Python不能爬取APP上面的数据
抓包吗？？？？？？？？？？？？？？？？？
H. 如何爬取appstore的数据
定义：App Store是iTunes Store 中的一部分，是iPhone、iPod Touch、iPad以及Mac的服务软件，iphone用户只能通过App Store下载软件，是苹果公司为保护用户下载安全退出的服务软件。
设置方法：打开手机，选择“设置”，在“设置”选项中选择“移动蜂窝数据”，往下拉将看到最后一栏有一行小字“将移动蜂窝数据用于”下面有手机中安装的软件列表，其中就有App Store的选项，打开即可设置为在移动数据下载软件。
如图：
注意：将App Store设置为移动数据下载软件后，只能下载100M以内的软件，如超过100M，有流量也不会下载，只有在连接WLAN的情况下才可下载。
I. 如何利用安卓手机进行app里面的爬虫采集
思路：
开发简单爬取效率低的办法找app自动化测试工具直接模拟人操作得到数据
如果对爬起取效率高或者对网络熟，可以用wireshark之类公具分析他的通信协议，是http还是自定义协议，然后伪造请求。