android爬虫

1. 我的电脑为什么所有的手游模拟器都没有网络，改DNS IP都没用

是电脑老化了，还有去查证一下是不是因为欠费被关网，还是当地线路在维修。

2. 远程主机强迫关闭了一个现有的连接。怎么解决

1、网络提供商（电信、网通、……）出的问题
2、如果你自己接了路由器，这个路由器也是肇事者
3、电脑上程序的问题。防火墙，或者是病毒引起。
根据这些可能找找。如有不全，希望其他人能指出，以帮助解决。

3. 如何利用安卓手机进行app里面的爬虫采集

思路：

开发简单爬取效率低的办法找app自动化测试工具直接模拟人操作得到数据

如果对爬起取效率高或者对网络熟，可以用wireshark之类公具分析他的通信协议，是http还是自定义协议，然后伪造请求。

4. 毕业设计：android 网络电影 爬虫 抓包

建议你换一个， 网络爬虫抓包这些开发都非常复杂，还不如来点简单实用的，本人做了很多android的应用开发， 可以勾通一下， 看看哪个比较适合。

5. 用python写的爬虫将数据传给android怎么实现

初期不需要登录的网站比较简单，掌握http get post和urllib怎么模拟，掌握lxml、BeautifulSoup等parser库就可以了，多用firefox的firebug或者chrome的调试工具看浏览器是怎么发包的。上面都是不需要登录不需要下文件就可以做到的。

6. 基于WebCollector开发的爬虫能够在android上运行吗

有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：

上面说的爬虫，基本可以分3类：

1.分布式爬虫：Nutch

2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector

3. 非JAVA单机爬虫：scrapy

第一类:分布式爬虫

爬虫使用分布式，主要是解决两个问题：

1)海量URL管理

2)网速

现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：

1)Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。

2)Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。

3)Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text文本)。

4)用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。

5)很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。

6)Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase)，只能使用0.90版本左右的hbase，相应的就要将hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1.x和Nutch2.x，这个Nutch2.x官网上写的是可以支持到hbase 0.94。但是实际上，这个Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。

所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。有些团队就喜欢跟风，非要选择Nutch来开发精抽取的爬虫，其实是冲着Nutch的名气（Nutch作者是Doug Cutting），当然最后的结果往往是项目延期完成。

如果你是要做搜索引擎，Nutch1.x是一个非常好的选择。Nutch1.x和solr或者es配合，就可以构成一套非常强大的搜索引擎了。如果非要用Nutch2的话，建议等到Nutch2.3发布再看。目前的Nutch2是一个非常不稳定的版本。

7. 怎么查出一张图片上的人是谁

在有一些电影里面，特别是科幻高科技电影里面经常出现的一幕，获得某人的照片然后进行各种数据对比，然后找出这个人的个人信息：姓名、年龄、性别、工作等等。

理论上：你可以建立一个你感兴趣的百万级的数据库，给你个照片 ，你就可以得到她是谁，哪里的，信息都可以知道，而且因为人与人之间的网状的关联，你甚至可以知道她喜欢的人是谁，男朋友长啥样子。

相信我：一切都不是虚构的，你能做的更多！

思路：
一、数据收集，可以采用爬虫对网上海里的明星信息进行有针对的爬取

二、格式化数据，存入mysq，把明星的自拍照的文件名存入数据库中

三、使用网络的api对程序进行编写，说实话，网络人脸识别做的很棒了，精确度很高

四、你上传一张图片（或者你能想象到的方式），后面的程序会对你海量的数据库中人的信息进行比对

五、输出匹配到的人的信息，和相似度的数值。

8. 如何设计一款爬虫Android APP

手机应该算客户端，爬虫一般针对服务器的吧。 我觉得不能，除非手机信息传到了服务器，并开放。

9. Android创建登录项目的管理员和用户登录后台如何在manifest文件里声明

摘要 亲您好很高兴为您解答

10. 超凡蜘蛛侠1安卓版与爬虫赛跑怎么过

大致找位置在空中荡就行了，咱们最后停在楼下了，它从楼顶飞过去了