java爬虫
① 为什么很少人讨论或者使用java爬虫
1、爬虫的经济价值在哪里？只有经济价值存在的情况下，才有必要去开发这样一个爬虫。但不幸的是，现在的很多场合下，爬虫没有太大价值。仅有：比价，数据统计，搜索引擎，信贷爬虫等有限的几个场合在用，而这几个场合基本被大公司垄断了。所以现在很少有人写爬虫了。
2、写个爬虫的难度有多大？一上午，仅此而已。所以没什么难度，顶多设置一下userAgent,设置一下refer，弄个调用顺序先获得cookie，设置个延时什么的。换成金钱看，估价大概价值三四百块吧，用不了多钱。
3、爬虫能用多久？很久很久，只要被爬的系统不升级，那么就能一直用下去，换话说：写一个爬虫，用半年是很常见的事情。很常见就意味着没什么太大意思，不受人关注
② 怎么提高java爬虫下载的速度呢
用采集器吧，可以并发采集 ，多节点同时跑会比较快
③ Java爬虫方向怎么样
截止到 2007 年底，Internet 上网页数量超出 160 亿个，研究表明接近 30%的页面是重复的；动态页面的存在：客户端、服务器端脚本语言的应用使得指向相同 Web 信息的 URL 数量呈指数级增长。 上述特征使得网络爬虫面临一定的困难，主要体现在 Web 信息的巨大容量使得爬虫在给定时间内只能下载少量网页。 Lawrence 和 Giles 的研究表明没有哪个搜索引擎能够索引超出 16%的Internet 上 Web 页面，即使能够提取全部页面，也没有足够的空间来存储 [1] 。
为提高爬行效率，爬虫需要在单位时间内尽可能多的获取高质量页面，是它面临的难题之一。 当前有五种表示页面质量高低的方式[1]：Similarity（页面与爬行主题之间的相似度）、Backlink（页面在 Web 图中的入度大小）、PageRank（指向它的所有页面平均权值之和）、Forwardlink（页面在 Web 图中的出度大小）、Location（页面的信息位置）；Parallel（并行性问题）[3]。 为了提高爬行速度，网络通常会采取并行爬行的工作方式，随之引入了新的问题：重复性（并行运行的爬虫或爬行线程同时运行时增加了重复页面）、质量问题（并行运行时，每个爬虫或爬行线程只能获取部分页面，导致页面质量下降）、通信带宽代价（并行运行时，各个爬虫或爬行线程之间不可避免要进行一些通信）。 并行运行时，网络爬虫通常采用三种方式：独立方式（各个爬虫独立爬行页面，互不通信）、动态分配方式（由一个中央协调器动态协调分配 URL 给各个爬虫）、静态分配方式（URL 事先划分给各个爬虫） [1] 。
④ java爬虫如何去重
用
requests+Selenium+PhantomJs
多线程爬虫的时候用的是
mp.manager.dict()
来存储已经访问过的网站，如果发现再次访问就直接跳过
我能想到的就是
Bloom
Filter
，按照上面所说用
redis
来去重应该也可以！
⑤ java爬虫怎么用啊
把String url="http://www..com",换成String url="http://www.sina.com"就是改成新浪网的域名了，说白了就是改个网址就行，其他的看不懂没关系，不用改直接systemout 输出看结果就行了
⑥ 给推荐几个github上优秀的java爬虫项目
1.nutch
地址：apache/nutch · GitHub
apache下的开源爬虫程序，功能丰富，文档完整。有数据抓取解析以及存储的模块。
2.Heritrix
地址：internetarchive/heritrix3 · GitHub
很早就有了，经历过很多次更新，使用的人比较多，功能齐全，文档完整，网上的资料也多。有自己的web管理控制台，包含了一个HTTP 服务器。操作者可以通过选择Crawler命令来操作控制台。
3.crawler4j
地址：yasserg/crawler4j · GitHub
因为只拥有爬虫的核心功能，所以上手极为简单，几分钟就可以写一个多线程爬虫程序。
当然，上面说的nutch有的功能比如数据存储不代表Heritrix没有，反之亦然。具体使用哪个合适还需要仔细阅读文档并配合实验才能下结论啊~
还有比如JSpider，WebEater，Java Web Crawler，WebLech，Ex-Crawler，JoBo等等，这些没用过，不知道。。。
⑦ java爬虫公司有哪些做的比较好的
知道一个java爬虫公司，瑞雪采集云，还是有一些特点的：
瑞雪采集云是一个PaaS在线开发平台，与图形配置化爬虫客户端工具相比，瑞雪采集云提供的是通用采集能力，能够满足企业客户数据采集业务的长期需求。
主要特点如下：
（一） 一站式通用能力集成，指数级提高开发效率。平台封装了丰富的通用功能，开发者不需要关心 Ajax和Cookie等底层细节，只需要利用平台封装好API，把主要精力放在业务上，工作效率提供10倍。
（二） 开发自由度高，支持复杂网站的采集。支持Java/python编写应用插件，借助高级语言的高自由度能够处理复杂网站的采集。平台提供业内首个基于Web浏览器的在线开发环境，无需安装任何客户端，提高应用源代码在客户内部的共享。
（三） 分布式任务调度机制，并发采集效率高。把采集工作分解为多个采集工序，一个大任务被拆解为在不同工序上执行的大量小任务，然后被分配到海量爬虫机集群上被分布式并发执行，确保系统达到最高的采集效率。
（四） 强大的任务管理机制，确保数据完整性。平台拥有强大的任务状态机制，支持任务重发、支持利用结束码管理任务的不同结束状态，根据具体情况选择不同的后续处理，保证不遗漏目标数据，确保最终目标数据的完整性。
（五） 学习时间短，能够支撑业务的快速发展。平台提供丰富的在线帮助文档，开发者能够在1小时内快速掌握平台的基本使用，当有新的数据采集需求时，新的开发者能够立即学习开发采集爬虫程序，快速对应相关业务的发展。
（六） 支持私有化部署，保证数据安全。支持平台所有模块的私有化部署，让客户拥有瑞雪采集云平台的全部能力，保证客户开发的应用插件代码和目标数据的绝对安全。
⑧ java爬虫读取某一张指定图片的url，求解答
package pers.jiaming.download.main;import java.io.*; //io包import java.util.regex.*; //正则包import java.net.*; //网络包/** 下载图片类* */public final class DownloadPictures implements Runnable{
private URL url = null; //URL private URLConnection urlConn = null; //url连接 private BufferedReader bufIn = null; //缓冲读取器，读取网页信息
private static final String IMG_REG = "<img.*src\\s*=\\s*(.*?)[^>]*?>"; //img标签正则 private static final String IMG_SRC_REG = "src\\s*=\\s*\"?(.*?)(\"|>|\\s+)"; //img src属性正则
private String downloadPath = null; //保存路径
//构造，参数：想要下载图片的网址、下载到的图片存放的文件路径 public DownloadPictures(String urlStr, String downloadPath)
{
createFolder(downloadPath); //创建文件夹
try {
url = new URL(urlStr);
urlConn = url.openConnection();
//设置请求属性，有部分网站不加这句话会抛出IOException: Server returned HTTP response code: 403 for URL异常 //如：b站 urlConn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
bufIn = new BufferedReader(new InputStreamReader(urlConn.getInputStream()));
}
catch (Exception e) {
e.printStackTrace();
}
this.downloadPath = downloadPath;
}
//检测路径是否存在，不存在则创建 private void createFolder(String path)
{
File myPath = new File(path);
if (!myPath.exists()) //不存在则创建文件夹 myPath.mkdirs();
}
//下载函数 public void Download()
{
final int N = 20; //每一次处理的文本行数，这个数越小越容易遗漏图片链接，越大效率越低 (理论上)
String line = "";
String text = "";
while (line != null) //网页内容被读完时结束循环 {
for(int i = 0; i < N; i++) //读取N行网页信息存入到text当中，因为src内容可能分为多行，所以使用这种方法 try {
line = bufIn.readLine(); //从网页信息中获取一行文本
if(line != null) //判断防止把null也累加到text中 text += line;
}
catch (IOException e) {
e.printStackTrace();
}
//将img标签正则封装对象再调用matcher方法获取一个Matcher对象 final Matcher imgM = Pattern.compile(IMG_REG).matcher(text);
if(!imgM.find()) //如果在当前text中没有找到img标签则结束本次循环 continue;
//将img src正则封装对象再调用matcher方法获取一个Matcher对象 //用于匹配的文本为找到的整个img标签 final Matcher imgSrcM = Pattern.compile(IMG_SRC_REG).matcher(imgM.group());
while (imgSrcM.find()) //从img标签中查找src内容 {
String imageLink = imgSrcM.group(1); //从正则中的第一个组中得到图片链接
print(imageLink); //打印一遍链接
//如果得到的src内容没有写协议，则添加上// if(!imageLink.matches("https://[\\s\\S]*")) //这里有问题// imageLink = "https://" + imageLink;
print(imageLink); //打印一遍链接
try
{
//缓冲输入流对象，用于读取图片链接的图片数据 //在链接的图片不存在时会抛出未找到文件异常 final BufferedInputStream in = new BufferedInputStream(new URL(imageLink).openStream());
//文件输出流对象用于将从url中读取到的图片数据写入到本地 //保存的路径为downloadPath，保存的图片名为时间戳+".png" final FileOutputStream file = new FileOutputStream(new File(downloadPath + System.currentTimeMillis() + ".png"));
int temp; //用于保存in从图片连接中获取到的数据 while ((temp = in.read()) != -1)
file.write(temp); //将数据写入到本地路径中
//关闭流 file.close();
in.close();
//下载完一张图片后休息一会 try {
Thread.sleep(800);
}
catch (InterruptedException e) {
e.printStackTrace();
}
}
catch (Exception e)
{
e.printStackTrace();
}
}
//将text中的文本清空 text = "";
}
}
//run @Override
public void run()
{
Download(); //下载函数 }
//打印语句 public void print(Object obj)
{
System.out.println(obj);
}}
⑨ java爬虫有前途吗
用python
打个比方java和python爬虫编写的时间效率
等于汇编写一个按钮，和c#拖拽一个按钮的效率
虽然有点言过啦，大概这个意思
⑩ python网络爬虫和java爬虫有什么区别
爬虫目前主要开发语言为java、Python、c++
对于一般的信息采集需要，各种语言差别不大。
c、c++
搜索引擎无一例外使用C\C++ 开发爬虫，猜想搜索引擎爬虫采集的网站数量巨大，对页面的解析要求不高，部分支持javascript
python
网络功能强大，模拟登陆、解析javascript，短处是网页解析
python写起程序来真的很便捷，着名的python爬虫有scrapy等
java
java有很多解析器，对网页的解析支持很好，缺点是网络部分
java开源爬虫非常多，着名的如 nutch 国内有webmagic
java优秀的解析器有htmlparser、jsoup
对于一般性的需求无论java还是python都可以胜任。
如需要模拟登陆、对抗防采集选择python更方便些，如果需要处理复杂的网页，解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择java。