idea源码hadoop

㈠ intellij idea 怎么集成hadoop

同求！同求！同求！同求！同求！同求！同求！同求！

㈡ 如何在Windows中使用Intellij idea搭建远程Hadoop

注意，客户端和虚拟集群中hadoop、spark、scala的安装目录是一致的，这样开发的spark应用程序的时候不需要打包spark开发包和scala的库文件，减少不必要的网络IO和磁盘IO。当然也可以不一样，不过在使用部署工具spark-submit的时候需要参数指明cl如何在Windows中使用Intellij idea搭建远程Hadoop

㈢ idea 怎么导入hadoop架包

我们在项目目录下面创建一个input文件夹，在文件夹中创建一个文件，然后在文件中随意输入一些字符串，保存，然后运行刚刚新建的Application，等待运行完成会发现项目目录下多了一个output文件夹，打开里面的‘part-r-00000’文件就会发现里面是对你输入字符串的出现个数的统计。

当你第二次运行的时候因为hadoop不会自动删除output目录所以可能会出现错误，请手动删除之后再运行。
这样就可以使用intellij来开发hadoop程序并进行调试了。

㈣ 如何在Mac使用Intellij idea搭建远程Hadoop开发环境

点击左上角 + ，Type选择SFTP，然后配置服务器ip和部署路径，用户名密码等选项
之后选择自动部署，这样每次修改都会自动部署到服务器，也可以右键，选择Deployment，upload to ...

㈤ Idea 开发Maprece遇到的问题，代码不能自动实现方法！搞了很久没搞出来，哪位大牛知道这个

项目配置 File ---- Project Structure

1. SDK的配置

2. 加入Hadoop的jar包依赖

3.打包配置

4.开发map-rece代码

<span style="font-size:18px;">import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.maprece.Job;
import org.apache.hadoop.maprece.Mapper;
import org.apache.hadoop.maprece.Recer;
import org.apache.hadoop.maprece.lib.input.FileInputFormat;
import org.apache.hadoop.maprece.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class Dep {

//map将输入中的value复制到输出数据的key上，并直接输出
public static class Map extends Mapper<Object,Text,Text,Text>{
private static Text line=new Text();//每行数据

//实现map函数
public void map(Object key,Text value,Context context)
throws IOException,InterruptedException{

line=value;
context.write(line, new Text(""));
}

}

//rece将输入中的key复制到输出数据的key上，并直接输出
public static class Rece extends Recer<Text,Text,Text,Text>{

//实现rece函数
public void rece(Text key,Iterable<Text> values,Context context)
throws IOException,InterruptedException{

context.write(key, new Text(""));
}

}

public static void main(String[] args) throws Exception{

Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

Job job = new Job(conf, "Data Deplication");
job.setJarByClass(Dep.class);

//设置Map、Combine和Rece处理类
job.setMapperClass(Map.class);
job.setCombinerClass(Rece.class);
job.setRecerClass(Rece.class);

//设置输出类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);

//设置输入和输出目录
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputForwww.cdxcxgs.com#tOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}

}</span>

5.配置编译器

㈥ 如何使用idea开发hadoop程序

（1）准备工作
1） 安装JDK 6或者JDK 7
2） 安装scala 2.10.x (注意版本)
2）下载Intellij IDEA最新版（本文以IntelliJ IDEA Community Edition 13.1.1为例说明，不同版本，界面布局可能不同）：
3）将下载的Intellij IDEA解压后，安装scala插件，流程如下：
依次选择“Configure”–> “Plugins”–> “Browse repositories”，输入scala，然后安装即可

（2）搭建Spark源码阅读环境（需要联网）
一种方法是直接依次选择“import project”–> 选择spark所在目录 –> “SBT”，之后intellij会自动识别SBT文件，并下载依赖的外部jar包，整个流程用时非常长，取决于机器的网络环境（不建议在windows下操作，可能遇到各种问题），一般需花费几十分钟到几个小时。注意，下载过程会用到git，因此应该事先安装了git。
第二种方法是首先在linux操作系统上生成intellij项目文件，然后在intellij IDEA中直接通过“Open Project”打开项目即可。在linux上生成intellij项目文件的方法（需要安装git，不需要安装scala，sbt会自动下载）是：在spark源代码根目录下，输入sbt/sbt gen-idea
注：如果你在windows下阅读源代码，建议先在linux下生成项目文件，然后导入到windows中的intellij IDEA中。

㈦ idea和hadoop不在同一个系统下jar包能运行吗

idea和hadoop不在同一个系统下jar包能运行啊，可以的

㈧ 如何将hadoop源码导入intellj idea

（1）准备工作 1） 安装JDK 6或者JDK 7 2） 安装scala 2.10.x (注意版本) 2）下载Intellij IDEA最新版（本文以IntelliJ IDEA Community Edition 13.1.1为例说明，不同版本，界面布局可能不同）

㈨ 在idea里运行hadoop wordcount，点击启动后要等一分钟才会开始执行，怎么解决

可能和机器配置、环境的参数配置有关系，我本次的测试环境，启动大概需要15-20秒左右。
慢要找到哪一步慢的，hadoop2016年前的版本对网关支持不太好，如果不同各个环境巨慢。