idea源碼hadoop

㈠ intellij idea 怎麼集成hadoop

同求！同求！同求！同求！同求！同求！同求！同求！

㈡ 如何在Windows中使用Intellij idea搭建遠程Hadoop

注意，客戶端和虛擬集群中hadoop、spark、scala的安裝目錄是一致的，這樣開發的spark應用程序的時候不需要打包spark開發包和scala的庫文件，減少不必要的網路IO和磁碟IO。當然也可以不一樣，不過在使用部署工具spark-submit的時候需要參數指明cl如何在Windows中使用Intellij idea搭建遠程Hadoop

㈢ idea 怎麼導入hadoop架包

我們在項目目錄下面創建一個input文件夾，在文件夾中創建一個文件，然後在文件中隨意輸入一些字元串，保存，然後運行剛剛新建的Application，等待運行完成會發現項目目錄下多了一個output文件夾，打開裡面的『part-r-00000』文件就會發現裡面是對你輸入字元串的出現個數的統計。

當你第二次運行的時候因為hadoop不會自動刪除output目錄所以可能會出現錯誤，請手動刪除之後再運行。
這樣就可以使用intellij來開發hadoop程序並進行調試了。

㈣ 如何在Mac使用Intellij idea搭建遠程Hadoop開發環境

點擊左上角 + ，Type選擇SFTP，然後配置伺服器ip和部署路徑，用戶名密碼等選項
之後選擇自動部署，這樣每次修改都會自動部署到伺服器，也可以右鍵，選擇Deployment，upload to ...

㈤ Idea 開發Maprece遇到的問題，代碼不能自動實現方法！搞了很久沒搞出來，哪位大牛知道這個

項目配置 File ---- Project Structure

1. SDK的配置

2. 加入Hadoop的jar包依賴

3.打包配置

4.開發map-rece代碼

<span style="font-size:18px;">import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.maprece.Job;
import org.apache.hadoop.maprece.Mapper;
import org.apache.hadoop.maprece.Recer;
import org.apache.hadoop.maprece.lib.input.FileInputFormat;
import org.apache.hadoop.maprece.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class Dep {

//map將輸入中的value復制到輸出數據的key上，並直接輸出
public static class Map extends Mapper<Object,Text,Text,Text>{
private static Text line=new Text();//每行數據

//實現map函數
public void map(Object key,Text value,Context context)
throws IOException,InterruptedException{

line=value;
context.write(line, new Text(""));
}

}

//rece將輸入中的key復制到輸出數據的key上，並直接輸出
public static class Rece extends Recer<Text,Text,Text,Text>{

//實現rece函數
public void rece(Text key,Iterable<Text> values,Context context)
throws IOException,InterruptedException{

context.write(key, new Text(""));
}

}

public static void main(String[] args) throws Exception{

Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

Job job = new Job(conf, "Data Deplication");
job.setJarByClass(Dep.class);

//設置Map、Combine和Rece處理類
job.setMapperClass(Map.class);
job.setCombinerClass(Rece.class);
job.setRecerClass(Rece.class);

//設置輸出類型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);

//設置輸入和輸出目錄
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputForwww.cdxcxgs.com#tOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}

}</span>

5.配置編譯器

㈥ 如何使用idea開發hadoop程序

（1）准備工作
1） 安裝JDK 6或者JDK 7
2） 安裝scala 2.10.x (注意版本)
2）下載Intellij IDEA最新版（本文以IntelliJ IDEA Community Edition 13.1.1為例說明，不同版本，界面布局可能不同）：
3）將下載的Intellij IDEA解壓後，安裝scala插件，流程如下：
依次選擇「Configure」–> 「Plugins」–> 「Browse repositories」，輸入scala，然後安裝即可

（2）搭建Spark源碼閱讀環境（需要聯網）
一種方法是直接依次選擇「import project」–> 選擇spark所在目錄 –> 「SBT」，之後intellij會自動識別SBT文件，並下載依賴的外部jar包，整個流程用時非常長，取決於機器的網路環境（不建議在windows下操作，可能遇到各種問題），一般需花費幾十分鍾到幾個小時。注意，下載過程會用到git，因此應該事先安裝了git。
第二種方法是首先在linux操作系統上生成intellij項目文件，然後在intellij IDEA中直接通過「Open Project」打開項目即可。在linux上生成intellij項目文件的方法（需要安裝git，不需要安裝scala，sbt會自動下載）是：在spark源代碼根目錄下，輸入sbt/sbt gen-idea
註：如果你在windows下閱讀源代碼，建議先在linux下生成項目文件，然後導入到windows中的intellij IDEA中。

㈦ idea和hadoop不在同一個系統下jar包能運行嗎

idea和hadoop不在同一個系統下jar包能運行啊，可以的

㈧ 如何將hadoop源碼導入intellj idea

（1）准備工作 1） 安裝JDK 6或者JDK 7 2） 安裝scala 2.10.x (注意版本) 2）下載Intellij IDEA最新版（本文以IntelliJ IDEA Community Edition 13.1.1為例說明，不同版本，界面布局可能不同）

㈨ 在idea里運行hadoop wordcount，點擊啟動後要等一分鍾才會開始執行，怎麼解決

可能和機器配置、環境的參數配置有關系，我本次的測試環境，啟動大概需要15-20秒左右。
慢要找到哪一步慢的，hadoop2016年前的版本對網關支持不太好，如果不同各個環境巨慢。