使用Eclipse編譯運行MapReduce程序 Hadoop2.4.1

上篇介紹了使用命令行編譯打包運行自己的MapReduce程序，使用 Eclipse 更加方便。要在 Eclipse 上編譯和運行 MapReduce 程序，需要安裝 Hadoop-eclipse-plugin，可使用 Github 上的 hadoop2x-eclipse-plugin，測試環境：

• Ubuntu 14.04
• Hadoop 2.4.1
• Eclipse 3.8

准備工作

安裝好 Eclipse，可在 Ubuntu 軟件中心直接搜索安裝。同時開啟 Hadoop。

安裝 Hadoop-Eclipse-Plugin

下載 hadoop2x-eclipse-plugin ，將 release 中的 hadoop-eclipse-kepler-plugin-2.2.0.jar （雖然標注的是 2.2.0，但在 2.4.1 下是沒問題的，應該在 2.x 版本下都可以）復制到 Eclipse 安裝目錄的 plugin 文件夾中，運行 eclipse -clean 重啟 Eclipse 即可。Eclipse 的默認安裝目錄為：/usr/lib/eclipse ：

cd ~/下載/
unzip ./hadoop2x-eclipse-plugin-master.zip
cd /usr/lib/eclipse
sudo cp ~/下載/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-kepler-plugin-2.2.0.jar ./plugins/
./eclipse -clean

配置 Hadoop-Eclipse-Plugin

（部分圖片直接使用他人的，所以風格不太統一，但不影響）

啟動 Eclipse 後就可以在左側的Project Explorer中看到 DFS Locations（若看到的是 welcome 界面，點擊左上角的 x 關閉就可以看到了）。

安裝好Hadoop-Eclipse-Plugin插件後的效果

--------------------------------------分割線 --------------------------------------

CentOS安裝和配置Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop環境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop環境（單機模式+偽分布模式） http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop環境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

單機版搭建Hadoop環境圖文教程詳解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建Hadoop環境（在Winodws環境下用虛擬機虛擬兩個Ubuntu系統進行搭建） http://www.linuxidc.com/Linux/2011-12/48894.htm

--------------------------------------分割線 --------------------------------------

插件需要進一步的配置。

第一步：選擇 Window 菜單下的 Preference ，然後彈出一個窗體，窗體的左側會多出 Hadoop Map/Reduce 選項，點擊此選項，選擇 Hadoop 的安裝目錄（如/usr/local/hadoop，Ubuntu不好選擇目錄，直接輸入就行）。

選擇 Hadoop 的安裝目錄

第二步：切換 Map/Reduce 工作目錄，選擇 Window 菜單下選擇 Open Perspective –

Other，彈出一個窗體，從中選擇 Map/Reduce 選項即可進行切換。

切換 Map/Reduce 工作目錄

第三步：建立與 Hadoop 集群的連接，點擊 Eclipse軟件右下角的 Map/Reduce Locations 面板，在面板中單擊右鍵，選擇 New Hadoop Location。

建立與 Hadoop 集群的連接

在彈出來的 General 選項面板中進行 Master 的設置，設置要要 Hadoop 的配置一致，如我使用的Hadoop偽分布式配置，設置了 fs.defaultFS 為 hdfs://localhost:9000，則 DFS Master 那的 Post 也應改為 9000。

Location Name 隨意填寫，Map/Reduce Master 的 Host 就填寫你本機的IP（localhost 也行），Port 默認就是 50020。最後的設置如下：

Hadoop Location 的設置

接著再切換到 Advanced parameters 選項面板，這邊有詳細的配置，切記需要與 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置文件)一致，如我配置了 hadoop.tmp.dir ，就要進行修改。

Hadoop Location 的設置

最後點擊 finish，Map/Reduce Location 就創建好了。

這樣配置就完成了。

更多詳情見請繼續閱讀下一頁的精彩內容： http://www.linuxidc.com/Linux/2015-02/113490p2.htm