歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux編程 >> Linux編程 >> C++ Hadoop實戰備忘

C++ Hadoop實戰備忘

日期:2017/3/1 10:00:39   编辑:Linux編程

前言:Hadoop用於解決大數據處理問題。看到這麼火,咱也來湊把熱鬧,瞧瞧到底是什麼神奇的技術。

實戰過程,還是很波折。畢竟,對這些Hadoop的命令不是很熟。

所幸,天不負有心人,終於跑通了第一個示例。

對我而言,這個的意義,不亞於輸出了開天辟地的“hello world”。

配置過程中出錯時,不要洩氣,一般是由於路徑配置不對引起,可與本文檔對比查錯。

操作系統:Ubuntu 10.04 LTS

JDK:jdk-6u18-linux-i586.bin

Hadoop:hadoop-0.21.0

說明:hadoop版本一定要與本文檔匹配,新版本目錄格式已做修改。

步驟一:配置環境

本步驟參見:Hadoop環境搭建——單節點篇 http://www.linuxidc.com/Linux/2012-03/56691.htm

1、安裝jdk1.6.0_18

1)在usr下面新建一個文件夾Java,然後將jdk復制過來.

sudo mkdir /usr/Java

sudo cp jdk的路徑 /usr/Java

2)進入到Java目錄下,改變文件權限為可執行

cd /usr/Java

sudo chmod u+x jdk-6u18-linux-i586.bin

3)執行安裝

(現象為Unpacking....加一連串解壓信息)

sudo ./jdk-6u18-linux-i586.bin

2、安裝hadoop0.21.0

1)將hadoop0.21.0.tar.gz復制到usr下面的local文件夾內

sudo cp hadoop的路徑 /usr/local

2)進入到local目錄下,解壓hadoop-0.21.0.tar.gz

cd /usr/local

sudo tar -xzf hadoop-0.21.0.tar.gz

3)為了方便管理,將解壓後的文件夾名改為hadoop

sudo mv hadoop-0.21.0 hadoop

3、創建一個名為hadoop的用戶和用戶組

1)創建一個名為hadoop的用戶組

sudo addgroup hadoop

2)創建一個名為hadoop的用戶,歸到hadoop用戶組下

sudo adduser --ingroup hadoop hadoop

3)用gedit打開etc下的sudoers文件

sudo gedit /etc/sudoers

4)在 root ALL=(ALL) ALL 下面添加如下一行,然後保存關閉gedit

hadoop ALL=(ALL) ALL

4、配置環境變量

1)用gedit打開etc下的profile文件

sudo gedit /etc/profile

2)在文件最後加入如下幾行

export CLASSPATH=.:/usr/Java/jdk1.6.0_23/lib:/usr/Java/jdk1.6.0_18/jre/lib:$CLASSPATH

export PATH=.:/usr/Java/jdk1.6.0_23/bin:/usr/Java/jdk1.6.0_18/jre/bin:/usr/local/hadoop/bin:$PATH

3)保存後關閉gedit,並重啟機器

sudo reboot

4)重啟後用hadoop用戶登錄,驗證配置是否成功

java -version(驗證java配置是否成功)

5、創建ssh-key

1)確保網絡通暢,然後裝載ssh服務

sudo apt-get install openssh-server

2)創建ssh-key,為rsa

ssh-keygen -t rsa --P

3)將此ssh-key添加到信任列表中,並啟用此ssh-key

cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys

sudo /etc/init.d/ssh reload

4)重啟系統

Copyright © Linux教程網 All Rights Reserved