Ubuntu11.10下安裝Hadoop1.0.0（單機偽分布式）

環境配置：Ubuntu11.10，Hadoop1.0.0

安裝ssh

1
apt-get install ssh


安裝rsync




1
apt-get install rsync


配置ssh免密碼登錄




1
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys


驗證是否成功




1
ssh localhost




下載Hadoop1.0.0,JDK

新建linux 終端，建立app目錄，Java和Hadoop都將安裝在此目錄中。



1
mkdir /home/app


接下來，安裝Java和Hadoop，Hadoop解壓即可。




1
cd /home/app
2
chmod +x jdk-6u30-linux-i586.bin
3
./jdk-6u30-linux-i586.bin
4

5
tar zxf hadoop-1.0.0-bin.tar.gz


配置JDK環境變量



1
vi /etc/profile


增加下面語句到最後




1
export JAVA_HOME=/home/app/jdk1.6.0_30
2
export PATH=$JAVA_HOME/bin:$PATH
3
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


接下來開始配置Hadoop


進入Hadoop目錄



1
cd /home/app/hadoop-1.0.0


修改配置文件，指定JDk安裝路徑




1
vi conf/hadoop-env.sh


1
export JAVA_HOME=/home/app/jdk1.6.0_30


修改Hadoop核心配置文件core-site.xml，這裡配置的是HDFS的地址和端口號




1
vi conf/core-site.xml


1
<configuration>
2
<property>
3
<name>fs.default.name</name>
4
<value>hdfs://localhost:9000</value>
5
</property>
6
</configuration>


修改Hadoop中HDFS的配置，配置的備份方式默認為3，因為安裝的是單機版，所以需要改為1




1
vi conf/hdfs-site.xml


1
<configuration>
2
<property>
3
<name>dfs.replication</name>
4
<value>1</value>
5
</property>
6
</configuration>


修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口




1
vi conf/mapred-site.xml


1
<configuration>
2
<property>
3
<name>mapred.job.tracker</name>
4
<value>localhost:9001</value>
5
</property>
6
</configuration>


接下來，啟動Hadoop，在啟動之前，需要格式化Hadoop的文件系統HDFS，進入Hadoop文件夾，輸入下面命令




1
bin/hadoop namenode -format


然後啟動Hadoop，輸入命令




1
bin/start-all.sh


這個命令為所有服務全部啟動。


最後，驗證Hadoop是否安裝成功。打開浏覽器，分別輸入一下網址：

http://localhost:50030 (MapReduce的Web頁面)

http://lcoalhost:50070 (HDfS的web頁面)

如果都能查看，說明安裝成功。

Hadoop分別從三個角度將主機劃分為兩種角色：

第一，劃分為master和slave，即主人與奴隸。

第二，從HDFS的角度，將主機劃分為namenode和datanode(在分布式文件系統中，目錄的管理很重要，管理目錄的就相當於主人，而namenode就是目錄管理者)。

第三，從MapReduce的角度，將主機劃分為JobTracker和TaskTracker(一個job經常被劃分為多個task，從這個角度不難理解它們之間的關系)。