歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> Linux教程 >> Hadoop0.20.2版本在Ubuntu下安裝和配置

Hadoop0.20.2版本在Ubuntu下安裝和配置

日期:2017/2/28 16:21:33   编辑:Linux教程

  1、安裝JDK
  (1)下載安裝JDK:確保計算機聯網之後命令行輸入下面命令安裝JDK
  sudo apt-get install sun-java6-jdk
  (2)配置計算機Java環境:打開/etc/profile,在文件最後輸入下面內容
  export JAVA_HOME = (Java安裝目錄)
  export CLASSPATH = ".:$JAVA_HOME/lib:$CLASSPATH"
  export PATH = "$JAVA_HOME/:PATH"
  (3)驗證Java是否安裝成功
  輸入 java -version ,輸出Java版本信息即為安裝成功。

  2、安裝配置SSH

  (1)下載安裝SSH:同樣在命令行輸入下面命令安裝SSH
  sudo apt-get install ssh
  (2)配置無密碼登錄本機:在命令行輸入下面兩條命令
  ssh-keygen -t dsa -P " -f ~/.ssh/id_dsa
  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  (3)驗證SSH是否安裝成功
  輸入 ssh localhost 。如果顯示本機登錄成功就表明安裝成功。

  3、安裝運行Hadoop(以0.20.2版本為例)

  (1)下載Hadoop:在http://www.apache.org/dyn/closer.cgi/hadoop/core/頁面上下載Hadoop。

  (2)安裝配置Hadoop

  單節點配置:
  安裝單節點的Hadoop無需配置,在這種方式下,Hadoop被認作為一個單獨的Java進程。
  偽分布配置:
  偽分布的Hadoop是只有一個節點的集群。在這個集群中,計算機既是master也是slave,即使 namenode也是datanode,既是jobtracker也是tasktracker。

  配置的過程如下:

  a、進入conf文件夾修改下面的文件。
  Hadoop-env.sh中加入下面內容:
  export JAVA_HOME = (JAVA安裝目錄)
  core-site.xml文件內容修改為下面內容:
  <configuration>
  <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
  </property>
  </configuration>
  hdfs-site.xml文件內容修改為下面內容:
  <configuration>
  <property>
  <name>fs.replication</name>
  <value>1</value>
  </property>
  </configuration>
  mapred-site.xml文件內容修改為下面內容:
  <configuration>
  <property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
  </property>
  </configuration>

  b、格式化Hadoop文件系統,在命令行輸入命令:
  bin/hadoop namenode -format

  c、啟動Hadoop,在命令行輸入命令:
  bin/start-all.sh

  d、驗證Hadoop是否安裝成功,在浏覽器中輸入下面網址,如果正常打開說明安裝成功。
  http://localhost:50030 (mapreduce的web頁面)
  http://localhost:50070 (hdfs的web頁面)

Copyright © Linux教程網 All Rights Reserved