歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> 關於Linux >> Ubuntu10.4安裝配置Hadoop-0.20.203.0入門

Ubuntu10.4安裝配置Hadoop-0.20.203.0入門

日期:2017/3/1 17:20:33   编辑:關於Linux
1.安裝Sun公司的jdk1.6 並且,JAVA_HOME環境變量已經指向jdk的安裝目錄。(詳細見 Ubuntu10.4下手動安裝SUN公司的jdk1.6[整理])
2.下載穩定版的hadoop的安裝包,解壓到/opt/目錄下
3.命令行下運行
$ sudo gedit /etc/profile在文件最後添加
#set Hadoop environment
export HADOOP_INSTALL=/opt/hadoop-0.20.203.0
export PATH=$PATH:$HADOOP_INSTALL/bin設置Hadoop的安裝位置的環境變量
4.運行hadoop version 命令來測試是否成功
5.配置:
1)獨立模式:
在此模式下,不需要特別的配置操作,只需要在/conf目錄中的hadoop-env.sh中設置java jdk的HAVA_HOME環境變量
2)偽分布式模式:
自此模式下,需要配置3個配置文件(在conf/目錄下的core-site.xml hdfs-site.xml mapred-site.xml)

<!--core-site.xml -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost/</value>
</property>
</configuration><!--hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value><!--設置副本為1,程序就不會試圖復制的其他的機器上,就不會產生副本無法復制的警告-->
</property>
</configuration><!--mapred-site.xml-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>


6.配置SSH www.2cto.com
%sudo apt-get install ssh
基於空口令創建一個新的SSH密鑰,以啟動無密碼登錄
%ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
%cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
用以下指令測試:
%ssh localhost
如果成功,則無須輸入密碼。
7.啟動和終止守護進程
%start-dfs.sh
%start-mapred.sh
本地計算機將啟動三個守護進程 一個namenode 一個輔助namenode和一個datanode
在http://localhost:50030/查看jobtracker或在http://localhost:50070/查看namenode java的jps命令也可以查看守護進程是否在運行。
%stop-dfs.sh
%stop-mapred.sh
8.格式化HDFS文件系統:
%hadoop namenode -format、


摘自 怪蜀黍的博客
Copyright © Linux教程網 All Rights Reserved