歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> Linux技術 >> centos下搭建hadoop平台

centos下搭建hadoop平台

日期:2017/3/3 12:57:36   编辑:Linux技術
環境:centos7.1+hadoop-2.7.2
下載地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.2/
准備好虛擬機或者centos系統以及hadoop框架

1、將hadoop解壓到app目錄下

tar zxvf hadoop-2.7.2.tar.gz -C app/

2、修改配置文件

第一個:hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/app/jdk1.8.0_91(根據自己配置的jdk路徑為准)
第二個:core-site.xml
fs.defaultFS
hdfs://hadoop(主機名):9000
hadoop.tmp.dir
/home/hadoop/hadoop-2.7.2/tmp
第三個:hdfs-site.xml hdfs-default.xml (3)
dfs.replication
1(根據集群中開啟的datenode個數定)
第四個:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
mapreduce.framework.name
yarn
第五個:yarn-site.xml
yarn.resourcemanager.hostname
hadoop01
yarn.nodemanager.aux-services
mapreduce_shuffle

3、將hadoop配置到環境變量

命令:vim /etc/proflie
export JAVA_HOME=/app/jdk1.8.0_91
export HADOOP_HOME=/app/hadoop-2.7.2
export PATH=PATH:PATH:JAVA_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin
[code]命令:source /etc/profile(使環境變量配置文件立即生效)

4、格式化namenode(是對namenode進行初始化)

[code]hdfs namenode -format (hadoop namenode -format)

5、啟動與驗證hadoop

啟動hadoop
先啟動HDFS
sbin/start-dfs.sh
再啟動YARN
sbin/start-yarn.sh
驗證是否啟動成功
使用jps命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
[code]http://192.168.1.101:50070 (HDFS管理界面)http://192.168.1.101:8088 (MR管理界面)

到此為止hadoop環境搭建完成。
Copyright © Linux教程網 All Rights Reserved