編譯安裝方式部署Hadoop 2.x集群

3. ssh免密碼、修改環境變量(ssh設置跟上周作業一樣略，)
檢查ssh免密碼

修改環境變量

4. 安裝jdk,maven,protobuf,hadoop
安裝jdk(略)

安裝maven
[root@hadoop1 opt]# tar xvf apache-maven-3.2.1-bin.tar.gz
檢查maven

安裝protobuf
[root@hadoop1 opt]# tar xvf protobuf-2.5.0.tar.bz2
[root@hadoop1 opt]# cd protobuf-2.5.0/
[root@hadoop1 protobuf-2.5.0]# ./configure
[root@hadoop1 protobuf-2.5.0]# make && make check && make install

編譯安裝hadoop
[root@hadoop1 hadoop2.3-src]# mvn clean package -Pdist,native -DskipTests –Dtar

查看編譯後生成的文件

5. 修改hadoop配置文件
hadoop-env.sh
export JAVA_HOME=/opt/jdk

yarn-env.sh
export JAVA_HOME=/opt/jdk/

slaves
[root@hadoop1 hadoop]# cat slaves
hadoop2

復制hadoop到其它節點
[root@hadoop1 opt]# scp -r ./hadoop-2.3.0/ root@hadoop2:/opt/

6. 啟動集群
格式化namenode
[root@hadoop1 hadoop-2.3.0]# ./bin/hdfs namenode –format
啟動hadoop集群
[root@hadoop1 hadoop-2.3.0]# ./sbin/start-all.sh
檢查集群運行情況