Hadoop2安裝---偽分布式模式

Hadoop2安裝---單機模式：http://www.linuxeye.com/Linux/988.html

首先需要安裝ssh 安裝略

一、免密碼ssh設置

ssh-keygen -t rsa

一直按<Enter> 由於不設置密碼，所以就一直回車就行。

測試：

ssh localhost

其實是否必須使用ssh密碼設置？我也不太清楚，很多帖子都需要這步，但官方網上沒有這步。如果你有興趣可以不操著這步試試，可能偽分布模式不需要ssh密碼驗證。呵呵我也是菜鳥，也不太清楚。但ssh一定是要安的。

二、修改配置文件

修改的文件都在/usr/local/hadoop-2.0.2-alpha/etc/hadoop下：
core-site.xml、hdfs-site.xml、yarn-site.xml 、mapred-site.xml. 四個文件
文件說明（略）
配置文件的添加和修改都在<configuration></configuration> 中

1、core-site.xml

<b> <property>
  <name>fs.defaultFS</name>
  <value>hdfs://127.0.0.1:9000</value>
</property> </b>

添加hdfs的指定URL路徑，由於是偽分布模式，所以配置的是本機IP ，可為真實Ip、localhost。
官網上還提到io.file.buffer.size配置，由於默認的比較小只有4096，所以可以安裝自己的需求寫該131072（官方提供)。由於我這裡只是做測試，配置越簡單越好。

2、hdfs-site.xml

<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/local/hadoop-2.0.2-alpha/dfs/name</value>
</property>
 
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/local/hadoop-2.0.2-alpha/dfs/data</value>
</property>

主要是對namenode 和 datanode 存儲路徑的設置。其實默認是存儲在file://${hadoop.tmp.dir}/dfs/name和data 下的。所以這裡也不需配置的。但默認的師臨時文件，重啟就沒有了，所以我這裡還是設置了專門的路徑保存。

3、mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

好像hadoop2有了yarn所以原來的mapred配置都轉向yarn-site.xml文件中了，這裡也就指定yarn。同時這裡也可以配置一些mapreduce.map.java.opts、mapreduce.reduce.java.opts等很多，當然我這裡還是使用默認的。

4、yarn-site.xml

為了簡單，快速做測試，我還是使用默認的。

三、啟動

啟動的文件都是 sbin下，bin下的都是命令。如果你為了方便可以把這兩個目錄添加到環境變量中去，這樣就可以直接運行命令，而不用運行絕對路徑。配置環境變量略（我這裡還是用絕對路徑）。

切換到該安裝目錄下
首先格式化 namenode

bin/hdfs namenode -format

確定不報錯，且出現

/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at startos/192.168.0.101
************************************************************/
startos/192.168.0.101是我的計算機名和Ip

啟動namenode

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

運行測試

jps

出現：
8431 Jps
8353 DataNode
8271 NameNode

證明啟動成功，如果沒有出現DataNode或者NameNode，證明啟動沒有成功，可以查看hadoop安裝目錄下的logs下的日志記錄。
可以使用sbin/hadoop-daemon.sh stop datanode（datanode）來關閉。

啟動Manage管理

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

運行測試

jps

出現：
8353 DataNode
8271 NameNode
8676 Jps
8462 ResourceManager

證明啟動成功 同時也可以使用yarn-daemon.sh stop resourcemanager（nodemanager）來關閉。

如果沒有單獨配置yarn-site.xml中的yarn.resourcemanager.webapp.address，默認的端口8088 訪問
http://127.0.0.1:8088/ 就可以訪問hadoop管理頁面

如果沒有單獨配置 hdfs-site.xml中的dfs.namenode.http-address,默認端口50070
http://127.0.0.1:50070 就可以訪問namenode節點信息。

注：網上很多地方都說用start-dfs.sh、 start-yarn.sh可以簡略上面的步驟，但我還想沒有成功，所以還是老實點，strat-all.sh stop-all.sh都沒戲。

四、運行實例

還是同單機模式測試一樣創建要上傳的文件
切換到該安裝目錄下，建立要上傳到hadoop的兩個文件 test1.txt、test2.txt

mkdir input
cd input
echo "hello world" > test1.txt
echo "hello hadoop" > test2.txt
cd ..

把input目錄中的文件拷貝到dnfs上，並保存在in目錄中

bin/hadoop dfs -put input/ /in

其中/in 中的/ 是hdfs下的目錄，好像不加/ 不能上傳。

參考

bin/hadoop dfs -ls /in

就可以查看到in文件夾下的兩個文件，同時也可以通過http://127.0.0.1:50070 查看節點下的文件。