歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> Linux教程 >> Hadoop在CentOS下的單機配置

Hadoop在CentOS下的單機配置

日期:2017/2/28 16:11:55   编辑:Linux教程

前言的前言

如果你做某件從未接觸過的事的時候很糾結很曲折,那麼為你自己高興吧,你能學到很多東西!

以下的東西都是貼圖,所以你們只有手敲了。我也不清楚這個東西是不是應該花很多時間去做,有得有失,某些付出不知道到底值多少。據**說一下午都能配出來,誰叫我傻呢,誰叫我蠢呢,不過該走的路咱還是踏實點走吧,不去跟人比。所以現在我把細節寫出來,供大家參考,讓你能在兩小時內完成。希望它能幫助你學習,而不是讓你變得更依賴。如有不對的地方請指正,我也是初學者。謝謝!

前言

做事總有個原因吧,那麼我們為什麼安裝單機的Hadoop呢?因為官網上有安裝單機hadoop,因為某權威網站有Ubuntu下安裝單機hadoop,但是沒有一個網站有CentOS下單機安裝,所以我現在CentOS下面單機配置hadoop。

其實單機hadoop的安裝沒有什麼實質的用處,主要用於初學者熟悉指令,以及對hadoop配置有個大致了解,以便於安裝分布式。

首先,我們來理清思路。

目的:安裝hadoop

Hadoop是需要在java環境下面運行,所以,首先要保證你的系統下面裝有JDK。那麼步驟是:配置SSH——安裝JDK——安裝hadoop(當然你願意先安裝它也完全沒問題)——配置java的環境變量(需要知道java的安裝路徑)——配置namenode下面3個配置文件——格式化hadoop——啟動hadoop。

我們用一般用戶登錄,然後切換到root下面,因為權限的問題,這樣相比下會更安全點,注意linux下面盡量不要用root登錄。

開始了

所需軟件

CentOS、Java、Hadoop安裝軟件。本人用的版本為Linux Cent OS 5.5、jdk1.6.0_13、hadoop-0.20.2.tar.gz。

我們要提醒一下,linux下面很注意權限問題。我們應該以一般用戶登錄,然後切換至root用戶才能使用某些命令,並能使系統處於相對安全的狀態。

所以做如下處理,來切換到root用戶。

1. SSH無密碼驗證配置(更建議放到最後一步進行,為非核心步驟,只是方便而已)

Hadoop 需要使用SSH 協議。

namenode 將使用SSH 協議啟動 namenode和datanode 進程,配置 SSH localhost無密碼驗證。

(1)生成密鑰對

前面是為了切換到root下面

通過以上命令將在/root/.ssh/ 目錄下生成id_rsa私鑰和id_rsa.pub公鑰。

(2)進入/root/.ssh目錄在namenode節點下做如下配置:

可以用鍵入ssh localhost命令來看已經連接,會有這樣的顯示

注意最後一行!跟第一行比較,發現我們用ssh進入到localhost了!但已不需要輸入密碼了。(這樣說你們也一定不知道,如果把這個放到最後一步做就會更懂。)

本人認為這樣設置會發現後面操作不會讓你老是輸入密碼,並非核心步驟,大家可以試試先配置其它的,再到這一步,就明白為什麼了。

Copyright © Linux教程網 All Rights Reserved