歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> Linux技術 >> 在win7的idea訪問centos部署的hadoop2.7.1問題集錦

在win7的idea訪問centos部署的hadoop2.7.1問題集錦

日期:2017/3/3 11:55:08   编辑:Linux技術

hadoop程序安裝包:/opt/package/hadoop-2.7.1;(具體hadoop安裝請參考hadoop的安裝教程!)

問題1::jps查看進程,沒有datanode?             文件格式化$HADOOP_HOME/bin/hdfs namenode -format後,沒有刪除對應的元數據目錄以及權限分配,可以監控hadoop啟動日志(/opt/package/hadoop-2.7.1/log/hadoop-root-datanode-lee.localdomain.log),監控日志很快可以排查問題,盡量不要出現問題就百度,這樣會誤導自己,雖然網上也很多人遇到類似問題,但是每個人的環境不同,有些事網絡配置導致,先嘗試自己分析日志

 

問題2:window系統連接hadoop需要配置對應版本的hadoop的winutils.exe?         需要配置對應的window下連接hadoop對應版本的winutil.exe,版本必須得對應上,否則會訪問會報錯。

 

問題3:hadoop的core-site.xml,mapred-site.xml的ip換成正式局域網ip,否則會連接拒絕?         由於是遠程連接,配置localhost導致遠程客戶端訪問不到,idea連接過去會出現connection refuse的異常!

 

[b]問題4:HDFS配置的目錄權限?[/b]       如果沒配置權限,啟動會報錯,導致datanode進程丟失。

 

總結:接觸新事情,要多留意框架的日志,先嘗試自己分析,在百度!

 

 注:附件的hadoop2.7.1的win下的winutil工具!      

Copyright © Linux教程網 All Rights Reserved