Spark集群搭建 — ssh免密碼驗證登陸

機器准備
有三台機器，左側欄為ip，右側為hostname，三台機器都有一個名為spark的用戶。通過ping驗證三台是可以通信的。

192.168.248.150 spark-master
192.168.248.153 ubuntu-worker
192.168.248.155 spark-worker1

根據機器信息加入到三台機器的/etc/hosts中。

配置
我們需要設置spark-master 能夠免密碼驗證登陸ubuntu-worker、spark-worker1兩台機器。

安裝ssh
sudo apt-get install openssh-server

生成秘鑰
執行命令ssh-keygen -t rsa，然後一直按回車鍵即可。

復制spark-master結點的id_rsa.pub文件到另外兩個結點：

scp id_rsa.pub spark@ubuntu-worker:~/.ssh/

到另外兩個結點，將公鑰加到用於認證的公鑰文件中:

cat id_rsa.pub >> authorized_keys

修改兩個worker的authorized_keys權限為600或者644、將.ssh文件權限改為700

chmod 700 .ssh
chmod 600  authorized_keys

驗證:
登陸spark-master，在終端輸入ssh ubuntu-worker,登陸成功則說明配置成功。