最近,筆者在研究一個有關“自然語言處理”的項目,在這個項目中,需要我們用Spark進行編程。而Spark內核是由Scala語言開發的,所以在使用Spark之前,我們必須配置好Scala,而Scala又是運行在JVM上的,所以在配置Scala之前,先要配置好JDK。下面是我個人的一些總結。
我是在Win7系統下開的虛擬機,虛擬機的系統是CentOS7,在創建虛擬機完成後,它會自帶一個OpenJDK,我的版本是這樣的:
但是因為最開始不了解這個情況,所以我從官網上下載了jdk-8u73-linux-x64.tar.gz,並解壓在/Downloads目錄下。進入/etc/profile.d目錄下,新建path.sh腳本文件,打開並配置環境變量如下圖:
在/etc/profile.d目錄下,鍵入source path.sh命令,使配置生效。
然而配置成功後,在控制台中鍵入java -version,依然會得到第一張圖中的信息,後來發現在配置JDK之前,需要卸載系統自帶的JDK。
在控制台中鍵入java,會出現如下圖所示的內容:
但是不知道這些,只知道Java開發環境已經配置完畢,所以便開始找對應版本的Scala,我下載的是scala-2.10.5.tgz,並解壓在/Downloads目錄下。進入/etc/profile.d目錄下,打開path.sh文件,配置Scala環境變量,如下圖所示:
在/etc/profile.d目錄下,鍵入source path.sh命令,使配置生效。
在控制台中鍵入scala -version和scala,會分別得到如下兩張圖中的內容:
至此,Java和Scala環境配置完畢!
本文由筆者親自編寫,不包含任何抄襲成分,如有朋友需要轉載、引用,請注明作者。
技術博文將做持續修改,歡迎各位大神留言指教!
使用IntelliJ IDEA編寫Scala在Spark中運行 http://www.linuxidc.com/Linux/2015-08/122283.htm
Scala編程完整中文版 PDF http://www.linuxidc.com/Linux/2015-08/121033.htm
快學Scala (中文完整掃描版) PDF http://www.linuxidc.com/Linux/2015-08/120950.htm
Ubuntu 安裝 2.10.x版本的Scala http://www.linuxidc.com/Linux/2015-04/116455.htm
Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm
CentOS 6.2(64位)下安裝Spark0.8.0詳細記錄 http://www.linuxidc.com/Linux/2014-06/102583.htm
Spark簡介及其在Ubuntu下的安裝使用 http://www.linuxidc.com/Linux/2013-08/88606.htm
安裝Spark集群(在CentOS上) http://www.linuxidc.com/Linux/2013-08/88599.htm
Hadoop vs Spark性能對比 http://www.linuxidc.com/Linux/2013-08/88597.htm
Spark安裝與學習 http://www.linuxidc.com/Linux/2013-08/88596.htm
Spark 並行計算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm
Scala 的詳細介紹:請點這裡
Scala 的下載地址:請點這裡