使用IntelliJ IDEA編寫Scala在Spark中運行

使用IntelliJ IDEA編寫Scala在Spark中運行

使用Scala寫一個測試代碼：

object Test {
def main(args: Array[String]): Unit = {
println("hello world")
}
}

就把這個Test視為類，項目組織結構如：

然後設置編譯選項：

然後在項目文件夾下面可以找到編譯好的Jar包：

復制到Spark指定的目錄下（自己建的）：

啟動Spark，然後提交任務：

spark-submit --class Test --master spark://localhost:7077 /home/data/myjar/Hello.jar

從上面控制台中已經能夠看到執行的輸出信息，同樣，我們也可在web管理器中查看任務信息：

接下來的事情就只剩下編寫Scala程序實現自己的算法了。

Scala編程完整中文版 PDF http://www.linuxidc.com/Linux/2015-08/121033.htm

快學Scala (中文完整掃描版) PDF http://www.linuxidc.com/Linux/2015-08/120950.htm

Ubuntu 安裝 2.10.x版本的Scala http://www.linuxidc.com/Linux/2015-04/116455.htm

Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64位)下安裝Spark0.8.0詳細記錄 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark簡介及其在Ubuntu下的安裝使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安裝Spark集群(在CentOS上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark性能對比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark安裝與學習 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 並行計算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

Scala 的詳細介紹：請點這裡
Scala 的下載地址：請點這裡