Spark源碼包的編譯和部署生成,其本質只有兩種:Maven和SBT (Simple Build Tool), 只不過針對不同的場景而已:
Maven編譯
SBT編譯
IntelliJ IDEA編譯(可采用Maven或者SBT插件編譯),適用於開發人員
包部署生成(內嵌Maven編譯),使用維護人員
編譯的目的是生成特定環境下運行Spark本身或者開發Spark Application的JAR包,本次編譯的目的生成運行在Hadoop2.5.2上的Spark JAR包,缺省編譯所支持的Hadoop環境是Hadoop1.0.4
SBT編譯
將源碼包復制到指定的目錄下,然後進入該目錄,運行:
SPARK_HADOOP_VERSION=2.5.2 SPARK_YARN=true sbt/sbt assembly
Maven 編譯
事先安裝好Maven3.3.2或者Maven3.0.5,並設置環境變量MAVEN_HOME,將MAVEN_HOME/bin加入到PATH變量。然後將源代碼復制到指定的目錄下,然後進入該目錄,先設置Maven參數
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
再運行
mvn -Pyarn -Dhadoop.version=2.5.2 -Dyarn.version=2.5.2 -DskipTests clean package
--------------------------------------分割線 --------------------------------------
Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm
CentOS 6.2(64位)下安裝Spark0.8.0詳細記錄 http://www.linuxidc.com/Linux/2014-06/102583.htm
Spark簡介及其在Ubuntu下的安裝使用 http://www.linuxidc.com/Linux/2013-08/88606.htm
安裝Spark集群(在CentOS上) http://www.linuxidc.com/Linux/2013-08/88599.htm
Hadoop vs Spark性能對比 http://www.linuxidc.com/Linux/2013-08/88597.htm
Spark安裝與學習 http://www.linuxidc.com/Linux/2013-08/88596.htm
Spark 並行計算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm
--------------------------------------分割線 --------------------------------------
Spark 的詳細介紹:請點這裡
Spark 的下載地址:請點這裡