歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> Linux教程 >> Spark源碼包的編譯

Spark源碼包的編譯

日期:2017/2/28 14:24:21   编辑:Linux教程

Spark源碼包的編譯和部署生成,其本質只有兩種:Maven和SBT (Simple Build Tool), 只不過針對不同的場景而已:

Maven編譯

SBT編譯

IntelliJ IDEA編譯(可采用Maven或者SBT插件編譯),適用於開發人員

包部署生成(內嵌Maven編譯),使用維護人員

編譯的目的是生成特定環境下運行Spark本身或者開發Spark Application的JAR包,本次編譯的目的生成運行在Hadoop2.5.2上的Spark JAR包,缺省編譯所支持的Hadoop環境是Hadoop1.0.4

SBT編譯

將源碼包復制到指定的目錄下,然後進入該目錄,運行:

SPARK_HADOOP_VERSION=2.5.2 SPARK_YARN=true sbt/sbt assembly

Maven 編譯

事先安裝好Maven3.3.2或者Maven3.0.5,並設置環境變量MAVEN_HOME,將MAVEN_HOME/bin加入到PATH變量。然後將源代碼復制到指定的目錄下,然後進入該目錄,先設置Maven參數

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

再運行

mvn -Pyarn -Dhadoop.version=2.5.2 -Dyarn.version=2.5.2 -DskipTests clean package

--------------------------------------分割線 --------------------------------------

Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64位)下安裝Spark0.8.0詳細記錄 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark簡介及其在Ubuntu下的安裝使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安裝Spark集群(在CentOS上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark性能對比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark安裝與學習 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 並行計算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

--------------------------------------分割線 --------------------------------------

Spark 的詳細介紹:請點這裡
Spark 的下載地址:請點這裡

Copyright © Linux教程網 All Rights Reserved