歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> Linux技術 >> 0048 linux(ubuntu)中Spark的本地模式安裝

0048 linux(ubuntu)中Spark的本地模式安裝

日期:2017/3/3 12:41:39   编辑:Linux技術
作者系統:ubuntu15.10,但是以下操作具一定普適性。
說明;
1.為了進行Spark的入門學習,我們就安裝Spark1.2版本,Hadoop版本為2.4及以後;
2.由於spark是基於java虛擬機(jvm)因此你必須安裝上java 6及更新版本,具體安裝請參考我的轉載博文:
http://blog.csdn.net/gendlee1991/article/details/51306910
3.Spark的原生語言是Scala,但是有python和java等接口,非常方便,因此不必像其他博文中介紹的一定要安裝scala(對初學者盡量簡化安裝復雜性)
ubuntu自帶的python 2.7.6就足夠操作Spark;
來吧,安裝!
最重要的一步:下載資源!
Spark官方網站(各個版本):http://spark.apache.org/downloads.html
Choose a Spark release:1.2.0 DEC 18 2014
Choose a package type:Pre-build for Hadoop 2.4 and later (為hadoop2.4及之後的版本預編譯的版本)
Choose a download type:Direct Download
如圖:

下載好後進入第二步。
第二步:找到下載的文件spark-1.2.0-bin-hadoop2.4.tgz所在的文件夾,進行解壓操作:
$sudo tar -zxvf spark-1.2.0-bin-hadoop2.4.tgz
解壓好可以直接運行(什麼?!這就可以啦?不是沒安裝嗎?spark的安裝就是這麼簡單)。
第三步:直接進入帶解壓後的spark-1.2.0-bin-hadoop2.4文件,再進入bin文件夾,看看裡面的shell腳本,OK,現在我們來運行一下一個叫做:pyspark的shell腳本:
$./pyspark
你將看到:

看到這裡,恭喜你,你已經安裝好了spark的本地模式,可以進行spark的入門學習了(主要是spark shell),spark真正讓人上瘾的是應用再集群上,進行並行運算。
本文內容參考:《Learning Spark:Lighting-fast Data-analysis》,轉載請注明來自本書以及本博。
Copyright © Linux教程網 All Rights Reserved