歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> Linux教程 >> Pig 安裝部署及MapReduce模式下測試

Pig 安裝部署及MapReduce模式下測試

日期:2017/2/28 14:50:16   编辑:Linux教程

Pig 安裝配置

1.下載pig包:(pig-0.9.1)

apache版本:http://pig.apache.org/

2.解壓文件:

# tar -zxvf pig-0.9.1.tar.gz

3.配置/etc/profit

export PIG_INSTALL=/usr/pig/pig-0.9.1
export PATH=$PATH:$PIG_INSTALL/bin
export PIG_Hadoop_VERSION=20 //支持hadoop版本,我的是hadoop-0.20.2
source /etc/profile 使配置文件生效

4.pig的本地模式這裡就不多講,主要講hadoop模式下的一些配置

兩種方式配置,主要是指明namenode和jobtracker的位置:

方式 一:寫profile文件 export PIG_CLASSPATH=$HADOOP_INSTALL/conf/

方式 二:在pig目錄下的conf文件夾pig.properties 中增加

fs.default.name=hdfs://hadoop149:9000/
mapred.job.tracker=hadoop149:9004

5.啟動pig

[root@localhost conf]# pig

2011-12-06 17:57:48,357 [main] INFO org.apache.pig.Main - Logging error messages to: /usr/pig/pig-0.9.1/conf/pig_1323165468355.log

2011-12-06 17:57:48,528 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://hadoop149:9000/

2011-12-06 17:57:48,634 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: hadoop149:9004

• grunt> 出現如上信息,說明pig啟動成功

6 測試pig在MapReduce 模式下作業的執行

步驟一:上傳passwd到hdfs文件系統 假如路徑如下 /passwd

步驟二:在grunt編譯器命令行依次執行如下命令

A = load '/passwd' using PigStorage(':');

B = foreach A generate $0 as id;

dump B;

在屏幕可以直接查看命令執行結果

Copyright © Linux教程網 All Rights Reserved