博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
HADOOP__PIG安装与配置
阅读量:5313 次
发布时间:2019-06-14

本文共 1020 字,大约阅读时间需要 3 分钟。

PIG安装与配置

前提

  已成功安装好Hadoop集群。

  详见:

  以下只在一个结点做,PIG可以直接调用整个集群。此处我选择了独立于其他节点的Server(CentOS)节点。

安装要求:

  Server节点要求。

  ①已安装JDK。

  ②已有HADOOP目录,并且其中的maters,slaves文件已做好配置.

  (最好可以直接拷贝集群中一个节点的HADOOP目录)

  PIG安装是比较容易的,相对于其他项目而言。

(一)下载解压PIG

  Pig下载路径,下载0.9.2(之前尝试了其他版本报错了:failed to create DataStorage尝试比较低的版本,

  详见:)

http://apache.dataguru.cn/pig/pig-0.9.2/pig-0.9.2.tar.gz

  将下载好的文件放到 /usr/hadoop/目录下并解压:

tar -zxvf pig-0.9.2.tar.gz

(二)配置PIG环境

  配置用户的环境变量:

vi ~/.bash_profile

  添加如下内容:

PATH=$PATH:/usr/hadoop/pig-0.9.2/bin:$HOME/bin

HADOOP_HOME=/usr/hadoop

export PATH

export HADOOP_HOME

  为什么这么设置: 将PIG的bin目录添加到PATH中,可以直接在shell中敲入PIG命令进入程序,而非进入目录再执行。PIG在执行的时候会自动读取当前环境变量中的  HADOOP_HOME,从找到对应的HADOOP目录,也会读取JAVA_HOME来找到要使用的JAVA环境。

  注意:
  如果JDK没有在/etc/profile中export的话,请在此处做一次export(JAVA_HOME是PIG中必须的一个变量)。

JAVA_HOME=/usr/jdk export JAVA_HOME

  做好配置之后:

source ~/.bash_profile

  来执行这个文件,使刚配置好的环境变量生效

(三)运行PIG

  在shell中:

pig -x local

  进入本地模式

  之间键入:

pig

  进入集群模式

转载于:https://www.cnblogs.com/freeideas/archive/2013/04/22/3036668.html

你可能感兴趣的文章
vue-devtools 获取到 vuex store 和 Vue 实例的?
查看>>
Linux 中【./】和【/】和【.】之间有什么区别?
查看>>
内存地址对齐
查看>>
看门狗 (监控芯片)
查看>>
css背景样式
查看>>
JavaScript介绍
查看>>
开源网络漏洞扫描软件
查看>>
yum 命令跳过特定(指定)软件包升级方法
查看>>
创新课程管理系统数据库设计心得
查看>>
Hallo wolrd!
查看>>
16下学期进度条2
查看>>
Could not resolve view with name '***' in servlet with name 'dispatcher'
查看>>
Chapter 3 Phenomenon——12
查看>>
和小哥哥一起刷洛谷(1)
查看>>
遇麻烦,Win7+Ubuntu12.10+Archlinux12.10 +grub
查看>>
SqlBulkCopy大批量导入数据
查看>>
pandas 修改指定列中所有内容
查看>>
「 Luogu P2285 」打鼹鼠
查看>>
lua语言入门之Sublime Text设置lua的Build System
查看>>
vue.js基础
查看>>