Oozie 与 Yarn 协同工作

记录一下Oozie针对于Yarn的安装和配置流程。本文Oozie的版本为3.3.2,Hadoop为2.2。

主要步骤:

1、下载oozie-3.3.2.tar.gz,然后执行命令“bin/mkdistro.sh -DskipTests”进行compile:


2、将编译生成的oozie-3.3.2工程copy到$OOZIE_HOME

3、在$OOZIE_HOME目录下创建目录libext,并将Hadoop相应的jar包、ext-2.2.zip拷贝到其下

4、在$HADOOP_HOME/conf/core-site.xml里添加内容:


5、在$OOZIE_HOME/conf/oozie-site.xml里添加内容:

6、执行oozie-setup.sh:

bin/oozie-setup.sh -hadoop 2.2.0 /home/hadoop-2.2.0 -extjs/home/oozie-3.3.2/libext/ext-2.2.zip

执行成功后,会有如下提示:

7、执行“bin/oozied.sh run”启动Oozie

8、更改Oozie job的job.properties文件:

主要的更改是:将 jobtracker 地址和端口改为 'yarn.resourcemanager.address ' 项的值。

比如:

- 对于hadoop-1.x:jobTracker=JT_HOST:9001

- 对于hadoop-2.x:jobTracker=RM_HOST:18040

9、提交Oozie job

命令:

执行成功后,Oozie web console上的信息:

Yarn web console上的信息:


以上是主要步骤,当然安装配置过程中也碰到了各种问题,比如”NoClassDefFoundError“、”java.net.ConnectException“、”KerberosName$NoMatchingRule“、”Type mismatch in key from map“等。我们可以根据具体异常逐一解决即可。

相关文章
相关标签/搜索