azkaban安装篇

azkaban的安装入门 

概述

      首先看下azkaban的概述。以解决Hadoop作业依赖问题。从ETL作业到数据分析产品,我们都需要按顺序运行这些作业。Azkaban最初是一个单一的服务器解决方案,随着多年来越来越多的Hadoop用户的使用,Azkaban已经发展成为一个更强大的解决方案。

        做为一个任务调度工具,也就是为我们之前提到ETL任务做统一管理,调度的系统。我们ETL的过程必然存在多个任务,这是使用azkaban来自动调度这些job就非常方便了。


安装

        azkaban提供三种模式:单机(solo mode),较重的两服务器模式(the heavier weight two server)和分布式多执行器模式(distributed multiple-executor mode)。我们就选择简单的solo 模式就好。这种模式azkaban自己嵌入H2的数据库(我们不需要进行配置),Web服务器和执行器服务器在同一个进程中运行。 我们只需要下载安装即可。

        下载 Clone the repo: run git clone https://github.com/azkaban/azkaban.git

安装 Build Azkaban and create an installation: run cd azkaban; ./gradlew build installDist
然后在安装目录下azkaban-solo-server/build/install/azkaban-solo-server/conf 有自己的配置文件。

        azkaban.properties - 由Azkaban用于运行时参数
        global.properties - 作为共享属性传递给每个工作流和作业的全局静态属性。
        azkaban-users.xml - 用于添加用户和角色以进行身份验证。 如果XmLUserManager未设置,则不使用此文件

        azkaban.properties中:

        default.timezone.id=Asia/Shanghai 默认是美国时间,改成上海的。

        jetty.port 端口这些也可以根据需要配置。

        jetty.maxThreads 最大线程数

        运行服务:cd azkaban-solo-server/build/install/azkaban-solo-server; bin/azkaban-solo-start.sh
        停止服务:bin/azkaban-solo-shutdown.sh 

        当我们启动azkaban后。就可以登录 http://localhost:8081/ 端口默认8081,如果出现以下界面表示安装成功了。账号密码都是azkaban。


相关文章
相关标签/搜索