马上注册，结交更多数据大咖，获取更多知识干货，轻松玩转大数据
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
Azkaban是由Linkedin开源的一个批量工作流任务调度器。Azkaban来自LinkedIn公司，用于管理他们的hadoop批处理工作流。日常生产环境中，为了得到想要的数据，通常需要执行很多作业，一批作业执行完毕，再将中间结果进一步处理，最后得到有价值的数据，因此作业之间执行有先后顺序和依赖关系。这样的一组作业称为一个工作流，Azkaban就是用来构建、运行和管理工作流的工具，它提供友好的Web用户界面来维护和跟踪用户的工作流程。Azkaban已经在LinkedIn运行了好几年，管理着很多Hadoop和数据仓库作业流，具有很强的可用性。 简单来讲，它有几个特点： - 兼容各个版本的hadoop
- 用户可通过web页面提交工作流，方便上传工作流，方便设置任务之间的关系
- 工作流调度
- 系统模块化和可插拔的插件机制
- 用户认证和权限验证
- 用户操作追踪
- 任务执行结果邮件报警
- 按照SLA执行报警和杀作业
- 失败作业重试，能够杀死并重新启动工作流
- 项目工作区
- 工作流和任务的日志记录和审计
Azkaban目前有2个大版本，azkaban1.x和azkaban2.x，1系结构比较简单，不需要依赖数据库，执行器和调度器以及webServer都集成在一起，缺点是没有用户和权限管理，其它功能不够丰富，随着用户规模增大和系统健壮性需求，azkaban系统演进到最新2.x版本。 Azkaban 2由三个重要的组件组成 - Azkaban Web Server：Azkaban使用Jetty作为Web服务器，除了提供web页面响应服务，还负责项目管理，认证，调度，监控和发起执行，它是azkaban的大脑。
- Azkaban Executor Server：负责作业的执行，对执行过程及结果进行监控，并将执行状况汇报给Azkaban Web Server，两者采用http接口进行通信。
- MySQL： 负责存储azkaban系统的数据，包括用户上传的工作流文件、作业执行的日志等。Executor Server和Web Server都通过jdbc频繁地对其操作。
任务调度 Azkaban里面除了按时间指定任务何时启动，还可以指定任务周期：就是任务的重复执行频率。这对于那些需要每天或每小时重复执行的任务很有用。除了设置时间，还能设置任务的失败策略和报警机制。比如可以选择是第一次失败就报警，还是整个流完成后报警。对于工作流中的单个任务还可以设置是否启动。 插件机制 Azkaban支持可插拔的扩展插件，以便提供更多功能，更好的支持其他系统。例如hdfs查看插件可以查看hadoop上的文件。而job类型插件则能够定义具体的任务的启动和执行方式，包括hive，pig等。用户可以方便的扩展插件来支持不同的hadoop版本，或者支持其他的系统。 权限管理 一个登陆用户对一个项目可以有以下五种权限： - ADMIN：最高权限，可以胡作非为，包括添加其它用户权限和删除项目
- READ：查看作业、工作流、和相关日志
- WRITE：上传、修改项目工作流文件
- EXECUTE：执行、暂停、取消作业。execute, pause, cancel jobs
- SCHEDULE：添加、修改、删除工作流调度命令
| 
/1 
发表于 2014-9-25 16:15:08
QQ好友和群
QQ空间
腾讯微博
腾讯朋友
收藏
转播
分享
淘帖
赞
踩
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜