Apache Oozie
注意
Oozie 弃用 – 由于 OSS Oozie 已进入 attic 模式,它将从其中一个即将发布的 EMR 版本中移除。我们建议客户使用 MWAA 作为 Oozie 的替代方案。您可以参考 GitHub 上的实用程序 oozie-to-airflow-emr
使用 Apache Oozie 工作流调度器管理和协调 Hadoop 任务。有关更多信息,请参阅 https://attic.apache.org/projects/oozie.html
Amazon EMR 上不支持 Oozie 本机 Web 界面。如要使用 Oozie 的前端界面,请尝试 Hue Oozie 应用程序。有关更多信息,请参阅Hue。Oozie 包含在 Amazon EMR 发行版 5.0.0 及更高版本中。Oozie 作为沙盒应用程序包含在早期版本中。有关更多信息,请参阅Amazon EMR 4.x 发行版。
如果您使用基于 Amazon Linux AMI(创建日期为 2018-08-11)的自定义 Amazon Linux AMI,则 Oozie 服务器无法启动。如果您使用 Oozie,请根据具有不同创建日期的 Amazon Linux AMI ID 创建自定义 AMI。您可以使用以下 AWS CLI 命令返回所有 2018.03 版本的 HVM Amazon Linux AMI 的镜像 ID 列表以及发布日期,以便您可以根据需要选择合适的 Amazon Linux AMI。将 MyRegion 替换为您的区域标识符,如 us-west-2。
aws ec2 --regionMyRegiondescribe-images --owner amazon --query 'Images[?Name!=`null`]|[?starts_with(Name, `amzn-ami-hvm-2018.03`) == `true`].[CreationDate,ImageId,Name]' --output text | sort -rk1
下表列出了 Amazon EMR 7.x 系列的最新发行版本附带的 Oozie 的版本,以及 Amazon EMR 随 Oozie 一起安装的组件。
有关此发行版中随 Oozie 安装的组件版本,请参阅发行版 7.10.0 组件版本。
| Amazon EMR 发行版标签 | Oozie 版本 | 随 Oozie 安装的组件 |
|---|---|---|
emr-7.10.0 |
Oozie 5.2.1 |
emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, oozie-client, oozie-server, tez-on-yarn, tez-on-worker |
下表列出了 Amazon EMR 6.x 系列的最新发行版本附带的 Oozie 的版本,以及 Amazon EMR 随 Oozie 一起安装的组件。
有关此发行版中随 Oozie 安装的组件版本,请参阅发行版 6.15.0 组件版本。
| Amazon EMR 发行版标签 | Oozie 版本 | 随 Oozie 安装的组件 |
|---|---|---|
emr-6.15.0 |
Oozie 5.2.1 |
emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, oozie-client, oozie-server, tez-on-yarn, tez-on-worker |
下表列出了 Amazon EMR 5.x 系列的最新发行版本附带的 Oozie 的版本,以及 Amazon EMR 随 Oozie 一起安装的组件。
有关此发行版中随 Oozie 安装的组件版本,请参阅发行版 5.36.2 组件版本。
| Amazon EMR 发行版标签 | Oozie 版本 | 随 Oozie 安装的组件 |
|---|---|---|
emr-5.36.2 |
Oozie 5.2.1 |
emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, oozie-client, oozie-server, tez-on-yarn |