Apache Oozie - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Apache Oozie

注意

Oozie 棄用 – 由於 OSS Oozie 已進入情調模式,它將從即將推出的 EMR 版本中移除。我們建議客戶使用 MWAA 作為 Oozie 的替代方案。您可以參考 GitHub 上的公用程式 oozie-to-airflow-emr,將現有的 Oozie 工作流程遷移至 MWAA。

使用 Apache Oozie 工作流程排程器來管理和協調 Hadoop 任務。如需詳細資訊,請參閱 https://https://attic.apache.org/projects/oozie.html

Amazon EMR 不支援 Oozie 原生 Web 介面。若要針對 Oozie 使用前端界面,請嘗試 Hue Oozie 應用程式。如需詳細資訊,請參閱Hue。Oozie 隨附於 Amazon EMR 5.0.0 版及更新版本。Oozie 在較早的版本中是做為沙盒應用程式納入。如需詳細資訊,請參閱Amazon EMR 4.x 發行版本

如果您使用基於建立日期為 2018 年 8 月 11 日的 Amazon Linux AMI 的自訂 Amazon Linux AMI,Oozie 伺服器將無法啟動。如果您使用 Oozie,請根據具有不同建立日期的 Amazon Linux AMI ID 建立自訂 AMI。您可以使用下列 AWS CLI 命令,傳回具有 2018.03 版本的所有 HVM Amazon Linux AMIs 的影像 IDs 清單,以及發行日期,讓您可以選擇適當的 Amazon Linux AMI 做為基礎。將 MyRegion 取代為區域識別符,例如 us-west-2。

aws ec2 --region MyRegion describe-images --owner amazon --query 'Images[?Name!=`null`]|[?starts_with(Name, `amzn-ami-hvm-2018.03`) == `true`].[CreationDate,ImageId,Name]' --output text | sort -rk1

以下表格列出了 Amazon EMR 7.x 系列最新版本中包含的 Oozie 版本,以及 Amazon EMR 隨 Oozie 一起安裝的元件。

如需此版本中與 Oozie 一起安裝的元件版本,請參閱發行版本 7.9.0 元件版本。

emr-7.9.0 的 Oozie 版本資訊
Amazon EMR 發行標籤 Oozie 版本 與 Oozie 一起搭配安裝的元件

emr-7.9.0

Oozie 5.2.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, oozie-client, oozie-server, tez-on-yarn, tez-on-worker

下表列出 Amazon EMR 6.x 系列最新版本中包含的 Oozie 版本,以及 Amazon EMR 隨 Oozie 一起安裝的元件。

如需此版本中與 Oozie 一起搭配安裝的元件版本,請參閱發行版本 6.15.0 元件版本

emr-6.15.0 的 Oozie 版本資訊
Amazon EMR 發行標籤 Oozie 版本 與 Oozie 一起搭配安裝的元件

emr-6.15.0

Oozie 5.2.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, oozie-client, oozie-server, tez-on-yarn, tez-on-worker

下表列出 Amazon EMR 5.x 系列最新版本中包含的 Oozie 版本,以及 Amazon EMR 隨 Oozie 一起安裝的元件。

如需此版本中與 Oozie 一起安裝的元件版本,請參閱發行版本 5.36.2 元件版本。

emr-5.36.2 的 Oozie 版本資訊
Amazon EMR 發行標籤 Oozie 版本 與 Oozie 一起搭配安裝的元件

emr-5.36.2

Oozie 5.2.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, oozie-client, oozie-server, tez-on-yarn