Apache Oozie - Amazon EMR

Apache Oozie

nota

Obsolescencia de Oozie: dado que OSS Oozie ha pasado al modo ático, se eliminará de una de las próximas versiones de EMR. Recomendamos a los clientes que utilicen MWAA como alternativa a Oozie. Puede consultar la utilidad oozie-to-airflow-emr en GitHub para migrar los flujos de trabajo existentes de Oozie a MWAA.

Utilice el Programador de flujo de trabajo de Apache Oozie para administrar y coordinar los trabajos de Hadoop. Para obtener más información, consulte https://attic.apache.org/projects/oozie.html.

La interfaz web nativa de Oozie no es compatible con Amazon EMR. Para utilizar una interfaz front-end para Oozie, pruebe la aplicación Oozie Hue. Para obtener más información, consulte Hue. Oozie se incluye en la versión de lanzamiento de Amazon EMR 5.0.0 y posteriores. Oozie se incluye como una aplicación de entorno de pruebas en las versiones anteriores. Para obtener más información, consulte Versiones de lanzamiento de Amazon EMR 4.x.

Si utiliza una AMI personalizada de Amazon Linux basada en una AMI de Amazon Linux con una fecha de creación del 11 de agosto de 2018, el servidor de Oozie no podrá iniciarse. Si utiliza Oozie, cree una AMI personalizada basada en un ID de AMI de Amazon Linux con una fecha de creación diferente. Puede utilizar el siguiente comando de la AWS CLI para obtener una lista de los ID de imagen de todas las AMI de HVM de Amazon Linux con la versión 2018.03, junto con la fecha de lanzamiento, de modo que pueda elegir una AMI de Amazon Linux adecuada como base. Sustituya MyRegion por el identificador de su región, como us-west-2.

aws ec2 --region MyRegion describe-images --owner amazon --query 'Images[?Name!=`null`]|[?starts_with(Name, `amzn-ami-hvm-2018.03`) == `true`].[CreationDate,ImageId,Name]' --output text | sort -rk1

En la siguiente tabla, se muestra la versión de Oozie incluida en la última versión de la serie 7.x de Amazon EMR, junto con los componentes que Amazon EMR instala con Oozie.

Para ver la versión de los componentes instalados con Oozie en esta versión, consulte Versiones de los componentes de la versión 7.10.0.

Información de la versión de Oozie para emr-7.10.0
Etiqueta de versión de Amazon EMR Versión de Oozie Componentes instalados con Oozie

emr-7.10.0

Oozie 5.2.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, oozie-client, oozie-server, tez-on-yarn, tez-on-worker

En la tabla siguiente, se muestra la versión de Oozie incluida en la última versión de la serie Amazon EMR 6.x, junto con los componentes que Amazon EMR instala con Oozie.

Para ver la versión de los componentes instalados con Oozie en esta versión, consulte Versiones de los componentes de la versión 6.15.0.

Información de la versión de Oozie para emr-6.15.0
Etiqueta de versión de Amazon EMR Versión de Oozie Componentes instalados con Oozie

emr-6.15.0

Oozie 5.2.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, oozie-client, oozie-server, tez-on-yarn, tez-on-worker

En la tabla siguiente, se muestra la versión de Oozie incluida en la última versión de la serie Amazon EMR 5.x, junto con los componentes que Amazon EMR instala con Oozie.

Para ver la versión de los componentes instalados con Oozie en esta versión, consulte Versiones del componente de la versión 5.36.2.

Información de la versión de Oozie para emr-5.36.2
Etiqueta de versión de Amazon EMR Versión de Oozie Componentes instalados con Oozie

emr-5.36.2

Oozie 5.2.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, oozie-client, oozie-server, tez-on-yarn