Cambiar la versión de Apache Airflow - Amazon Managed Workflows para Apache Airflow

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Cambiar la versión de Apache Airflow

Amazon MWAA admite actualizaciones y degradaciones de versiones menores. Esto significa que puede actualizar su entorno de una versión x.4.z a otra x.5.z o de a. x.5.z x.4.z Para realizar una actualización de una versión principal, por ejemplo, de una versión 1.y.z a otra 2.y.z, debe crear un entorno nuevo y migrar sus recursos. Para obtener más información sobre la actualización a una nueva versión principal de Apache Airflow, consulte Migración a un nuevo entorno de Amazon MWAA en la Guía de migración de Amazon MWAA.

Durante el proceso de actualización o degradación, Amazon MWAA captura una instantánea de los metadatos del entorno, actualiza o degrada los trabajadores, los programadores y el servidor web a la nueva versión de Apache Airflow y, finalmente, restaura la base de datos de metadatos con la instantánea.

Antes de actualizar o bajar de categoría, asegúrese de que sus recursos de flujo de trabajo DAGs y los demás sean compatibles con la nueva versión de Apache Airflow a la que vaya a actualizar. Si utiliza requirements.txt a para gestionar las dependencias, también debe asegurarse de que las dependencias que especifique en sus requisitos sean compatibles con la nueva versión.

Actualice o reduzca sus recursos de flujo de trabajo

Siempre que cambie las versiones de Apache Airflow, asegúrese de hacer referencia a la URL --constraint correcta en su requirements.txt.

aviso

Si se especifican requisitos que son incompatibles con la versión de Apache Airflow de destino durante una actualización o degradación, el proceso de reversión a la versión anterior de Apache Airflow con la versión de requisitos anterior puede demorar un poco.

Migre sus recursos de flujo de trabajo
  1. Cree una bifurcación del aws-mwaa-local-runnerrepositorio y clone una copia del ejecutor local de Amazon MWAA.

  2. Diríjase a la sucursal del aws-mwaa-local-runner repositorio que coincida con la versión a la que está actualizando o bajando de categoría.

  3. Utilice la herramienta CLI del ejecutor local Amazon MWAA para crear la imagen de Docker y ejecutar Apache Airflow de forma local. Para obtener más información, consulta el archivo README del archivo local en el repositorio. GitHub

  4. Para actualizar los requirements.txt, siga las prácticas recomendadas que se indican en Administrar las dependencias de Python, en la Guía del usuario de Amazon MWAA.

  5. (Opcional) Para acelerar el proceso de actualización o degradación, limpie la base de datos de metadatos del entorno. Los entornos con una gran cantidad de metadatos pueden tardar mucho más en actualizarse.

  6. Una vez que haya probado correctamente los recursos de flujo de trabajo, copie sus DAGs complementos y los suyos en el bucket de Amazon S3 de su entorno. requirements.txt

Ahora puede editar el entorno, especificar una nueva versión de Apache Airflow e iniciar el procedimiento de actualización.

Especificación de la nueva versión

Cuando haya completado la actualización de los recursos de flujo de trabajo para garantizar la compatibilidad con la nueva versión de Apache Airflow, haga lo siguiente para editar los detalles del entorno y especificar la versión de Apache Airflow a la que desee actualizar.

nota

Al realizar una actualización o una degradación, todas las tareas que se estén ejecutando actualmente en el entorno finalizan durante el procedimiento. El procedimiento de actualización puede tardar hasta dos horas, durante las cuales el entorno no está disponible.

Especifique una nueva versión mediante la consola
  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. En la lista de entornos, elija el entorno que desee actualizar o degradar.

  3. En la página del entorno, elija Editar para editar el entorno.

  4. En la sección Detalles del entorno, para la versión de Airflow, elija el número de versión de Apache Airflow al que desea actualizar o degradar el entorno en la lista desplegable.

  5. Elija Siguiente hasta llegar a la página Revisar y guardar.

  6. En la página Revisar y guardar, revise los cambios y, a continuación, seleccione Guardar.

Al aplicar los cambios, el entorno comienza el procedimiento de actualización o degradación. Durante este proceso, el estado de su entorno indica qué acciones está llevando a cabo Amazon MWAA y si el procedimiento se ha realizado correctamente.

En un escenario de actualización o degradación exitoso, el estado se mostrará UPDATING CREATING_SNAPSHOT cuando Amazon MWAA capture una copia de seguridad de sus metadatos. Por último, el estado volverá primero a UPDATING, y después a AVAILABLE, cuando finalice el procedimiento.

Si el entorno no puede actualizarse o degradarse, se mostrará el estado del entorno. ROLLING_BACK Si la reversión se realiza correctamente, primero se mostrará el estado UPDATE_FAILED, lo que indica que la actualización ha fallado pero que el entorno está disponible. Si se produce un error en la reversión, aparecerá el estado UNAVAILABLE, lo que indica que no se puede acceder al entorno.