Actualización de un entorno de Amazon MWAA - Amazon Managed Workflows para Apache Airflow

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Actualización de un entorno de Amazon MWAA

nota

Las actualizaciones rápidas de Amazon MWAA aún no son compatibles con las regiones Canada West (Calgary) y Asia Pacific (Malasia).

Las actualizaciones del entorno de Amazon MWAA aplican los cambios y las revisiones de seguridad más recientes. También puede editar las configuraciones existentes y actualizar la versión de Apache Airflow. En esta guía, se describen los pasos para actualizar entornos de Amazon MWAA.

Antes de empezar

  • La red de VPC que especifica para su entorno no se puede cambiar después crearlo.

  • Necesita un bucket de Amazon S3 configurado para bloquear todo el acceso público, con el control de versiones del bucket activado.

  • Necesita una cuenta de Cuenta de AWS con permisos para usar Amazon MWAA y un permiso en AWS Identity and Access Management (IAM) para crear roles de IAM. Si elige el modo de acceso red privada para el servidor web de Apache Airflow, que limita el acceso de Apache Airflow dentro de su Amazon VPC, necesitará permiso en IAM para crear puntos de conexión de Amazon VPC.

  • Para activar las actualizaciones rápidas del entorno, debe actualizar a la versión 2.4.3 de Apache Airflow o versiones superiores. Para actualizar la versión Airflow, consulte Cambio de versión de Apache Airflow.

Estrategia de reemplazo de procesos de trabajo

Puede elegir una estrategia de reemplazo de procesos de trabajo para controlar la forma en que Amazon MWAA gestiona los procesos de trabajado activos durante una actualización del entorno. Puede seleccionar una de las siguientes estrategias:

Actualizaciones forzosas

La actualización forzada es la estrategia de reemplazo de trabajadores predeterminada. Las actualizaciones forzadas detienen inmediatamente a todos los trabajadores activos, lo que provoca un error en las tareas en ejecución durante la actualización.

Actualizaciones rápidas

Las actualizaciones correctas permiten a los trabajadores seguir ejecutando las tareas durante un máximo de 12 horas antes de cerrar. Evita que las tareas produzcan un error debido a las interrupciones de las actualizaciones, siempre que estas finalicen en menos de 12 horas. Las nuevas tareas se redirigen a los trabajadores actualizados.

Para habilitar las actualizaciones rápidas en un entorno existente, debe completar una actualización forzosa y asegurarse de que el entorno tenga la versión 2.4.3 de Apache Airflow o una versión superior.

nota

Si realiza una actualización mientras el entorno está en estado MAINTENANCE, la estrategia de sustitución de procesos de trabajo para cualquier actualización del entorno en curso pasa de GRACEFUL a FORCED. La actualización se realizará una vez completado el mantenimiento.

Actualización de recursos del entorno

Las actualizaciones del entorno de Amazon MWAA usan la configuración del entorno existente de forma predeterminada. Para actualizar el entorno sin cambiar la configuración actual:

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. En la lista Environments (Entornos), elija el entorno que desee actualizar.

  3. En la página del entorno, elija Editar para editar el entorno.

  4. Elija Siguiente hasta llegar a la página Revisar y guardar.

  5. En la página Revisar y guardar, revise los cambios y, a continuación, seleccione Guardar.

Actualización de un entorno

En la siguiente sección, se describen los pasos para actualizar entornos de Amazon MWAA.

Paso 1: especificar los detalles

Pasos para especificar los detalles del entorno
  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. En la lista Environments (Entornos), elija el entorno que desee actualizar.

  3. En la página del entorno, elija Editar para editar el entorno.

  4. En la sección Detalles del entorno, para la versión Airflow, elija en la lista desplegable el nuevo número de versión de Apache Airflow al que desee actualizar el entorno.

    nota

    Antes de actualizar, asegúrese de que sus DAG y otros recursos de flujo de trabajo sean compatibles con la nueva versión de Apache Airflow. Para obtener más información, consulta Cambio de versión de Apache Airflow.

  5. En Código DAG de Amazon S3, especifique lo siguiente:

    1. Un bucket de S. Elija Explorar S3 y seleccione su bucket de Amazon S3 o introduzca el URI de Amazon S3.

    2. Una carpeta DAG. Elija Explorar S3 y seleccione la carpeta dags en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

    3. Un archivo de complementos (opcional). Elija Explorar S3 y seleccione el archivo plugins.zip en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

    4. Un archivo de requisitos (opcional). Elija Explorar S3 y seleccione el archivo requirements.txt en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

    5. Un archivo de script de inicio (opcional). Elija Browse S3 (Explorar) y seleccione el archivo de script en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

  6. Elija Siguiente.

Paso 2: configurar los ajustes avanzados

Configuración de opciones avanzadas
  1. En Webserver access (Acceso al servidor web), seleccione el modo de acceso de Apache Airflow preferido:

    1. Una red privada. Esto limita el acceso a la interfaz de usuario de Apache Airflow a los usuarios de su Amazon VPC a los que se les ha concedido acceso a la política de IAM de su entorno. Para este paso, necesita permiso para crear puntos de conexión de VPC de Amazon.

      nota

      Elija la opción red privada si solo se puede acceder a la UI de Apache Airflow desde una red corporativa y no necesita acceder a repositorios públicos para cumplir con los requisitos de instalación del servidor web. Si elige este modo de acceso, deberá crear un mecanismo para acceder al servidor web de Apache Airflow en su VPC de Amazon. Para obtener más información, consulta Acceso al punto de conexión de VPC del servidor web Apache Airflow (acceso mediante red privada).

    2. Red pública. Esto permite que los usuarios con acceso a la política de IAM de su entorno accedan a la UI de Apache Airflow a través de Internet.

  2. En Security groups (Grupos de seguridad), elija el grupo de seguridad que se haya usado para proteger su VPC de Amazon:

    1. Por defecto, Amazon MWAA crea un grupo de seguridad en su VPC de Amazon con reglas de entrada y salida específicas en Crear un nuevo grupo de seguridad.

    2. Opcional. Desactive la casilla de verificación de Crear nuevo grupo de seguridad para seleccionar hasta 5 grupos de seguridad.

      nota

      Debe configurarse un grupo de seguridad de Amazon VPC existente con reglas de entrada y salida específicas para permitir el tráfico de red. Consulte Seguridad en la VPC en Amazon MWAA para obtener más información.

  3. En Clase de entorno, elija una clase de entorno.

    Le recomendamos que elija el tamaño más pequeño necesario para soportar su carga de trabajo. Puede cambiar la clase de entorno en cualquier momento.

  4. En Número máximo de procesos de trabajo, especifique el número máximo de procesos de trabajo de Apache Airflow que se ejecutarán en el entorno.

    Para obtener más información, consulta Ejemplo de caso de uso de alto rendimiento.

  5. Especifique el número máximo de servidores web y el número mínimo de servidores web para configurar la forma en la que Amazon MWAA escala los servidores web de Apache Airflow en su entorno.

    Para obtener más información sobre el escalado automático del servidor web, consulte Configuración del escalado automático del servidor web de Amazon MWAA.

  6. En Cifrado, elija una opción de cifrado de datos:

    1. De forma predeterminada, Amazon MWAA usa una clave de AWS propia para cifrar los datos.

    2. Opcional. Seleccione Personalizar la configuración de cifrado (avanzada) para elegir una clave de AWS KMS diferente. Si decide especificar una clave administrada por el cliente en este paso, debe especificar un identificador de clave de AWS KMS o un ARN. Amazon MWAA no admite alias ni claves multirregionales de AWS KMS. Si especificó una clave de Amazon S3 para el cifrado del servidor en su bucket de Amazon S3, debe especificar la misma clave para su entorno de Amazon MWAA.

      nota

      Debe tener permisos sobre la clave para seleccionarla en la consola de Amazon MWAA. También debe conceder permisos para que Amazon MWAA utilice la clave adjuntando la política descrita en Asociación de políticas de claves.

  7. Recomendado. En Monitorización, elija una o más categorías de registro para Configuración del registro de Airflow para enviar los registros de Apache Airflow a Registros de CloudWatch:

    1. Registros de tareas de Airflow. En Nivel de registro, elija qué tipo de registro de tareas de Apache Airflow se enviará a CloudWatch Logs.

    2. Registros del servidor web de Airflow. En Log level (Nivel de registro), elija qué tipo de registro del servidor web de Apache Airflow se enviará a los registros de CloudWatch.

    3. Registros del programador de Airflow. En Nivel de registro, elija qué tipo de registro del programador de Apache Airflow se enviará a CloudWatch Logs.

    4. Registros de procesos de trabajo de Airflow. En Nivel de registro, elija qué tipo de registro de procesos de trabajo de Apache Airflow se enviará a CloudWatch Logs.

    5. Registros de procesamiento del DAG de Airflow. En Nivel de registro, elija qué tipo de registro del DAG Apache Airflow se enviará a CloudWatch Logs.

  8. Opcional. Para ver las opciones de configuración de Airflow, elija Agregar una opción de configuración personalizada.

    Puede elegir de la lista desplegable sugerida de opciones de configuración de Apache Airflow para su versión de Apache Airflow o especificar opciones de configuración personalizadas. Por ejemplo, core.default_task_retries: 3.

  9. En Permisos, elija un rol de ejecución:

    1. Por defecto, Amazon MWAA crea un rol de ejecución en Crear un rol nuevo. Para usar esta opción, debe tener permiso para crear roles de IAM.

    2. Opcional. Elija Introduzca el ARN del rol para escribir el nombre de recurso de Amazon (ARN) de un rol de ejecución existente.

  10. En Update specifications (Especificaciones de actualización), elija una Estrategia de reemplazo de procesos de trabajo para controlar cómo se gestionan los procesos de trabajo activos durante una actualización.

  11. Elija Siguiente.

Paso 3: consulta y actualización

Pasos para consultar un resumen del entorno
  • Consulte el resumen del entorno y elija Save (Guardar).

    nota

    Se tarda entre 20 y 30 minutos en actualizar un entorno usando actualizaciones forzosas. Las actualizaciones rápidas del entorno pueden tardar hasta 12 horas en completarse, ya que esperan a que finalicen las tareas en curso.