¿Qué es Amazon Managed Workflows para Apache Airflow? - Amazon Managed Workflows para Apache Airflow
CaracterísticasArquitecturaIntegraciónVersiones compatiblesSiguientes pasos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

¿Qué es Amazon Managed Workflows para Apache Airflow?

Utilice Amazon Managed Workflows for Apache Airflow, un servicio gestionado para Apache Airflow, para configurar y ejecutar canalizaciones de datos en la nube a escala. Apache Airflow es una herramienta de código abierto que se utiliza para crear, programar y supervisar los flujos de trabajo.

Con Amazon MWAA, puede usar Apache Airflow y Python para crear flujos de trabajo sin administrar la infraestructura en aras de la escalabilidad, la disponibilidad y la seguridad. Amazon MWAA se escala automáticamente para adaptarse a sus necesidades de flujo de trabajo. Se integra con los servicios AWS de seguridad para proporcionar un acceso rápido y seguro a sus datos.

Características

Consulte las siguientes características para saber cómo Amazon MWAA puede simplificar la administración de sus flujos de trabajo de Apache Airflow.

  • Configuración automática del flujo de aire: configure rápidamente Apache Airflow eligiendo una versión de Apache Airflow al crear un entorno de Amazon MWAA. Amazon MWAA configura Apache Airflow automáticamente mediante la misma interfaz de usuario de Apache Airflow y el mismo código fuente abierto disponible en Internet.

  • Escalado automático: escale automáticamente los trabajadores de Apache Airflow (los recursos informáticos que ejecutan sus tareas) mediante el establecimiento de límites mínimos y máximos. Amazon MWAA supervisa a los trabajadores de su entorno y utiliza su componente de escalado automático para añadir trabajadores a fin de satisfacer la demanda, hasta el número máximo que haya definido.

  • Autenticación integrada: habilite la autenticación y la autorización basadas en roles para su servidor web Apache Airflow definiendo las políticas AWS Identity and Access Management de control de acceso en (IAM). Los trabajadores de Apache Airflow asumen estas políticas para garantizar el acceso a los AWS servicios.

  • Seguridad integrada: los trabajadores y programadores de Apache Airflow funcionan en Amazon VPC de Amazon MWAA. Los datos también se cifran automáticamente mediante AWS Key Management Service, por lo que su entorno es seguro de forma predeterminada.

  • Modos de acceso público o privado: acceda a su servidor web Apache Airflow mediante un modo de acceso público o privado. El modo de acceso a la red pública utiliza un punto final de VPC para el servidor web Apache Airflow al que se puede acceder a través de Internet. El modo de acceso a la red privada utiliza un punto final de VPC para el servidor web Apache Airflow al que se puede acceder desde la VPC. En ambos casos, el acceso de los usuarios de Apache Airflow se controla mediante la política de control de acceso que defina en AWS Identity and Access Management (IAM) y en el SSO. AWS

  • Actualizaciones y revisiones simplificadas: Amazon MWAA proporciona nuevas versiones de Apache Airflow periódicamente. El equipo de Amazon MWAA actualizará y revisará las imágenes de estas versiones.

  • Supervisión del flujo de trabajo: acceda a los registros de Apache Airflow y a las métricas de Apache Airflow en CloudWatch Amazon para identificar los retrasos en las tareas de Apache Airflow o los errores en el flujo de trabajo sin necesidad de utilizar herramientas adicionales de terceros. Amazon MWAA envía automáticamente las métricas del entorno y, si están habilitadas, los registros de Apache Airflow a. CloudWatch

  • AWS integración: Amazon MWAA admite integraciones de código abierto con Amazon Athena, Amazon AWS Batch, Amazon DynamoDB, CloudWatch Amazon AWS DataSync EMR, Amazon EKS, Amazon Data Firehose, AWS Fargate Amazon AWS Glue AWS Lambda Redshift, Amazon SQS, Amazon SNS, Amazon AI y Amazon S3, así como cientos de componentes integrados y comunitarios creó operadores y SageMaker sensores.

  • Flotas de procesos de trabajo: Amazon MWAA ofrece soporte para el uso de contenedores para ampliar la flota de procesos de trabajo bajo demanda y reducir la caída de programadores mediante Amazon ECS en AWS Fargate. Se admiten operadores que invoquen tareas en los contenedores de Amazon ECS y operadores de Kubernetes que creen y ejecuten pods en un clúster de Kubernetes.

Arquitectura

Todos los componentes contenidos en la caja exterior (en la imagen siguiente) se muestran como un único entorno de Amazon MWAA en su cuenta. El programador y los trabajadores de Apache Airflow son AWS Fargate contenedores que se conectan a las subredes privadas de la Amazon VPC de su entorno. Cada entorno tiene su propia base de metadatos de Apache Airflow gestionada por la AWS que pueden acceder el programador y los trabajadores de los contenedores Fargate a través de un punto final de VPC protegido de forma privada.

Amazon CloudWatch, Amazon S3, Amazon SQS y Amazon AWS KMS son independientes de Amazon MWAA y se debe poder acceder a ellos desde los programadores de Apache Airflow y desde los trabajadores de los contenedores Fargate. Los múltiples programadores de Apache Airflow solo están disponibles con Apache Airflow v2 y versiones posteriores. Para más información sobre el ciclo de vida de las tareas de Apache Airflow en Conceptos, consulte la guía de referencia de Apache Airflow.

Se puede acceder al servidor web Apache Airflow a través de Internet, seleccionando el modo de acceso Apache Airflow a la red pública, o desde su VPC, seleccionando el modo de acceso Apache Airflow a la red privada. En ambos casos, el acceso de los usuarios de Apache Airflow se controla mediante la política de control de acceso que defina en AWS Identity and Access Management (IAM).

nota

A partir de Apache Airflow v3, el servidor web Amazon MWAA también aloja el servidor API de ejecución de Apache Airflow.

La arquitectura de un entorno Amazon MWAA.

Integración

La activa y creciente comunidad de código abierto de Apache Airflow proporciona operadores (complementos que simplifican las conexiones a los servicios) para que Apache Airflow se integre con los servicios. AWS Esto incluye servicios como Amazon S3, Amazon Redshift, Amazon EMR AWS Batch y Amazon SageMaker AI, así como servicios en otras plataformas en la nube.

El uso de Apache Airflow con Amazon MWAA es totalmente compatible con AWS servicios y herramientas populares de terceros, como Apache Hadoop, Presto, Hive y Spark, para realizar tareas de procesamiento de datos. Amazon MWAA se compromete a mantener la compatibilidad con la API Apache Airflow, y Amazon MWAA tiene la intención de proporcionar integraciones AWS fiables a los servicios y ponerlos a disposición de la comunidad, además de participar en el desarrollo de funciones de la comunidad.

Para ver un ejemplo de código, consulte. Códigos de ejemplo de Amazon Managed Workflows para Apache Airflow

Versiones compatibles

Amazon MWAA admite varias versiones de Apache Airflow. Para obtener más información sobre las versiones de Apache Airflow que admitimos y los componentes de Apache Airflow incluidos en cada versión, consulte. Versiones de Apache Airflow en Amazon Managed Workflows para Apache Airflow

Siguientes pasos