O que é Amazon Managed Workflows for Apache Airflow? - Amazon Managed Workflows for Apache Airflow
AtributosArquiteturaIntegraçãoVersões aceitasPróximas etapas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O que é Amazon Managed Workflows for Apache Airflow?

Use o Amazon Managed Workflows for Apache Airflow, um serviço gerenciado para o Apache Airflow, para configurar e executar pipelines de dados na nuvem em grande escala. O Apache Airflow é uma ferramenta de código aberto usada para criar, agendar e monitorar fluxos de trabalho.

Com o Amazon MWAA, você pode usar o Apache Airflow e o Python para criar fluxos de trabalho sem gerenciar a infraestrutura para escalabilidade, disponibilidade e segurança. O Amazon MWAA é escalado automaticamente para atender às suas necessidades de fluxo de trabalho. Ele se integra aos serviços AWS de segurança para fornecer acesso rápido e seguro aos seus dados.

Atributos

Analise os seguintes recursos para saber como o Amazon MWAA pode simplificar o gerenciamento de seus fluxos de trabalho do Apache Airflow.

  • Configuração automática do Apache Airflow — Configure rapidamente o Apache Airflow escolhendo uma versão do Apache Airflow ao criar um ambiente Amazon MWAA. O Amazon MWAA configura o Apache Airflow para você usando a mesma interface de usuário do Apache Airflow e o mesmo código-fonte aberto disponíveis na Internet.

  • Escalabilidade automática — escale automaticamente os trabalhadores do Apache Airflow (os recursos computacionais que executam suas tarefas) definindo limites mínimos e máximos. O Amazon MWAA monitora os trabalhadores em seu ambiente e usa seu componente de escalonamento automático para adicionar trabalhadores para atender à demanda, até o número máximo que você definiu.

  • Autenticação integrada — Habilite a autenticação e autorização baseadas em funções para seu servidor web Apache Airflow definindo as políticas de controle de acesso no (IAM). AWS Identity and Access Management Os funcionários do Apache Airflow assumem essas políticas para acesso seguro aos serviços. AWS

  • Segurança integrada — Os trabalhadores e programadores do Apache Airflow são executados no Amazon VPC do Amazon MWAA. Os dados também são criptografados automaticamente usando AWS Key Management Service, portanto, seu ambiente está seguro por padrão.

  • Modos de acesso público ou privado — Acesse seu servidor web Apache Airflow usando um modo de acesso privado ou público. O modo de acesso à rede pública usa um endpoint VPC para seu servidor web Apache Airflow que pode ser acessado pela Internet. O modo de acesso à rede privada usa um VPC endpoint para seu servidor web Apache Airflow que pode ser acessado em sua VPC. Em ambos os casos, o acesso dos usuários do Apache Airflow é controlado pela política de controle de acesso que você define AWS Identity and Access Management em (IAM) e pelo SSO. AWS

  • Atualizações e patches simplificados: o Amazon MWAA fornece novas versões do Apache Airflow periodicamente. A equipe do Amazon MWAA atualizará e corrigirá as imagens para essas versões.

  • Monitoramento do fluxo de trabalho — acesse os registros do Apache Airflow e as métricas do Apache Airflow na Amazon para CloudWatch identificar atrasos nas tarefas do Apache Airflow ou erros no fluxo de trabalho sem a necessidade de ferramentas adicionais de terceiros. O Amazon MWAA envia automaticamente as métricas do ambiente e, se habilitado, os registros do Apache Airflow para. CloudWatch

  • AWS integração — O Amazon MWA oferece suporte a integrações de código aberto com Amazon Athena, Amazon AWS Batch, Amazon CloudWatch DynamoDB, Amazon AWS DataSync EMR, Amazon EKS, Amazon Data Firehose,,, AWS Fargate Amazon AWS Glue AWS Lambda Redshift, Amazon SQS, Amazon SNS, Amazon AI e Amazon S3, além de centenas de integrações incorporadas e operadores e sensores criados pela SageMaker comunidade.

  • Frotas de operadores: o Amazon MWAA oferece suporte ao uso de contêineres para escalar a frota de operadores sob demanda e reduzir as interrupções do programador usando o Amazon ECS em AWS Fargate. Há suporte para operadores que invocam tarefas em contêineres do Amazon ECS e operadores Kubernetes que criam e executam pods em um cluster Kubernetes.

Arquitetura

Todos os componentes contidos na caixa externa (na imagem a seguir) são mostrados como um único ambiente Amazon MWAA em sua conta. O programador e os trabalhadores do Apache Airflow AWS Fargate são contêineres que se conectam às sub-redes privadas na Amazon VPC do seu ambiente. Cada ambiente tem seu próprio banco de dados Apache Airflow gerenciado AWS pelo qual é acessível ao programador e aos contêineres Fargate dos trabalhadores por meio de um endpoint VPC protegido de forma privada.

Amazon CloudWatch, Amazon S3, Amazon SQS e Amazon MWAA são separados do Amazon MWAA AWS KMS e precisam ser acessíveis a partir dos programadores e trabalhadores do Apache Airflow nos contêineres Fargate. Vários agendadores do Apache Airflow só estão disponíveis com o Apache Airflow v2 e versões posteriores. Saiba mais sobre o ciclo de vida das tarefas do Apache Airflow em Conceitos no Guia de referência do Apache Airflow.

O servidor web Apache Airflow pode ser acessado pela Internet, selecionando o modo de acesso do Apache Airflow à rede pública, ou dentro da sua VPC, selecionando o modo de acesso do Apache Airflow à rede privada. Em ambos os casos, o acesso dos usuários do Apache Airflow é controlado pela política de controle de acesso que você define AWS Identity and Access Management em (IAM).

nota

Começando com o Apache Airflow v3, o servidor web Amazon MWAA também hospeda o servidor de API de execução do Apache Airflow.

A arquitetura de um ambiente Amazon MWAA.

Integração

A comunidade ativa e crescente de código aberto do Apache Airflow fornece operadores (plug-ins que simplificam as conexões com os serviços) para que o Apache Airflow se integre aos serviços. AWS Isso inclui serviços como Amazon S3, Amazon Redshift, Amazon AWS Batch EMR SageMaker e Amazon AI, bem como serviços em outras plataformas de nuvem.

O uso do Apache Airflow com o Amazon MWAA oferece suporte total à AWS integração com serviços e ferramentas populares de terceiros, como Apache Hadoop, Presto, Hive e Spark, para realizar tarefas de processamento de dados. O Amazon MWAA está comprometido em manter a compatibilidade com a API Apache Airflow, e o Amazon MWAA pretende fornecer AWS integrações confiáveis aos serviços e disponibilizá-los para a comunidade, além de se envolver no desenvolvimento de recursos da comunidade.

Para ver o código de amostra, consulteExemplos de código para o Amazon Managed Workflows for Apache Airflow.

Versões aceitas

O Amazon MWAA oferece suporte a várias versões do Apache Airflow. Para obter mais informações sobre as versões do Apache Airflow suportadas e os componentes do Apache Airflow incluídos em cada versão, consulte. Versões do Apache Airflow no Amazon Managed Workflows for Apache Airflow.

Próximas etapas