Perguntas frequentes sobre o Amazon MWAA

Esta página descreve perguntas comuns que você pode encontrar ao usar o Amazon Managed Workflows for Apache Airflow.

Versões compatíveis

O que o Amazon MWAA oferece suporte para o Apache Airflow v2?

Para saber o que o Amazon MWAA aceita, consulte Versões do Apache Airflow no Amazon Managed Workflows for Apache Airflow..

Qual versão do Python devo usar?

As seguintes versões do Apache Airflow são compatíveis no Amazon Managed Workflows for Apache Airflow.

Para obter mais informações sobre como migrar suas implantações autogerenciadas do Apache Airflow ou migrar um ambiente Amazon MWAA existente, incluindo instruções para fazer backup do seu banco de dados de metadados, consulte o Guia de migração do Amazon MWAA.

Casos de uso

Posso usar o Amazon MWAA com o Estúdio Unificado Amazon SageMaker?

Sim. Com um fluxo de trabalho do Estúdio Unificado Amazon SageMaker, é possível configurar e executar uma série de tarefas no Estúdio Unificado Amazon SageMaker. Os fluxos de trabalho do Estúdio Unificado Amazon SageMaker usam o Apache Airflow para modelar procedimentos de processamento de dados e orquestrar seus artefatos de código do Estúdio Unificado Amazon SageMaker. Para obter mais informações, consulte a seção Fluxos de trabalho. Para saber mais sobre o Amazon SageMaker, consulte O que é o Amazon SageMaker?

Quando posso usar AWS Step Functions ou Amazon MWAA?

Especificações do ambiente

Quanto armazenamento de tarefas está disponível para cada ambiente?

O armazenamento de tarefas é limitado a 20 GB e especificado pelo Amazon ECS Fargate 1.4. A quantidade de RAM é determinada pela classe de ambiente especificada. Para obter mais informações sobre classes do ambiente, consulte Como configurar a classe de ambiente do Amazon MWAA.

Qual é o sistema operacional padrão usado para ambientes Amazon MWAA?

Os ambientes do Amazon MWAA são criados em instâncias que executam o Amazon Linux 2 para as versões 2.6 e anteriores e em instâncias que executam o Amazon Linux 2023 para as versões 2.7 e mais recentes.

Posso usar uma imagem personalizada para meu ambiente Amazon MWAA?

Imagens personalizadas não são compatíveis. O Amazon MWAA usa imagens criadas no Amazon Linux AMI. O Amazon MWAA instala os requisitos adicionais executando pip3 -r install para os requisitos especificados no arquivo requirements.txt que você adiciona ao bucket do Amazon S3 para o ambiente.

O Amazon MWAA está em conformidade com a HIPAA?

Amazon MWAA é elegível para a Lei de Portabilidade e Responsabilidade de Provedores de Saúde (HIPAA) dos EUA. Se tiver um Adendo de Associado Comercial (BAA) da HIPAA em vigor com AWS, você pode usar o Amazon MWAA para fluxos de trabalho que lidam com Informações de Saúde Protegidas (PHI) em ambientes criados em ou após 14 de novembro de 2022.

O Amazon MWAA é compatível com instâncias spot?

Atualmente, o Amazon MWAA não é compatível com os tipos de instância spot sob demanda do Amazon EC2 para o Apache Airflow. No entanto, um ambiente Amazon MWAA pode acionar instâncias spot, por exemplo, no Amazon EMR e no Amazon EC2.

O Amazon MWAA é compatível com um domínio personalizado?

Para poder usar um domínio personalizado para seu nome de host do Amazon MWAA, faça uma das seguintes opções:

Posso usar SSH no meu ambiente?

Embora o SSH não seja compatível em um ambiente Amazon MWAA, é possível usar um DAG para executar comandos bash usando o BashOperator. Por exemplo:

from airflow import DAG
				from airflow.operators.bash_operator import BashOperator
				from airflow.utils.dates import days_ago
				with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
				cli_command = BashOperator(
				task_id="bash_command",
				bash_command="{{ dag_run.conf['command'] }}"
				)

Para acionar o DAG na IU do Apache Airflow, use:

{ "command" : "your bash command"}

Por que uma regra de autorreferência é necessária no grupo de segurança da VPC?

Ao criar uma regra de autorreferência, você está restringindo a origem ao mesmo grupo de segurança na VPC e fechá-la para todas as redes. Consulte Segurança em sua VPC no Amazon MWAA para saber mais.

Posso ocultar ambientes de grupos diferentes no IAM?

É possível limitar o acesso especificando um nome de ambiente em AWS Identity and Access Management, no entanto, a filtragem de visibilidade não está disponível no console da AWS. Se um usuário puder acessar um ambiente, ele poderá acessar todos os ambientes.

Posso armazenar dados temporários no operador do Apache Airflow?

Seus operadores do Apache Airflow podem armazenar dados temporários nos operadores. Os operadores do Apache Airflow podem acessar arquivos temporários no /tmp nos contêineres Fargate do seu ambiente.

Posso especificar mais de 25 operadores do Apache Airflow?

Sim. Embora você possa especificar até 25 operadores do Apache Airflow no console do Amazon MWAA, você pode configurar até 50 em um ambiente solicitando um aumento de cota. Consulte Como solicitar um aumento de cota para obter mais informações.

O Amazon MWAA é compatível ao Amazon VPCs compartilhadas ou sub-redes compartilhadas?

O Amazon MWAA não é compatível ao Amazon VPCs compartilhadas ou sub-redes compartilhadas. A Amazon VPC que você seleciona ao criar um ambiente deve pertencer à conta que está tentando criar o ambiente. No entanto, é possível pode rotear o tráfego de um Amazon VPC na conta do Amazon MWAA para uma VPC compartilhada. Para obter mais informações e ver um exemplo de roteamento de tráfego para um Amazon VPC compartilhado, consulte Roteamento de saída centralizado para a internet no Guia de gateways de trânsito da Amazon VPC.

Posso criar ou integrar filas personalizadas do Amazon SQS para gerenciar a execução de tarefas e a orquestração do fluxo de trabalho no Apache Airflow?

Não, você não pode criar, modificar ou usar filas personalizadas do Amazon SQS dentro do Amazon MWAA. Isso ocorre porque o Amazon MWAA provisiona e gerencia automaticamente sua própria fila do Amazon SQS para cada ambiente do Amazon MWAA.

Métricas

Quais métricas são usadas para determinar se os operadores devem ser escalados?

O Amazon MWAA monitora as QueuedTasks e as RunningTasks no CloudWatch para determinar se você deve escalar os operadores do Apache Airflow em seu ambiente. Consulte Monitoramento e métricas para o Amazon Managed Workflows for Apache Airflow para saber mais.

Como criar métricas personalizadas do CloudWatch?

Não no console do CloudWatch. No entanto, você pode criar um DAG que grava métricas personalizadas no CloudWatch. Para obter mais informações, consulte Como usar um DAG para gravar métricas personalizadas no CloudWatch.

DAGs, operadores, conexões e outras perguntas

Posso usar PythonVirtualenvOperator?

O PythonVirtualenvOperator não é explicitamente compatível com o Amazon MWAA, mas você pode criar um plug-in personalizado que use PythonVirtualenvOperator. Para ver um exemplo de código, consulte Como criar um plug-in personalizado para PythonVirtualEnvOperator do Apache Airflow.

Quanto tempo o Amazon MWAA leva para reconhecer um novo arquivo DAG?

Os DAGs são sincronizados periodicamente do bucket do Amazon S3 para seu ambiente. Se você adicionar um novo arquivo DAG, levará cerca de 300 segundos para que o Amazon MWAA comece a usar o novo arquivo. Se você atualizar um DAG existente, o Amazon MWAA levará cerca de 30 segundos para reconhecer suas atualizações.

Esses valores de 300 segundos para novos DAGs e 30 segundos para atualizações para DAGs existentes correspondem às opções de configuração do Apache Airflow dag_dir_list_interval e min_file_process_interval, respectivamente.

Por que meu arquivo DAG não é captado pelo Apache Airflow?

Algumas possíveis soluções são:

Posso remover plugins.zip ou requirements.txt de um ambiente?

Atualmente, não há como remover um plugins.zip ou requirements.txt de um ambiente depois de adicionados, mas estamos trabalhando para resolver o problema. Nesse ínterim, uma solução alternativa é apontar para um texto vazio ou arquivo zip, respectivamente. Consulte Como excluir arquivos do Amazon S3 para saber mais.

Por que meus plug-ins não aparecem no menu Plugins de administração do Apache Airflow v2.0.2?

Por motivos de segurança, o servidor Web do Apache Airflow no Amazon MWAA tem saída de rede limitada e não instala plug-ins nem dependências do Python diretamente no servidor Web do Apache Airflow para ambientes da versão 2.0.2. O plug-in exibido permite que o Amazon MWAA autentique seus usuários do Apache Airflow no AWS Identity and Access Management (IAM).

Para conseguir instalar plug-ins e dependências do Python diretamente no servidor Web, recomendamos criar um novo ambiente com o Apache Airflow v2.2 e versões posteriores. O Amazon MWAA instala dependências e plug-ins personalizados do Python diretamente no servidor Web para o Apache Airflow v2.2 e versões posteriores.

Posso usar operadores de Database Migration Service (DMS) na AWS?

O Amazon MWAA é compatível a operadores de DMS. No entanto, esse operador não pode ser usado para realizar ações no banco de dados de metadados Amazon Aurora PostgreSQL associado a um ambiente Amazon MWAA.

Quando acesso a API REST do Airflow usando as credenciais da AWS, posso aumentar o limite de controle de utilização para mais de 10 transações por segundo (TPS)?

Sim. Para aumentar o limite de controle de utilização, entre em contato com o atendimento ao cliente da AWS.

Onde o servidor da API de execução de tarefas do Airflow é executado no Amazon MWAA?

O Amazon MWAA executa o servidor da API de execução de tarefas do Airflow no componente Webserver. As APIs de execução de tarefas estão disponíveis somente no Apache Airflow v3 e versões posteriores. Para obter mais informações sobre a arquitetura do Amazon MWAA, consulte Arquitetura.