Atualizar um ambiente do Amazon MWAA - Amazon Managed Workflows for Apache Airflow

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Atualizar um ambiente do Amazon MWAA

nota

As atualizações dinâmicas do Amazon MWAA ainda não são suportadas nas regiões do Oeste do Canadá (Calgary) e Ásia-Pacífico (Malásia).

As atualizações do ambiente do Amazon MWAA aplicam as alterações e as correções de segurança mais recentes. Também é possível editar as configurações existentes e atualizar a versão do Apache Airflow. Este guia descreve as etapas para atualizar um ambiente do Amazon MWAA.

Antes de começar

  • A rede da VPC que você especificou para o ambiente não pode ser alterada após a criação dele.

  • Você precisa de um bucket do Amazon S3 configurado para bloquear todo o acesso público, com o controle de versionamento do bucket ativado.

  • Você precisa de uma Conta da AWS com permissões para usar o Amazon MWAA e permissão no AWS Identity and Access Management (IAM) para criar perfis do IAM. Caso escolha o modo de acesso Rede privada para o servidor Web do Apache Airflow, que limita o acesso do Apache Airflow na Amazon VPC, você precisará de permissão no IAM para criar endpoints da Amazon VPC.

  • Para ativar as atualizações dinâmicas do ambiente, você precisa atualizar para o Apache Airflow versão 2.4.3 ou versões posteriores. Para atualizar a versão do Airflow, consulte Alterar a versão do Apache Airflow.

Estratégia de substituição de operadores

Você pode escolher uma estratégia de substituição de operadores para controlar como o Amazon MWAA lida com operadores ativos durante uma atualização do ambiente. Você pode selecionar uma das seguintes opções:

Atualizações forçadas

Atualização forçada é a estratégia padrão de substituição de operadores. As atualizações forçadas interrompem imediatamente todos os operadores ativos, fazendo com que as tarefas em execução falhem durante a atualização.

Atualizações dinâmicas

As atualizações dinâmicas permitem que os operadores continuem executando tarefas por até 12 horas antes de serem desligados. Elas evitam que as tarefas falhem devido a interrupções na atualização, desde que elas terminem em menos de 12 horas. Novas tarefas são encaminhadas a operadores atualizados.

Para habilitar as atualizações dinâmicas em um ambiente existente, você deve concluir uma Atualização forçada e garantir que o ambiente esteja no Apache Airflow versão 2.4.3 ou versões posteriores.

nota

Se você realizar uma atualização enquanto seu ambiente estiver em com o status MAINTENANCE , a estratégia de substituição de operadores para qualquer atualização contínua do ambiente mudará de GRACEFUL para FORCED. A atualização é realizada depois que a manutenção for concluída.

Atualizar recursos do ambiente

As atualizações do ambiente do Amazon MWAA usam a configuração do ambiente existente por padrão. Para atualizar o ambiente sem alterar sua configuração atual:

  1. Abra a página Ambientes no console do Amazon MWAA.

  2. Na lista de Ambientes, escolha o ambiente que você deseja atualizar.

  3. Na página do ambiente, escolha Editar para editar o ambiente.

  4. Escolha Avançar até que você esteja na página Revisar e salvar.

  5. Na página Revisar e salvar, revise o resumo da política e depois escolha Salvar alterações para salvar seu trabalho.

Atualizar um ambiente

A seção a seguir descreve as etapas para atualizar um ambiente do Amazon MWAA.

Etapa um: especificar detalhes

Para especificar detalhes do ambiente
  1. Abra a página Ambientes no console do Amazon MWAA.

  2. Na lista de Ambientes, escolha o ambiente que você deseja atualizar.

  3. Na página do ambiente, escolha Editar para editar o ambiente.

  4. Na seção Detalhes do ambiente, para a versão do Airflow, escolha o novo número da versão do Apache Airflow para o qual você deseja atualizar o ambiente na lista suspensa.

    nota

    Antes de atualizar, certifique-se de que seus DAGs e outros recursos de fluxo de trabalho são compatíveis com a nova versão do Apache Airflow. Para obter mais informações, consulte Alterar a versão do Apache Airflow.

  5. Em Código DAG no Amazon S3, selecione seu bucket do Amazon S3, especifique o seguinte:

    1. S3 Bucket. Escolha Browse S3 e selecione seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    2. Pasta DAGs. Escolha Browse S3 e selecione a pasta dags em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    3. Arquivo de plug-ins - opcional. Escolha Browse S3 e selecione o arquivo plugins.zip em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    4. Arquivo de requisitos - opcional. Escolha Browse S3 e selecione o arquivo requirements.txt em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    5. Arquivo de script de inicialização - opcional, escolha Browse S3 e selecione o arquivo de script em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

  6. Escolha Próximo.

Etapa 2: definir as configurações avançadas

Para definir configurações avançadas
  1. Em Acesso ao servidor Web, selecione seu Modo de acesso preferido do Apache Airflow:

    1. Rede privada. Isso limita o acesso da interface do usuário do Apache Airflow aos usuários dentro de seu Amazon VPC que receberam acesso à política do IAM para seu ambiente. Você precisa de permissão para criar endpoints da VPC Amazon para esta etapa.

      nota

      Escolha a opção de rede privada se sua IU do Apache Airflow for acessada somente dentro de uma rede corporativa e você não precisar de acesso a repositórios públicos para a instalação dos requisitos do servidor Web. Se escolher essa opção de modo de acesso, você precisará criar um mecanismo para acessar seu servidor Web do Apache Airflow em sua Amazon VPC. Para obter mais informações, consulte Como acessar o endpoint da VPC para seu servidor Web do Apache Airflow (acesso à rede privada).

    2. Rede pública. Isso permite que a IU do Apache Airflow seja acessada pela internet por usuários com acesso à política do IAM do seu ambiente.

  2. Em Grupos de segurança, escolha o grupo de segurança usado para proteger sua Amazon VPC:

    1. Por padrão, o Amazon MWAA cria um grupo de segurança em sua Amazon VPC com regras específicas de entrada e saída em Criar novo grupo de segurança.

    2. Opcional. Desmarque a caixa de seleção em Criar novo grupo de segurança para selecionar até 5 grupos de segurança.

      nota

      Um grupo de segurança existente do Amazon VPC deve ser configurado com regras específicas de entrada e saída para permitir o tráfego na rede. Consulte Segurança em sua VPC no Amazon MWAA para saber mais.

  3. Em Classe de ambiente, escolha uma classe de ambiente.

    Recomendamos escolher o menor tamanho necessário para dar suporte a sua workload. É possível fazer alterações na classe de ambiente a qualquer momento.

  4. Em Contagem máxima de operadores, especifique o número máximo de operadores do Apache Airflow a serem executados no ambiente.

    Para obter mais informações, consulte Exemplo de caso de uso de alto desempenho.

  5. Especifique a Contagem máxima de servidores Web e a Contagem mínima de servidores Web para configurar como o Amazon MWAA escala os servidores Web do Apache Airflow no ambiente.

    Para obter mais informações sobre o ajuste de escala automático de servidores Web, consulte Como configurar o ajuste de escala automático do servidor Web do Amazon MWAA.

  6. Em Criptografia, escolha uma opção de criptografia de dados:

    1. Por padrão, o Amazon MWAA usa uma chave pertencente à AWS para criptografar seus dados.

    2. Opcional. Escolha Personalizar configurações de criptografia (avançadas) para escolher uma AWS KMS chave diferente. Se optar por especificar uma chave gerenciada pelo cliente nesta etapa, você deverá especificar uma ID de chave AWS KMS ou ARN. Chaves aliases AWS KMS e multirregionais não são compatíveis com o Amazon MWAA. Se você especificou uma chave Amazon S3 para criptografia do lado do servidor em seu bucket Amazon S3, você deve especificar a mesma chave para seu ambiente Amazon MWAA.

      nota

      Você deve ter permissões para a chave para selecioná-la no console do Amazon MWAA. Você também deve conceder permissões para que o Amazon MWAA use a chave anexando a política descrita em Anexar política de chave.

  7. Recomendado. Em Monitoramento, escolha uma ou mais categorias de registro para a configuração de registro do Airflow para enviar os registros do Apache Airflow para o CloudWatch Logs:

    1. Logs de tarefas do Airflow. Os tipos de logs do Apache Airflow a serem enviados para o CloudWatch Logs no nível de log.

    2. Logs do servidor Web do Airflow. Selecione os tipos de logs do servidor Web do Apache Airflow a serem enviados para o CloudWatch Logs no nível de log.

    3. Logs do agendador de Airflow. Os tipos de logs de programador do Apache Airflow a serem enviados para o CloudWatch Logs no nível de log.

    4. Logs de operadores do Airflow. Escolha o tipo de logs do Apache Airflow a serem enviados para o CloudWatch Logs no nível de log.

    5. Logs de processamento do Airflow DAG. Os tipos de logs de processamento de DAGs do Apache Airflow a serem enviados para o CloudWatch Logs no nível de log.

  8. Opcional. Para opções de configuração do Airflow, escolha Adicionar opção de configuração personalizada.

    É possível escolher na lista suspensa sugerida das opções de configuração do Apache Airflow para sua versão do Apache Airflow ou especificar opções de configuração personalizadas. Por exemplo, core.default_task_retries : 3.

  9. Em Permissões, escolha um perfil de execução:

    1. Por padrão, o Amazon MWAA cria um perfil de execução em Create a new role (Criar um nova perfil). Você deve ter permissão para criar perfis do IAM.

    2. Opcional. Escolha Inserir ARN de perfil (ARN) para inserir o nome do recurso da Amazon (ARN) de um perfil de execução existente.

  10. Em Atualizar especificações, escolha um Estratégia de substituição de operadores para controlar como os operadores ativos são tratados durante uma atualização.

  11. Selecione Próximo.

Etapa 3: Revisar e atualizar

Para revisar um resumo do ambiente
  • Revise o resumo do ambiente e selecione Salvar.

    nota

    Leva cerca de vinte a trinta minutos para atualizar um ambiente usando atualizações forçadas. As atualizações dinâmicas do ambiente podem levar até doze horas para serem concluídas pois aguardam a conclusão de suas tarefas em andamento.