As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Modos de acesso do Apache Airflow
O console Amazon Managed Workflows for Apache Airflow contém opções integradas para configurar roteamento privado, público ou tanto público quanto privado para o servidor web Apache Airflow em seu ambiente. Este guia descreve os modos de acesso disponíveis para o servidor Web do Apache Airflow em seu ambiente Amazon Managed Workflows for Apache Airflow e os recursos adicionais que você precisará configurar em sua Amazon VPC se escolher a opção de rede privada.
Sumário
Modos de acesso do Apache Airflow
Você pode escolher o roteamento privado, público ou público e privado para seu servidor web Apache Airflow. Para ativar o roteamento privado, escolha Rede privada. Isso limita o acesso do usuário a um servidor Web do Apache Airflow dentro de uma Amazon VPC. Para habilitar o roteamento público, escolha Rede pública. Isso permite que os usuários acessem o servidor web do Apache Airflow pela internet. Para habilitar o roteamento público e privado, escolha Acesso à rede pública e privada. Isso permite que os usuários acessem o servidor web Apache Airflow pela Internet enquanto os trabalhadores se comunicam com o servidor web por meio de um endpoint VPC privado.
Rede pública
O diagrama de arquitetura a seguir mostra um ambiente do Amazon MWAA com um servidor Web público.
O modo de acesso à rede pública permite que a IU do Apache Airflow seja acessada pela Internet por usuários com acesso à política do IAM do seu ambiente.
Importante
Se seu ambiente usa o Apache Airflow versão 3 ou posterior com o modo de acesso à rede pública, os trabalhadores devem ser capazes de acessar o servidor web pela Internet para comunicar o estado da tarefa. Se as sub-redes que hospedam seus trabalhadores não tiverem acesso à Internet (por exemplo, sub-redes privadas sem um gateway NAT), as tarefas do DAG falharão. Para resolver isso, atualize para o Apache Airflow versão 3.2.1 ou posterior e alterne para o modo de acesso à rede pública e privada, que roteia a comunicação do trabalhador por meio de um endpoint VPC privado.
A imagem a seguir mostra onde encontrar a opção de rede pública no console do Amazon MWAA.
Rede privada
O diagrama de arquitetura a seguir mostra um ambiente do Amazon MWAA com um servidor Web privado.
O modo de acesso à rede privada limita o acesso à interface do usuário do Apache Airflow aos usuários da Amazon VPC que receberam acesso à política do IAM do seu ambiente.
Ao criar um ambiente com acesso privado ao servidor web, você deve empacotar todas as suas dependências em um arquivo wheel do Python (.whl) e, em seguida, referenciar .whl em seu requirements.txt. Para obter instruções sobre como empacotar e instalar suas dependências usando o wheel, consulte Gerenciamento de dependências usando o wheel do Python.
A imagem a seguir mostra onde encontrar a opção Rede privada no console do Amazon MWAA.
Acesso à rede pública e privada
Disponível para o Apache Airflow versão 3.2.1 e posterior. No Apache Airflow versão 3 e posterior, os trabalhadores comunicam o estado da tarefa ao servidor web por meio da API de tarefas. Se sua Amazon VPC não tiver acesso à Internet, os trabalhadores não poderão acessar um servidor web público, fazendo com que as tarefas do DAG falhem. Esse modo cria um balanceador de carga de rede pública para acesso do navegador à interface do usuário do Apache Airflow e um endpoint VPC privado para comunicação entre trabalhadores e servidores, permitindo que os trabalhadores acessem o servidor sem acesso à Internet. Consulte os diagramas de arquitetura de rede pública e rede privada acima para cada componente.
nota
Com esse modo, o acesso do navegador à interface do usuário do Apache Airflow passa pela URL pública. O VPC endpoint privado é usado pelos trabalhadores para comunicação interna e não se destina ao acesso ao navegador.
Visão geral dos modos de acesso
Esta seção descreve os endpoints de VPC (AWS PrivateLink) criados em sua Amazon VPC quando você escolhe o modo de acesso à rede pública, rede privada ou rede pública e privada.
Modo de acesso à rede pública
Se você escolher o modo de acesso à rede pública para seu servidor Web do Apache Airflow, o tráfego de rede será roteado publicamente pela internet.
-
O Amazon MWAA cria um endpoint de interface VPC para seu banco de dados de metadados Amazon Aurora PostgreSQL. O endpoint é criado nas zonas de disponibilidade mapeadas para suas sub-redes privadas e é independente de outras Contas da AWS.
-
Em seguida, o Amazon MWAA vincula um endereço IP de suas sub-redes privadas aos endpoints da interface. Isso foi projetado para apoiar a prática recomendada de vincular um único IP de cada zona de disponibilidade do Amazon VPC.
Modo de acesso à rede privada
Se você escolheu o modo de acesso à rede privada para seu servidor Web do Apache Airflow, o tráfego de rede será roteado de forma privada dentro da Amazon VPC.
-
O Amazon MWAA cria um endpoint de interface da VPC para seu servidor Web do Apache Airflow e um endpoint de interface para seu banco de dados de metadados Amazon Aurora PostgreSQL. Os endpoints são criados nas zonas de disponibilidade mapeadas para suas sub-redes privadas e são independentes de outras Contas da AWS.
-
Em seguida, o Amazon MWAA vincula um endereço IP de suas sub-redes privadas aos endpoints da interface. Isso foi projetado para apoiar a prática recomendada de vincular um único IP de cada zona de disponibilidade do Amazon VPC.
Modo de acesso à rede pública e privada
Se você escolheu o modo de acesso à rede pública e privada para o seu servidor web Apache Airflow, o tráfego de rede para a interface do usuário do Apache Airflow é roteado publicamente pela Internet, enquanto a comunicação entre o trabalhador e o servidor web é roteada de forma privada dentro da sua Amazon VPC.
-
O Amazon MWAA cria um endpoint de interface VPC para seu servidor web Apache Airflow (para conectividade de trabalhadores) e um endpoint de interface para seu banco de dados de metadados Amazon Aurora PostgreSQL. Os endpoints são criados nas zonas de disponibilidade mapeadas para suas sub-redes privadas e são independentes de outras. Contas da AWS
-
Em seguida, o Amazon MWAA vincula um endereço IP de suas sub-redes privadas aos endpoints da interface. Isso foi projetado para apoiar a prática recomendada de vincular um único IP de cada zona de disponibilidade do Amazon VPC.
-
A interface do Apache Airflow pode ser acessada pela Internet por meio de um balanceador de carga de rede pública. Os usuários acessam a interface do usuário da mesma forma que no modo de acesso à rede pública.
Consulte para saber mais: Exemplos de casos de uso para um modo de acesso Amazon VPC e Apache Airflow.
Configuração para modos de acesso
A seção a seguir descreve as configurações e as configurações adicionais necessárias de acordo com o modo de acesso escolhido do Apache Airflow para o seu ambiente.
Configuração de rede pública
Se você escolher a opção de rede pública para seu servidor Web do Apache Airflow, poderá começar a usar a IU do Apache Airflow depois de criar seu ambiente.
Você precisará seguir as etapas a seguir para configurar o acesso de seus usuários e a permissão para que seu ambiente use outros AWS serviços.
-
Adicione permissão. O Amazon MWAA precisa de permissão para usar outros AWS serviços. Quando você cria um ambiente, o Amazon MWAA cria uma função vinculada ao serviço que permite usar determinadas ações do IAM para o Amazon Elastic Container Registry (Amazon ECR), Logs e Amazon EC2 CloudWatch .
Você pode adicionar permissão para usar ações adicionais para esses serviços ou para usar outros AWS serviços adicionando permissões à sua função de execução. Consulte Perfil de execução do Amazon MWAA para saber mais.
-
Crie políticas de usuário. Pode ser necessário criar várias políticas do IAM para que os usuários configurem o acesso ao seu ambiente e à IU do Apache Airflow. Consulte Como acessar um ambiente do Amazon MWAA para saber mais.
Configuração de rede privada
Se você escolher a opção de rede privada para seu servidor web Apache Airflow, precisará configurar o acesso para seus usuários, a permissão para que seu ambiente use AWS outros serviços e criar um mecanismo para acessar os recursos em seu Amazon VPC a partir do seu computador.
-
Adicione permissão. O Amazon MWAA precisa de permissão para usar outros AWS serviços. Quando você cria um ambiente, o Amazon MWAA cria uma função vinculada ao serviço que permite usar determinadas ações do IAM para o Amazon Elastic Container Registry (Amazon ECR), Logs e Amazon EC2 CloudWatch .
Você pode adicionar permissão para usar ações adicionais para esses serviços ou para usar outros AWS serviços adicionando permissões à sua função de execução. Consulte Perfil de execução do Amazon MWAA para saber mais.
-
Crie políticas de usuário. Pode ser necessário criar várias políticas do IAM para que os usuários configurem o acesso ao seu ambiente e à IU do Apache Airflow. Consulte Como acessar um ambiente do Amazon MWAA para saber mais.
-
Ative o acesso à rede. Você precisará criar um mecanismo na sua Amazon VPC para se conectar ao endpoint da VPC (AWS PrivateLink) do seu servidor Web do Apache Airflow. Por exemplo, criando um túnel VPN a partir do seu computador usando um AWS Client VPN.
Configuração para acesso à rede pública e privada
Se você escolher a opção de acesso à rede pública e privada para seu servidor web Apache Airflow, poderá começar a usar a interface do usuário do Apache Airflow depois de criar seu ambiente. Nenhum mecanismo de acesso ao endpoint VPN ou VPC é necessário para acessar o navegador. A interface do usuário do Apache Airflow pode ser acessada pela Internet. Os trabalhadores se conectam automaticamente ao servidor web por meio do endpoint VPC privado.
Você precisará seguir as etapas a seguir para configurar o acesso de seus usuários e a permissão para que seu ambiente use outros AWS serviços.
-
Adicione permissão. O Amazon MWAA precisa de permissão para usar outros AWS serviços. Quando você cria um ambiente, o Amazon MWAA cria uma função vinculada ao serviço que permite usar determinadas ações do IAM para o Amazon Elastic Container Registry (Amazon ECR), Logs e Amazon EC2 CloudWatch .
Você pode adicionar permissão para usar ações adicionais para esses serviços ou para usar outros AWS serviços adicionando permissões à sua função de execução. Consulte Perfil de execução do Amazon MWAA para saber mais.
-
Crie políticas de usuário. Pode ser necessário criar várias políticas do IAM para que os usuários configurem o acesso ao seu ambiente e à IU do Apache Airflow. Consulte Como acessar um ambiente do Amazon MWAA para saber mais.
Como acessar o endpoint da VPC para seu servidor Web do Apache Airflow (acesso à rede privada)
Se você escolheu a opção de rede privada, precisará criar um mecanismo em sua Amazon VPC para acessar o endpoint da VPC (AWS PrivateLink) para seu servidor Web do Apache Airflow. Recomendamos usar o mesmo Amazon VPC, grupo de segurança VPC e sub-redes privadas do seu ambiente do Amazon MWAA para esses recursos.
Se você escolheu o acesso à rede pública e privada, não precisa criar um mecanismo para acessar a interface do Apache Airflow. É acessível pela internet. O VPC endpoint privado é usado automaticamente pelos trabalhadores para comunicação interna.
Para saber mais, consulte Gerenciamento de acesso para endpoint da VPC.
