Sobre a rede do Amazon MWAA - Amazon Managed Workflows for Apache Airflow
TermosO que é compatívelVisão geral da infraestrutura da VPCExemplos de casos de uso para um modo de acesso Amazon VPC e Apache Airflow

Sobre a rede do Amazon MWAA

Uma Amazon VPC é uma rede virtual vinculada à sua Conta da AWS. Oferece segurança na nuvem e a capacidade de escalar dinamicamente ao fornecer controle refinado sobre sua infraestrutura virtual e a segmentação do tráfego de rede. Esta página descreve a infraestrutura da Amazon VPC com o roteamento público ou roteamento privado necessário para oferecer suporte a um ambiente Amazon Managed Workflows para Apache Airflow.

Termos

Roteamento público

Uma rede da Amazon VPC que tem acesso à internet.

Roteamento privado

Uma rede da Amazon VPC sem acesso à internet.

O que é compatível

A tabela a seguir descreve os tipos de Amazon VPCs compatíveis com o Amazon MWAA.

Tipos de Amazon VPC Compatível

Um Amazon VPC de propriedade da conta que está tentando criar o ambiente.

Sim

Uma Amazon VPC compartilhada em que várias Contas da AWS criam recursos da AWS.

Sim

Visão geral da infraestrutura da VPC

Ao criar um ambiente Amazon MWAA, o Amazon MWAA cria entre um a dois endpoints da VPC para seu ambiente com base no modo de acesso do Apache Airflow que você escolheu para seu ambiente. Esses endpoints aparecem como interfaces de rede elástica (ENIs) com IPs privados em sua Amazon VPC. Depois que esses endpoints são criados, qualquer tráfego destinado a esses IPs é roteado de forma privada ou pública para os serviços correspondentes da AWS usados pelo seu ambiente.

A seção a seguir descreve a infraestrutura da Amazon VPC necessária para rotear o tráfego publicamente pela internet ou de forma privada dentro da sua Amazon VPC.

Roteamento público pela internet

Esta seção descreve a infraestrutura do Amazon VPC de um ambiente com roteamento público. Você precisará da seguinte infraestrutura de VPC:

  • Um grupo de segurança da VPC. Um grupo de segurança VPC atua como um firewall virtual para sua instância para controlar o tráfego de entrada e saída.

  • Duas sub-redes públicas. A sub-rede pública é uma sub-rede associada a uma tabela de rotas que contém uma rota para um gateway da Internet.

    • São necessárias duas sub-redes públicas. Isso permite que o Amazon MWAA crie uma nova imagem de contêiner para seu ambiente em sua outra zona de disponibilidade, se um contêiner falhar.

    • As duas sub-redes devem estar em zonas de disponibilidade diferentes. Por exemplo, us-east-1a, us-east-1b.

    • As sub-redes devem ser roteadas para um gateway NAT (ou instância NAT) com um endereço IP elástico (EIP).

    • As sub-redes precisam de uma tabela de rotas que direcione o tráfego de internet para o gateway da internet.

  • Duas sub-redes privadas. Uma sub-rede privada é uma sub-rede que não é associada a uma tabela de rotas que contém uma rota para um gateway da internet.

    • São necessárias duas sub-redes privadas. Isso permite que o Amazon MWAA crie uma nova imagem de contêiner para seu ambiente em sua outra zona de disponibilidade, se um contêiner falhar.

    • As duas sub-redes devem estar em zonas de disponibilidade diferentes. Por exemplo, us-east-1a, us-east-1b.

    • As sub-redes devem ter uma tabela de rotas para um dispositivo NAT (gateway ou instância).

    • As sub-redes não podem rotear para um gateway da internet.

    • Defina assignIpV6AddressOnCreation como true para sub-redes IPv6.

    • Para sub-redes privadas IPv6, você deve ter uma conexão com um gateway da internet apenas de saída (EIGW).

  • Uma lista de controle de acesso (ACL) à rede). Listas de controle de acesso (ACL) à rede: as ACLs da rede permitem ou negam determinado tráfego de entrada e de saída no nível da sub-rede.

    • A NACL deve ter uma regra de entrada que permita todo o tráfego (0.0.0.0/0; para IPv6, use ::/0).

    • A NACL deve ter uma regra de saída que permita todo o tráfego (0.0.0.0/0; para IPv6, use ::/0).

    • Por exemplo, (Recomendado) Exemplos de ACLs.

  • Dois gateways NAT (ou instâncias NAT). O dispositivo NAT encaminha o tráfego para as instâncias na sub-rede privada para a internet ou outros serviços da AWS e depois roteia a resposta de volta às instâncias.

    • O dispositivo NAT deve estar conectado a uma sub-rede pública. (Um dispositivo NAT por sub-rede pública.)

    • O dispositivo NAT deve ter um endereço IPv4 elástico (EIP) conectado a cada sub-rede pública.

  • Um gateway de internet. Um gateway da internet conecta uma Amazon VPC à internet e a outros serviços da AWS.

    • Um gateway da internet deve ser anexado à Amazon VPC.

Roteamento privado sem acesso à internet

Esta seção descreve a infraestrutura do Amazon VPC de um ambiente com roteamento privado. Você precisará da seguinte infraestrutura de VPC:

  • Um grupo de segurança da VPC. Um grupo de segurança VPC atua como um firewall virtual para sua instância para controlar o tráfego de entrada e saída.

  • Duas sub-redes privadas. Uma sub-rede privada é uma sub-rede que não é associada a uma tabela de rotas que contém uma rota para um gateway da internet.

    • São necessárias duas sub-redes privadas. Isso permite que o Amazon MWAA crie uma nova imagem de contêiner para seu ambiente em sua outra zona de disponibilidade, se um contêiner falhar.

    • As duas sub-redes devem estar em zonas de disponibilidade diferentes. Por exemplo, us-east-1a, us-east-1b.

    • As sub-redes devem ter uma tabela de rotas para seus endpoints da VPC.

    • As sub-redes devem ter uma tabela de rotas para um EIGW para serem baixadas da internet como parte de um DAG.

    • As sub-redes não devem ter uma tabela de rotas para um dispositivo NAT (gateway ou instância) e nem um gateway da internet.

  • Uma lista de controle de acesso (ACL) à rede). Listas de controle de acesso (ACL) à rede: as ACLs da rede permitem ou negam determinado tráfego de entrada e de saída no nível da sub-rede.

    • A NACL deve ter uma regra de entrada que permita todo o tráfego (0.0.0.0/0; para IPv6, use ::/0).

    • A NACL deve ter uma regra de saída que recuse todo o tráfego (0.0.0.0/0; para IPv6, use ::/0).

    • Por exemplo, (Recomendado) Exemplos de ACLs.

  • Uma tabela de rotas local. Uma tabela de rotas local é uma rota padrão para comunicação dentro da VPC.

    • A tabela de rotas local deve estar associada às suas sub-redes privadas.

    • A tabela de rotas local deve permitir que as instâncias em sua VPC se comuniquem com a rede. Por exemplo, se você estiver usando uma AWS Client VPN para acessar o endpoint da interface VPC para seu servidor Web do Apache Airflow, a tabela de rotas deve rotear para o endpoint da VPC.

  • Endpoints da VPC para cada serviço da AWS usado por seu ambiente e endpoints da VPC para Apache Airflow na mesma Região da AWS e Amazon VPC como seu ambiente do Amazon MWAA.

Exemplos de casos de uso para um modo de acesso Amazon VPC e Apache Airflow

Esta seção descreve os diferentes casos de uso para acesso à rede em sua Amazon VPC e o modo de acesso ao servidor Web do Apache Airflow que você deve escolher no console do Amazon MWAA.

O acesso à Internet é permitido: nova rede Amazon VPC

Se o acesso à internet em sua VPC for permitido pela sua organização e você quiser que os usuários acessem o servidor Web do Apache Airflow pela internet:

  1. Crie uma rede Amazon VPC com acesso à internet.

  2. Crie um ambiente com o modo de acesso à rede pública para seu servidor Web do Apache Airflow.

  3. O que recomendamos: recomendamos usar o modelo de início rápido CloudFormation que cria a infraestrutura do Amazon VPC, um bucket do Amazon S3 e um ambiente do Amazon MWAA ao mesmo tempo. Consulte Tutoriais de início rápido para Amazon Managed Workflows for Apache Airflow para saber mais.

Se o acesso à internet em sua VPC for permitido pela sua organização e você quiser que os usuários tenham acesso limitado ao servidor Web do Apache Airflow em sua VPC:

  1. Crie uma rede Amazon VPC com acesso à internet.

  2. Crie um mecanismo para acessar o endpoint da interface VPC do seu servidor Web do Apache Airflow a partir do seu computador.

  3. Crie um ambiente com o modo de acesso à rede privada para seu servidor Web do Apache Airflow.

  4. O que recomendamos:

    1. Recomendamos usar o console do Amazon MWAA em Opção um: criar a rede VPC no console Amazon MWAA ou o modelo CloudFormation em Opção dois: criar uma rede Amazon VPC com acesso à internet.

    2. Recomendamos configurar o acesso usando uma AWS Client VPN ao seu servidor Web do Apache Airflow em Tutorial: Como configurar o acesso à rede privada usando um AWS Client VPN.

O acesso à Internet não é permitido: nova rede Amazon VPC

Se o acesso à internet em sua VPC não for permitido pela sua organização:

  1. Crie uma rede Amazon VPC sem acesso à internet.

  2. Crie um mecanismo para acessar o endpoint da interface VPC do seu servidor Web do Apache Airflow a partir do seu computador.

  3. Crie endpoints da VPC para cada serviço da AWS usado pelo seu ambiente.

  4. Crie um ambiente com o modo de acesso à rede privada para seu servidor Web do Apache Airflow.

  5. O que recomendamos:

    1. Recomendamos usar o modelo CloudFormation para criar uma Amazon VPC sem acesso à internet e os endpoints da VPC para cada serviço da AWS usado pelo Amazon MWAA em Opção três: criar uma rede Amazon VPC sem acesso à internet.

    2. Recomendamos configurar o acesso usando uma AWS Client VPN ao seu servidor Web do Apache Airflow em Tutorial: Como configurar o acesso à rede privada usando um AWS Client VPN.

O acesso à Internet não é permitido: rede Amazon VPC existente

Se o acesso à internet em sua VPC não for permitido pela sua organização e você já tiver a rede Amazon VPC necessária sem acesso à internet:

  1. Crie endpoints da VPC para cada serviço da AWS usado pelo seu ambiente.

  2. Crie endpoints da VPC para o Apache Airflow.

  3. Crie um mecanismo para acessar o endpoint da interface VPC do seu servidor Web do Apache Airflow a partir do seu computador.

  4. Crie um ambiente com o modo de acesso à rede privada para seu servidor Web do Apache Airflow.

  5. O que recomendamos:

    1. Recomendamos criar e conectar os endpoints da VPC necessários para cada serviço da AWS usado pelo Amazon MWAA e os endpoints da VPC necessários para o Apache Airflow em Como criar endpoints de serviço de VPC necessários em um Amazon VPC com roteamento privado.

    2. Recomendamos configurar o acesso usando uma AWS Client VPN ao seu servidor Web do Apache Airflow em Tutorial: Como configurar o acesso à rede privada usando um AWS Client VPN.