Modos de acceso de Apache Airflow - Amazon Managed Workflows para Apache Airflow

Modos de acceso de Apache Airflow

La consola de Amazon Managed Workflows para Apache Airflow tiene opciones integradas para configurar el enrutamiento público o privado al servidor web de Apache Airflow de su entorno. En esta guía, se describen los modos de acceso disponibles para el servidor web de Apache Airflow en su entorno de Amazon Managed Workflows para Apache Airflow y los recursos adicionales que deberá configurar en su VPC de Amazon si elige la opción de red privada.

Modos de acceso de Apache Airflow

Puede elegir un enrutamiento público o privado para su servidor web de Apache Airflow. Para habilitar el enrutamiento privado, elija red privada. De esta forma, los usuarios solo pueden acceder a un servidor web de Apache Airflow desde una VPC de Amazon. Para habilitar el enrutamiento público, elija red pública. Esto permite a los usuarios acceder al servidor web de Apache Airflow a través de Internet.

Red pública

En el siguiente diagrama de arquitectura, se muestra un entorno de Amazon MWAA con un servidor web público.

En la imagen, se muestra la arquitectura de un entorno de Amazon MWAA con un servidor web privado.

El modo de acceso mediante red pública permite que los usuarios a los que se les haya otorgado acceso a la política de IAM de su entorno accedan a la UI de Apache Airflow a través de Internet.

En la siguiente imagen, se muestra dónde se encuentra la opción de red pública en la consola de Amazon MWAA.

En la imagen, se muestra dónde se encuentra la opción de red pública en la consola de Amazon MWAA.

Red privada

En el siguiente diagrama de arquitectura, se muestra un entorno de Amazon MWAA con un servidor web privado.

En la imagen, se muestra la arquitectura de un entorno de Amazon MWAA con un servidor web privado.

El modo de acceso de red privada limita el acceso a la interfaz de usuario de Apache Airflow a los usuarios de su Amazon VPC a los que se les ha concedido acceso a la política de IAM de su entorno.

Al crear un entorno con acceso mediante red privada al servidor web, debe empaquetar todas sus dependencias en un archivo wheel de Python (.whl) y luego hacer referencia al .whl en su requirements.txt. Para obtener instrucciones sobre cómo empaquetar e instalar sus dependencias mediante el archivo wheel, consulte cómo administrar dependencias con archivos wheel de Python.

En la siguiente imagen, se muestra dónde se encuentra la opción de red privada en la consola de Amazon MWAA.

En la imagen, se muestra dónde se encuentra la opción de red privada en la consola de Amazon MWAA.

Información general sobre los modos de acceso

En esta sección se describen los puntos de conexión de VPC (AWS PrivateLink) que se crean en su VPC de Amazon al elegir el modo de acceso mediante red pública o mediante red privada.

Modo de acceso mediante red pública

Si elige el modo de acceso de red pública para su servidor web de Apache Airflow, el tráfico de la red se enruta públicamente a través de Internet.

  • Amazon MWAA crea un punto de conexión de la interfaz de la VPC para su base de datos de metadatos de Amazon Aurora PostgreSQL. El punto de conexión se crea en las zonas de disponibilidad correspondientes a sus subredes privadas y es independiente de las demás Cuentas de AWS.

  • A continuación, Amazon MWAA vincula una dirección IP de sus subredes privadas a los puntos de conexión de la interfaz. Se ha diseñado de esta manera siguiendo la práctica recomendada de vincular una sola IP de cada zona de disponibilidad de la VPC de Amazon.

Modo de acceso mediante red privada

Si elige el modo de acceso de red privada para su servidor web de Apache Airflow, el tráfico de red se enruta de forma privada dentro de su Amazon VPC.

  • Amazon MWAA crea un punto de conexión de la interfaz de la VPC para el servidor web de Apache Airflow y un punto de conexión de la interfaz para su base de datos de metadatos de Amazon Aurora PostgreSQL. Los puntos de conexión se crean en las zonas de disponibilidad correspondientes a sus subredes privadas y son independientes del resto de Cuentas de AWS.

  • A continuación, Amazon MWAA vincula una dirección IP de sus subredes privadas a los puntos de conexión de la interfaz. Se ha diseñado de esta manera siguiendo la práctica recomendada de vincular una sola IP de cada zona de disponibilidad de la VPC de Amazon.

Consulte Ejemplos de casos de uso para un modo de acceso a Amazon VPC y Apache Airflow para obtener más información.

Configuración para los modos de acceso mediante red pública y mediante red privada

En la siguiente sección se describen los ajustes y configuraciones adicionales que deberá realizar en función del modo de acceso de Apache Airflow que haya elegido para su entorno.

Configuración para la red pública

Si elige la opción de red pública para el servidor web de Apache Airflow, podrá empezar a usar la UI de Apache Airflow en cuanto haya creado su entorno.

Deberá seguir los pasos que se describen a continuación para configurar el acceso de sus usuarios y los permisos para que su entorno pueda utilizar otros servicios de AWS.

  1. Añada permisos. Amazon MWAA necesita permiso para utilizar otros servicios de AWS. Cuando se crea un entorno, Amazon MWAA crea un rol vinculado a servicios que le permite utilizar determinadas acciones de IAM para Amazon Elastic Container Registry (Amazon ECR), los registros de CloudWatch y Amazon EC2.

    Puede añadir permisos para que estos u otros servicios de AWS realicen acciones adicionales añadiendo permisos a su rol de ejecución. Consulte Rol de ejecución de Amazon MWAA para obtener más información.

  2. Cree políticas de usuario. Es posible que deba crear varias políticas de IAM para que sus usuarios puedan configurar el acceso a su entorno y a la UI de Apache Airflow. Consulte Acceso a un entorno de Amazon MWAA para obtener más información.

Configuración para la red privada

Si elige la opción de red privada para el servidor web de Apache Airflow, tendrá que configurar el acceso de sus usuarios, permitir que su entorno use otros servicios de AWS y crear un mecanismo para acceder a los recursos de su VPC de Amazon desde su computadora.

  1. Añada permisos. Amazon MWAA necesita permiso para utilizar otros servicios de AWS. Cuando se crea un entorno, Amazon MWAA crea un rol vinculado a servicios que le permite utilizar determinadas acciones de IAM para Amazon Elastic Container Registry (Amazon ECR), los registros de CloudWatch y Amazon EC2.

    Puede añadir permisos para que estos u otros servicios de AWS realicen acciones adicionales añadiendo permisos a su rol de ejecución. Consulte Rol de ejecución de Amazon MWAA para obtener más información.

  2. Cree políticas de usuario. Es posible que deba crear varias políticas de IAM para que sus usuarios puedan configurar el acceso a su entorno y a la UI de Apache Airflow. Consulte Acceso a un entorno de Amazon MWAA para obtener más información.

  3. Habilite el acceso a la red. Deberá crear un mecanismo en su VPC de Amazon para conectarse al punto de conexión de VPC (AWS PrivateLink) del servidor web de Apache Airflow. Por ejemplo, puede crear un túnel de VPN desde su ordenador mediante una AWS Client VPN.

Acceso al punto de conexión de VPC del servidor web de Apache Airflow (acceso mediante red privada)

Si elige la opción de red privada, tendrá que crear un mecanismo en su VPC de Amazon para poder acceder al punto de conexión de VPC (AWS PrivateLink) del servidor web de Apache Airflow. Recomendamos utilizar la misma VPC de Amazon, el mismo grupo de seguridad de VPC y las mismas subredes privadas que utiliza su entorno de Amazon MWAA para estos recursos.

Para obtener más información, consulte cómo administrar accesos a los puntos de conexión de la VPC.