Tutorial: Configuración del acceso a la red privada mediante un host bastión de Linux
En este tutorial, se explican los pasos necesarios para crear un túnel SSH desde su equipo hasta el servidor web de Apache Airflow para su entorno de Amazon Managed Workflows para Apache Airflow. Se asume que ya ha creado un entorno Amazon MWAA. Una vez configurado, un host bastión de Linux actúa como jump server que permite una conexión segura desde el equipo a los recursos de la VPC. A continuación, debe utilizar un complemento de administración de proxy SOCKS para controlar la configuración del proxy en su navegador y acceder a la interfaz de usuario de Apache Airflow.
Red privada
En este tutorial, se asume que ha elegido el modo de acceso red privada para su servidor web de Apache Airflow.
El modo de acceso de red privada limita el acceso a la UI de Apache Airflow a los usuarios de su Amazon VPC a los que se les ha concedido acceso a la política de IAM de su entorno.
Al crear un entorno con acceso mediante red privada al servidor web, debe empaquetar todas sus dependencias en un archivo wheel de Python (.whl) y luego hacer referencia al .whl en su requirements.txt. Para obtener instrucciones sobre cómo empaquetar e instalar sus dependencias mediante el archivo wheel, consulte cómo administrar dependencias con archivos wheel de Python.
En la siguiente imagen, se muestra dónde se encuentra la opción de red privada en la consola de Amazon MWAA.
Casos de uso
Puede utilizar este tutorial después de haber creado un entorno Amazon MWAA. Debe usar la misma Amazon VPC, los mismos grupos de seguridad de VPC y las mismas subredes públicas que su entorno.
Antes de empezar
-
Compruebe los permisos de usuario. Asegúrese de que su cuenta en AWS Identity and Access Management (IAM) tenga los permisos necesarios para crear y administrar los recursos de VPC.
-
Utilice su VPC de Amazon MWAA. En este tutorial, se asume que está asociando el host bastión a una VPC existente. La Amazon VPC debe estar en la misma región que su entorno de Amazon MWAA y tener dos subredes privadas, tal y como se define en Creación de la red de VPC.
-
Cree una clave de SSH. Debe crear una clave SSH de Amazon EC2 (.pem) en la misma región que su entorno de Amazon MWAA para conectarse a los servidores virtuales. Si no tiene una clave SSH, consulte cómo crear o importar un par de claves en la guía del usuario de Amazon EC2.
Objetivos
En este tutorial, hará lo siguiente:
-
Crear una instancia de host bastión de Linux mediante una plantilla de CloudFormation para una VPC existente
. -
Autorizar el tráfico entrante al grupo de seguridad de la instancia bastión mediante una regla de entrada en el puerto
22. -
Autorizar el tráfico de entrada del grupo de seguridad de un entorno de Amazon MWAA al grupo de seguridad de la instancia de bastión.
-
Crear un túnel SSH hasta la instancia de bastión.
-
Instalar y configurar el complemento FoxyProxy para el navegador Firefox para ver la UI de Apache Airflow.
Paso uno: crear la instancia del bastión
En la siguiente sección, se describen los pasos para crear la instancia de bastión de Linux mediante una plantilla de CloudFormation para una VPC existente
Creación del host bastión de Linux
-
Abra la página implementar el inicio rápido
en la consola CloudFormation. -
Use el selector de región de la barra de navegación para elegir la misma Región de AWS que su entorno de Amazon MWAA.
-
Elija Siguiente.
-
Escriba un nombre en el campo de texto Stack name (Nombre de pila), como
mwaa-linux-bastion. -
En el panel Parámetros, Configuración de red, elija las siguientes opciones:
-
Elija el ID de VPC de su entorno de Amazon MWAA.
-
Elija el ID de subred pública 1 de su entorno de Amazon MWAA.
-
Elija el ID de subred pública 2 de su entorno de Amazon MWAA.
-
Introduzca el rango de direcciones más acotado posible (por ejemplo, un rango CIDR interno) en CIDR de acceso externo al bastión permitido.
nota
La forma más sencilla de identificar un rango es usar el mismo rango de CIDR que las subredes públicas. Por ejemplo, las subredes públicas en la plantilla CloudFormation en la página Creación de la red de VPC son
10.192.10.0/24y10.192.11.0/24.
-
-
En el panel Configuración de Amazon EC2, elija lo siguiente:
-
Elija su clave SSH en la lista desplegable Nombre del par de claves.
-
Introduzca un nombre en Nombre del host bastión.
-
En Reenvío de TCP, elija verdadero.
aviso
En este paso, el reenvío de TCP debe establecerse como verdadero. De lo contrario, no podrá crear un túnel SSH en el siguiente paso.
-
-
Seleccione Siguiente, Siguiente.
-
Seleccione la casilla de confirmación y, a continuación, Crear pila.
Para obtener más información sobre la arquitectura de su host bastión de Linux, consulte Hosts bastión de Linux en la nube de AWS: arquitectura.
Paso dos: crear el túnel SSH
Los siguientes pasos describen cómo crear el túnel SSH en el bastión de Linux. Un túnel SSH recibe la solicitud de su dirección IP local al bastión de Linux, que es por lo que en los pasos anteriores el reenvío TCP para el bastión de Linux se configuró como true.
nota
Si recibe un error Permission denied (publickey), le recomendamos que utilice la herramienta AWSSupport-TroubleShootSSH y seleccione Ejecutar esta automatización (consola) para solucionar los problemas de la configuración de SSH.
Paso tres: configurar el grupo de seguridad del bastión como regla de entrada
El acceso a los servidores y el acceso regular a Internet desde los servidores se permite con un grupo de seguridad de mantenimiento especial adjunto a esos servidores. Los siguientes pasos describen cómo configurar el grupo de seguridad bastión como fuente de tráfico entrante al grupo de seguridad de VPC de un entorno.
-
Abra la página Entornos
en la consola de Amazon MWAA. -
Seleccione un entorno.
-
En el panel Redes, elija Grupo de seguridad de VPC.
-
Elija Editar reglas de entrada.
-
Seleccione Agregar regla.
-
Elija el ID del grupo de seguridad de la lista desplegable Origen.
-
Deje las opciones restantes en blanco o establézcalas en sus valores predeterminados.
-
Seleccione Guardar reglas.
Paso cuatro: copiar la URL de Apache Airflow
En los siguientes pasos, se describe cómo abrir la consola de Amazon MWAA y copiar la URL en la interfaz de usuario de Apache Airflow.
-
Abra la página Entornos
en la consola de Amazon MWAA. -
Seleccione un entorno.
-
Copie la URL en la interfaz de usuario de Airflow para los pasos siguientes.
Paso cinco: configurar los ajustes del proxy
Si utiliza un túnel de SSH con enrutamiento de puertos dinámico, debe utilizar un complemento de administración de proxy de SOCKS para controlar los ajustes del proxy en el navegador. Por ejemplo, puede usar la característica --proxy-server de Chromium para iniciar una sesión de navegador o usar la extensión FoxyProxy en el navegador Mozilla Firefox.
Opción uno: configurar un túnel SSH utilizando el enrutamiento de puertos local
Si no desea utilizar un proxy SOCKS, puede configurar un túnel SSH al a través del enrutamiento de puertos local. El siguiente comando de ejemplo accede a la interfaz web ResourceManager de Amazon EC2 mediante el enrutamiento del tráfico por el puerto local 8157.
-
Abra una nueva ventana del símbolo del sistema.
-
Escriba el siguiente comando para abrir un túnel SSH.
ssh -imykeypair.pem-N -L 8157:YOUR_VPC_ENDPOINT_ID-vpce.us-east-1.airflow.amazonaws.com:443 ubuntu@YOUR_PUBLIC_IPV4_DNS.us-east-1.compute.amazonaws.com.rproxy.govskope.ca-Lhace referencia al uso de enrutamiento de puertos local que le permite especificar un puerto local usado para reenviar datos al puerto remoto identificado en el servidor web local del nodo. -
Introduzca
http://localhost:8157/en su navegador.nota
Es posible que necesite usar
https://localhost:8157/.
Opción dos: proxies con la línea de comandos
La mayoría de los navegadores web permiten configurar los proxies mediante una línea de comandos o un parámetro de configuración. Por ejemplo, con Chromium puede iniciar el navegador con el comando siguiente:
chromium --proxy-server="socks5://localhost:8157"
Esto inicia una sesión de navegador que utiliza el túnel SSH creado en los pasos anteriores para enviar sus solicitudes por proxy. Puede abrir la URL de su entorno privado de Amazon MWAA (con https://) de la siguiente manera:
https://YOUR_VPC_ENDPOINT_ID-vpce.us-east-1.airflow.amazonaws.com/home.
Opción tres: proxies que utilizan FoxyProxy para Mozilla Firefox
En el siguiente ejemplo se muestra una configuración de FoxyProxy Standard (versión 7.5.1) para Mozilla Firefox. FoxyProxy proporciona un conjunto de herramientas de administración de proxy. Le permite utilizar un servidor proxy para las URL que coincidan con los patrones correspondientes a los dominios utilizados por la interfaz de usuario de Apache Airflow.
-
En Firefox, abra la página de la extensión FoxyProxy Standard
. -
Seleccione Agregar a Firefox.
-
Elija Agregar.
-
Elija el icono de FoxyProxy en la barra de herramientas de su navegador y seleccione Opciones.
-
Copie el siguiente código y guárdelo localmente como
mwaa-proxy.json. Sustituya el valor de ejemplo deYOUR_HOST_NAMEpor la URL de Apache Airflow.{ "e0b7kh1606694837384": { "type": 3, "color": "#66cc66", "title": "airflow", "active": true, "address": "localhost", "port": 8157, "proxyDNS": false, "username": "", "password": "", "whitePatterns": [ { "title": "airflow-ui", "pattern": "YOUR_HOST_NAME", "type": 1, "protocols": 1, "active": true } ], "blackPatterns": [], "pacURL": "", "index": -1 }, "k20d21508277536715": { "active": true, "title": "Default", "notes": "These are the settings that are used when no patterns match a URL.", "color": "#0055E5", "type": 5, "whitePatterns": [ { "title": "all URLs", "active": true, "pattern": "*", "type": 1, "protocols": 1 } ], "blackPatterns": [], "index": 9007199254740991 }, "logging": { "active": true, "maxSize": 500 }, "mode": "patterns", "browserVersion": "82.0.3", "foxyProxyVersion": "7.5.1", "foxyProxyEdition": "standard" } -
En el panel Importar ajustes desde FoxyProxy 6.0+, seleccione Importar ajustes y seleccione el archivo
mwaa-proxy.json. -
Seleccione Aceptar.
Paso seis: abrir la interfaz de usuario de Apache Airflow
Los siguientes pasos describen cómo abrir la interfaz de usuario de Apache Airflow.
-
Abra la página Entornos
en la consola de Amazon MWAA. -
Elija Abrir interfaz de usuario de Airflow.
Siguientes pasos
-
Aprenda a ejecutar los comandos de la CLI de Airflow en un túnel SSH para un host bastión en Referencia de los comandos de la CLI de Apache Airflow.
-
Aprenda cómo cargar el código DAG a su bucket de Amazon S3 en Cómo añadir o actualizar DAG.