Configuración del clúster de Amazon MSK y la red de Amazon VPC para Lambda

Para conectar la función de AWS Lambda al clúster de Amazon MSK, debe configurar correctamente tanto el clúster como la Amazon Virtual Private Cloud (VPC) en la que se encuentra. En esta página se describe cómo configurar el clúster y la VPC. Si el clúster y la VPC ya están configurados correctamente, consulte Configuración de orígenes de eventos de Amazon MSK para Lambda para configurar la asignación de orígenes de eventos.

Descripción general de los requisitos de configuración de red para las integraciones de Lambda y MSK

La configuración de red necesaria para la integración de Lambda y MSK depende de la arquitectura de red de su aplicación. Esta integración implica tres recursos principales: el clúster de Amazon MSK, la función de Lambda y la asignación de orígenes de eventos de Lambda. Cada uno de estos recursos se encuentra en una VPC diferente:

La asignación de orígenes de eventos es el recurso intermediario entre el clúster de MSK y la función de Lambda. La asignación de orígenes de eventos tiene dos funciones principales. En primer lugar, sondea su clúster de MSK en busca de mensajes nuevos. A continuación, invoca su función de Lambda con esos mensajes. Dado que estos tres recursos se encuentran en VPC diferentes, tanto las operaciones de sondeo como las de invocación requieren llamadas de red entre VPC.

Los requisitos de configuración de red para su asignación de orígenes de eventos dependen de si utiliza el modo aprovisionado o el modo bajo demanda, como se muestra en el siguiente diagrama:

La forma en que la asignación de orígenes de eventos de Lambda sondea el clúster de MSK en busca de nuevos mensajes es la misma en ambos modos. Para establecer una conexión entre la asignación de orígenes de eventos y el clúster de MSK, Lambda crea una ENI de hiperplano (o reutiliza una existente, si está disponible) en su subred privada para establecer una conexión segura. Como se muestra en el diagrama, esta ENI de hiperplano utiliza la configuración de subredes y grupos de seguridad del clúster de MSK, no la de su función de Lambda.

Tras sondear el mensaje del clúster, la forma en que Lambda invoca su función es diferente en cada modo:

Una puerta de enlace de NAT permite a los recursos de su subred privada acceder a la Internet pública. El uso de esta configuración significa que el tráfico atraviesa Internet antes de invocar la función de Lambda. Los puntos de conexión de AWS PrivateLink permiten que las subredes privadas se conecten de forma segura a servicios de AWS u otros recursos de VPC privados sin atravesar la Internet pública. Consulte Configuración de una puerta de enlace de NAT para un origen de eventos de MSK o Configuración de puntos de conexión de AWS PrivateLink para un origen de eventos de MSK para obtener detalles sobre cómo configurar estos recursos.

Hasta ahora, asumimos que el clúster de MSK reside en una subred privada dentro de la VPC, que es el caso más común. Sin embargo, incluso si el clúster de MSK se encuentra en una subred pública dentro de la VPC, debe configurar los puntos de conexión de AWS PrivateLink para permitir una conexión segura. En la siguiente tabla se resumen los requisitos de configuración de red en función de cómo configure el clúster de MSK y la asignación de orígenes de eventos de Lambda:

Además, los grupos de seguridad asociados a su clúster de MSK deben permitir el tráfico a través de los puertos correctos. Asegúrese de tener configuradas las siguientes reglas de grupos de seguridad:

Configuración de una puerta de enlace de NAT para un origen de eventos de MSK

Puede configurar una puerta de enlace de NAT para permitir que la asignación de orígenes de eventos sondee los mensajes de su clúster e invoque la función a través de una ruta por su VPC. Esto solo es necesario si la asignación de orígenes de eventos utiliza el modo bajo demanda y el clúster reside en una subred privada de su VPC. Si el clúster reside en una subred pública de su VPC o si la asignación de orígenes de eventos utiliza el modo aprovisionado, no es necesario configurar una puerta de enlace de NAT.

Una puerta de enlace de NAT permite a los recursos de una subred privada acceder a la Internet pública. Si necesita conectividad privada con Lambda, consulte Configuración de puntos de conexión de AWS PrivateLink para un origen de eventos de MSK como alternativa.

Después de configurar la puerta de enlace de NAT, debe configurar las tablas de enrutamiento adecuadas. Esto permite que el tráfico desde su subred privada se dirija a la Internet pública a través de la puerta de enlace de NAT.

Los pasos siguientes le guiarán a través de la configuración de una puerta de enlace de NAT con la consola. Repita estos pasos según sea necesario para cada zona de disponibilidad (AZ).

Configuración de puntos de conexión de AWS PrivateLink para un origen de eventos de MSK

Puede configurar los puntos de conexión de AWS PrivateLink para sondear los mensajes de su clúster e invocar la función a través de una ruta en su VPC. Estos puntos de conexión deberían permitir que su clúster de MSK acceda a lo siguiente:

La configuración de los puntos de conexión de PrivateLink solo es obligatoria si la asignación de orígenes de eventos utiliza el modo bajo demanda. Si la asignación de orígenes de eventos utiliza el modo aprovisionado, Lambda establece las conexiones que necesita.

Los puntos de conexión de PrivateLink permiten un acceso seguro y privado a los servicios de AWS a través de AWS PrivateLink. Como alternativa, para configurar una puerta de enlace de NAT que dé acceso a su clúster de MSK a la Internet pública, consulte Configuración de una puerta de enlace de NAT para un origen de eventos de MSK.

Tras configurar los puntos de conexión de VPC, el clúster de MSK debe tener acceso directo y privado a Lambda, STS y, opcionalmente, Secrets Manager.

Los pasos siguientes le guiarán a través de la configuración de un punto de conexión de PrivateLink con la consola. Repita estos pasos según sea necesario para cada punto de conexión (Lambda, STS, Secrets Manager).

De forma predeterminada, los puntos de conexión de VPC de Amazon tienen políticas de IAM abiertas que permiten un amplio acceso a los recursos. La práctica recomendada es restringir estas políticas para realizar las acciones necesarias mediante ese punto de conexión. Por ejemplo, para su punto de conexión de Secrets Manager, puede modificar su política de manera que solo permita que el rol de ejecución de su función acceda al secreto.

{
    "Statement": [
        {
            "Action": "secretsmanager:GetSecretValue",
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "arn:aws::iam::123456789012:role/my-role"
                ]
            },
            "Resource": "arn:aws::secretsmanager:us-west-2:123456789012:secret:my-secret"
        }
    ]
}

Para los puntos de conexión de AWS STS y Lambda, puede restringir la entidad principal de llamada a la entidad principal del servicio de Lambda. Sin embargo, asegúrese de utilizar "Resource": "*" en estas políticas.

{
    "Statement": [
        {
            "Action": "sts:AssumeRole",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "lambda.amazonaws.com"
                ]
            },
            "Resource": "*"
        }
    ]
} 

{
    "Statement": [
        {
            "Action": "lambda:InvokeFunction",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "lambda.amazonaws.com"
                ]
            },
            "Resource": "*"
        }
    ]
}