Configuration de votre cluster Amazon MSK et de votre réseau Amazon VPC pour Lambda

Pour connecter votre AWS Lambda fonction à votre cluster Amazon MSK, vous devez configurer correctement votre cluster et l'Amazon Virtual Private Cloud (VPC) dans lequel il réside. Cette page décrit comment configurer votre cluster et votre VPC. Si votre cluster et votre VPC sont déjà correctement configurés, reportez-vous Configuration de source d’événements Amazon MSK pour Lambda à la section pour configurer le mappage des sources d'événements.

Vue d'ensemble des exigences de configuration réseau pour les intégrations Lambda et MSK

La configuration réseau requise pour une intégration Lambda et MSK dépend de l'architecture réseau de votre application. Trois ressources principales sont impliquées dans cette intégration : le cluster Amazon MSK, la fonction Lambda et le mappage des sources d'événements Lambda. Chacune de ces ressources réside dans un VPC différent :

Le mappage des sources d'événements est la ressource intermédiaire entre le cluster MSK et la fonction Lambda. Le mappage des sources d'événements comporte deux tâches principales. Tout d'abord, il interroge votre cluster MSK à la recherche de nouveaux messages. Ensuite, il invoque votre fonction Lambda avec ces messages. Ces trois ressources étant différentes VPCs, les opérations d'interrogation et d'appel nécessitent des appels réseau inter-VPC.

Les exigences de configuration réseau pour le mappage de votre source d'événements varient selon qu'il utilise le mode provisionné ou le mode à la demande, comme le montre le schéma suivant :

La façon dont le mappage des sources d'événements Lambda interroge votre cluster MSK à la recherche de nouveaux messages est la même dans les deux modes. Pour établir une connexion entre le mappage de votre source d'événements et votre cluster MSK, Lambda crée un hyperplan ENI (ou réutilise un ENI existant, si disponible) dans votre sous-réseau privé afin d'établir une connexion sécurisée. Comme illustré dans le schéma, cet hyperplan ENI utilise la configuration du sous-réseau et du groupe de sécurité de votre cluster MSK, et non votre fonction Lambda.

Après avoir interrogé le message du cluster, la façon dont Lambda invoque votre fonction est différente dans chaque mode :

Une passerelle NAT permet aux ressources de votre sous-réseau privé d'accéder à l'Internet public. L'utilisation de cette configuration signifie que votre trafic traverse Internet avant d'appeler la fonction Lambda. AWS PrivateLink les points de terminaison permettent aux sous-réseaux privés de se connecter en toute sécurité à AWS des services ou à d'autres ressources VPC privées sans passer par l'Internet public. Consultez Configuration d'une passerelle NAT pour une source d'événements MSK ou Configuration des AWS PrivateLink points de terminaison pour une source d'événements MSK pour plus de détails sur la façon de configurer ces ressources.

Jusqu'à présent, nous avons supposé que votre cluster MSK résidait dans un sous-réseau privé au sein de votre VPC, ce qui est le cas le plus courant. Toutefois, même si votre cluster MSK se trouve dans un sous-réseau public de votre VPC, vous devez configurer les AWS PrivateLink points de terminaison pour activer une connexion sécurisée. Le tableau suivant résume les exigences de configuration réseau en fonction de la façon dont vous configurez votre cluster MSK et du mappage des sources d'événements Lambda :

En outre, les groupes de sécurité associés à votre cluster MSK doivent autoriser le trafic sur les ports appropriés. Assurez-vous que les règles de groupe de sécurité suivantes sont configurées :

Configuration d'une passerelle NAT pour une source d'événements MSK

Vous pouvez configurer une passerelle NAT pour permettre au mappage de votre source d'événements d'interroger les messages de votre cluster et d'appeler la fonction via un chemin via votre VPC. Cela n'est nécessaire que si le mappage de votre source d'événements utilise le mode à la demande et que votre cluster réside dans un sous-réseau privé de votre VPC. Si votre cluster réside dans un sous-réseau public de votre VPC, ou si le mappage des sources d'événements utilise le mode provisionné, vous n'avez pas besoin de configurer de passerelle NAT.

Une passerelle NAT permet aux ressources d'un sous-réseau privé d'accéder à l'Internet public. Si vous avez besoin d'une connectivité privée à Lambda, consultez Configuration des AWS PrivateLink points de terminaison pour une source d'événements MSK plutôt.

Après avoir configuré votre passerelle NAT, vous devez configurer les tables de routage appropriées. Cela permet au trafic provenant de votre sous-réseau privé d'être acheminé vers l'Internet public via la passerelle NAT.

Les étapes suivantes vous guident dans la configuration d'une passerelle NAT à l'aide de la console. Répétez ces étapes si nécessaire pour chaque zone de disponibilité (AZ).

Configuration des AWS PrivateLink points de terminaison pour une source d'événements MSK

Vous pouvez configurer des AWS PrivateLink points de terminaison pour interroger les messages de votre cluster et appeler la fonction via un chemin via votre VPC. Ces points de terminaison devraient permettre à votre cluster MSK d'accéder aux éléments suivants :

La configuration des PrivateLink points de terminaison n'est requise que si le mappage des sources d'événements utilise le mode à la demande. Si le mappage de votre source d'événements utilise le mode provisionné, Lambda établit les connexions requises pour vous.

PrivateLink les points de terminaison permettent un accès sécurisé et privé aux AWS services. AWS PrivateLink Vous pouvez également configurer une passerelle NAT afin de permettre à votre cluster MSK d'accéder à l'Internet public, voirConfiguration d'une passerelle NAT pour une source d'événements MSK.

Une fois que vous avez configuré vos points de terminaison VPC, votre cluster MSK doit disposer d'un accès direct et privé à Lambda, à STS et éventuellement à Secrets Manager.

Les étapes suivantes vous guident dans la configuration d'un PrivateLink point de terminaison à l'aide de la console. Répétez ces étapes si nécessaire pour chaque point de terminaison (Lambda, STS, Secrets Manager).

Par défaut, les points de terminaison Amazon VPC disposent de politiques IAM ouvertes qui permettent un accès étendu aux ressources. La meilleure pratique consiste à restreindre ces politiques pour effectuer les actions nécessaires à l’aide de ce point de terminaison. Par exemple, pour votre point de terminaison Secrets Manager, vous pouvez modifier sa politique de telle sorte qu'il autorise uniquement le rôle d'exécution de votre fonction à accéder au secret.

{
    "Statement": [
        {
            "Action": "secretsmanager:GetSecretValue",
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "arn:aws::iam::123456789012:role/my-role"
                ]
            },
            "Resource": "arn:aws::secretsmanager:us-west-2:123456789012:secret:my-secret"
        }
    ]
}

Pour les points de terminaison Lambda AWS STS et Lambda, vous pouvez limiter le principal appelant au principal de service Lambda. Cependant, assurez-vous de l'utiliser "Resource": "*" dans ces politiques.

{
    "Statement": [
        {
            "Action": "sts:AssumeRole",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "lambda.amazonaws.com"
                ]
            },
            "Resource": "*"
        }
    ]
} 

{
    "Statement": [
        {
            "Action": "lambda:InvokeFunction",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "lambda.amazonaws.com"
                ]
            },
            "Resource": "*"
        }
    ]
}