Configurazione del cluster Amazon MSK e della rete Amazon VPC per Lambda

Per connettere la tua AWS Lambda funzione al tuo cluster Amazon MSK, devi configurare correttamente il cluster e l'Amazon Virtual Private Cloud (VPC) in cui risiede. Questa pagina descrive come configurare il cluster e il VPC. Se il cluster e il VPC sono già configurati correttamente, consulta Configurazione delle origini eventi di Amazon MSK per Lambda per configurare la mappatura dell'origine degli eventi.

Panoramica dei requisiti di configurazione di rete per le integrazioni Lambda e MSK

La configurazione di rete richiesta per un'integrazione tra Lambda e MSK dipende dall'architettura di rete dell'applicazione. Sono tre le risorse principali coinvolte in questa integrazione: il cluster Amazon MSK, la funzione Lambda e la mappatura delle sorgenti di eventi Lambda. Ognuna di queste risorse risiede in un VPC diverso:

La mappatura dell'origine degli eventi è la risorsa intermediaria tra il cluster MSK e la funzione Lambda. La mappatura dell'origine degli eventi ha due funzioni principali. Innanzitutto, esegue il polling del cluster MSK per verificare la presenza di nuovi messaggi. Quindi, richiama la funzione Lambda con quei messaggi. Poiché queste tre risorse si trovano in VPC diversi, sia le operazioni di polling che di invoke richiedono chiamate di rete tra VPC.

I requisiti di configurazione di rete per la mappatura dell'origine degli eventi dipendono dal fatto che utilizzi la modalità provisioned o la modalità on-demand, come mostrato nel diagramma seguente:

Il modo in cui la mappatura delle sorgenti di eventi Lambda esegue il polling del cluster MSK per individuare nuovi messaggi è lo stesso in entrambe le modalità. Per stabilire una connessione tra la mappatura dell'origine degli eventi e il cluster MSK, Lambda crea un ENI iperpiano (o ne riutilizza uno esistente, se disponibile) nella sottorete privata per stabilire una connessione sicura. Come illustrato nel diagramma, questo iperpiano ENI utilizza la configurazione della sottorete e del gruppo di sicurezza del cluster MSK, non della funzione Lambda.

Dopo aver analizzato il messaggio dal cluster, il modo in cui Lambda richiama la funzione è diverso in ciascuna modalità:

Un gateway NAT consente alle risorse della sottorete privata di accedere alla rete Internet pubblica. L'utilizzo di questa configurazione significa che il traffico attraversa Internet prima di richiamare la funzione Lambda. AWS PrivateLink gli endpoint consentono alle sottoreti private di connettersi in modo sicuro a AWS servizi o altre risorse VPC private senza attraversare la rete Internet pubblica. Consulta Configurazione di un gateway NAT per una sorgente di eventi MSK o Configurazione AWS PrivateLink endpoint per una sorgente di eventi MSK per i dettagli su come configurare queste risorse.

Finora, abbiamo ipotizzato che il cluster MSK risieda in una sottorete privata all'interno del VPC, che è il caso più comune. Tuttavia, anche se il cluster MSK si trova in una sottorete pubblica all'interno del VPC, è necessario configurare AWS PrivateLink gli endpoint per abilitare una connessione sicura. La tabella seguente riassume i requisiti di configurazione di rete in base alla configurazione del cluster MSK e alla mappatura delle sorgenti di eventi Lambda:

Inoltre, i gruppi di sicurezza associati al cluster MSK devono consentire il traffico sulle porte corrette. Assicurati di aver configurato le seguenti regole del gruppo di sicurezza:

Configurazione di un gateway NAT per una sorgente di eventi MSK

È possibile configurare un gateway NAT per consentire alla mappatura della sorgente degli eventi di interrogare i messaggi dal cluster e richiamare la funzione utilizzando un percorso attraverso il VPC. Ciò è necessario solo se la mappatura dell'origine degli eventi utilizza la modalità su richiesta e il cluster risiede all'interno di una sottorete privata del VPC. Se il cluster risiede in una sottorete pubblica del VPC o la mappatura dell'origine degli eventi utilizza la modalità provisioned, non è necessario configurare un gateway NAT.

Le risorse in una sottorete privata richiedono un gateway NAT per accedere alla rete Internet pubblica. Se hai bisogno di una connettività privata a Lambda, consulta invece. Configurazione AWS PrivateLink endpoint per una sorgente di eventi MSK

Dopo aver configurato il gateway NAT, è necessario configurare le tabelle di routing appropriate. Ciò consente al traffico proveniente dalla sottorete privata di essere indirizzato alla rete Internet pubblica tramite il gateway NAT.

I passaggi seguenti guidano l'utente nella configurazione di un gateway NAT tramite la console. Ripetere questi passaggi se necessario per ciascuna zona di disponibilità (AZ).

Configurazione AWS PrivateLink endpoint per una sorgente di eventi MSK

Puoi configurare gli AWS PrivateLink endpoint per interrogare i messaggi dal tuo cluster e richiamare la funzione utilizzando un percorso attraverso il tuo VPC. Questi endpoint dovrebbero consentire al cluster MSK di accedere a quanto segue:

La configurazione PrivateLink degli endpoint è richiesta solo se la mappatura dell'origine degli eventi utilizza la modalità su richiesta. Se la mappatura dell'origine degli eventi utilizza la modalità provisioned, Lambda stabilisce le connessioni richieste per te.

PrivateLink gli endpoint consentono un accesso sicuro e privato ai servizi tramite. AWS AWS PrivateLink In alternativa, per configurare un gateway NAT per consentire al cluster MSK di accedere alla rete Internet pubblica, consulta. Configurazione di un gateway NAT per una sorgente di eventi MSK

Dopo aver configurato gli endpoint VPC, il cluster MSK dovrebbe avere accesso diretto e privato a Lambda, STS e, facoltativamente, a Secrets Manager.

I passaggi seguenti guidano l'utente nella configurazione di un PrivateLink endpoint tramite la console. Ripeti questi passaggi se necessario per ciascun endpoint (Lambda, STS, Secrets Manager).

Per impostazione predefinita, gli endpoint Amazon VPC dispongono di policy IAM aperte che consentono un ampio accesso alle risorse. La best practice consiste nel limitare queste policy per eseguire le azioni necessarie utilizzando quell'endpoint. Ad esempio, per il tuo endpoint Secrets Manager, puoi modificarne la politica in modo che consenta solo il ruolo di esecuzione della tua funzione di accedere al segreto.

{
    "Statement": [
        {
            "Action": "secretsmanager:GetSecretValue",
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "arn:aws::iam::123456789012:role/my-role"
                ]
            },
            "Resource": "arn:aws::secretsmanager:us-west-2:123456789012:secret:my-secret"
        }
    ]
}

Per gli endpoint Lambda AWS STS e Lambda, è possibile limitare il principale chiamante al principale del servizio Lambda. Tuttavia, assicurati di utilizzarlo "Resource": "*" in queste politiche.

{
    "Statement": [
        {
            "Action": "sts:AssumeRole",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "lambda.amazonaws.com"
                ]
            },
            "Resource": "*"
        }
    ]
} 

{
    "Statement": [
        {
            "Action": "lambda:InvokeFunction",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "lambda.amazonaws.com"
                ]
            },
            "Resource": "*"
        }
    ]
}