Creazione di una connessione Kafka - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di una connessione Kafka

Quando crei una connessione Kafka, selezionando Kafka dal menu a discesa visualizzerai impostazioni aggiuntive da configurare:

  • Dettagli del cluster Kafka

  • Autenticazione

  • Crittografia

  • Opzioni di rete

Configurazione dei dettagli del cluster Kafka

  1. Scegli la posizione del cluster. Puoi scegliere tra un cluster Amazon Managed Streaming for Apache Kafka (MSK) o un cluster Apache Kafka gestito dal cliente. Per ulteriori informazioni sullo streaming Amazon Managed for Apache Kafka, consulta Amazon Managed Streaming for Apache Kafka (MSK).

    Nota

    Amazon Streaming gestito per Apache Kafka supporta solo i metodi di autenticazione TLS e SASL/SCRAM-SHA-512.

    Lo screenshot mostra la sezione dei dettagli del cluster Kafka con le opzioni per selezionare una posizione per il cluster e inserire gli URL del server boostrap Kafka.

  2. Inserisci gli URL per i server bootstrap Kafka. È possibile inserirne più di uno separando ciascun server con una virgola. Includi il numero della porta alla fine dell'URL aggiungendo :<port number>.

    Ad esempio: b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094

Selezionare i metodi di autenticazione

Lo screenshot mostra il menu a discesa per la selezione di un metodo di autenticazione Kafka.

AWS Glue supporta il framework Simple Authentication Security Layer (SASL) per l'autenticazione. Il framework SASL supporta vari meccanismi di autenticazione e AWS Glue offre i protocolli SCRAM (nome utente e password), GSSAPI (protocollo Kerberos) e PLAIN (nome utente e password).

Quando si sceglie un metodo di autenticazione dal menu a discesa, è possibile selezionare i seguenti metodi di autenticazione client:

  • Nessuno: nessuna autenticazione. Questo è utile se si crea una connessione a scopo di test.

  • SASL/SCRAM-SHA-512: scegli questo metodo di autenticazione per specificare le credenziali di autenticazione. Sono disponibili due opzioni:

    • Utilizza AWS Secrets Manager (consigliato): selezionando questa opzione, puoi memorizzare le credenziali in AWS Secrets Manager e consentire a AWS Glue di accedere alle informazioni quando necessario. Specifica il segreto che memorizza le credenziali di autenticazione SSL o SASL.

      Lo screenshot mostra le opzioni per le credenziali di autenticazione se il metodo di autenticazione è SASL/SCRAM-SHA-512.

    • Fornisci direttamente nome utente e password.

  • SASL/GSSAPI (Kerberos): selezionando questa opzione, è possibile selezionare la posizione del file keytab, il file krb5.conf e inserire il nome principale Kerberos e il nome del servizio Kerberos. Le posizioni per il file keytab e il file krb5.conf devono trovarsi in una posizione Amazon S3. Poiché MSK non supporta ancora SASL/GSSAPI, questa opzione è disponibile solo per i cluster Apache Kafka gestiti dal cliente. Per ulteriori informazioni, consulta la Documentazione di MIT Kerberos: keytab.

  • SASL/PLAIN: scegli questo metodo di autenticazione per specificare le credenziali di autenticazione. Sono disponibili due opzioni:

    • Utilizza AWS Secrets Manager (consigliato): selezionando questa opzione, puoi memorizzare le credenziali in AWS Secrets Manager e consentire a AWS Glue di accedere alle informazioni quando necessario. Specifica il segreto che memorizza le credenziali di autenticazione SSL o SASL.

    • Fornisci direttamente nome utente e password.

  • Autenticazione client SSL: se selezioni questa opzione, puoi selezionare la posizione del keystore del client Kafka navigando in Amazon S3. Facoltativamente, è possibile inserire la password del keystore del client Kafka e la password della chiave del client Kafka.

Lo screenshot mostra l'opzione di crittografia se SSL è il metodo di autenticazione.

Configurazione delle impostazioni di crittografia

  1. Se la connessione Kafka richiede una connessione SSL, seleziona la casella di controllo per Require SSL connection (Connessione SSL necessaria). Tieni presente che la connessione non riesce se non può connettersi tramite SSL. SSL per la crittografia può essere utilizzato con qualsiasi metodo di autenticazione (ASL/SCRAM-SHA-512, SASL/GSSAPI, SASL/PLAIN o autenticazione client SSL) ed è facoltativo.

    Se il metodo di autenticazione è impostato su Autenticazione client SSL, questa opzione verrà selezionata automaticamente e sarà disabilitata per impedire qualsiasi modifica.

  2. (Facoltativo). Scegli la posizione del certificato privato dell'autorità di certificazione (CA). Tieni presente che la posizione della certificazione deve trovarsi in una sede S3. Scegli Browse (Sfoglia) per scegliere il file da un bucket S3 collegato. Il percorso deve essere nel formato s3://bucket/prefix/filename.pem. Deve terminare con il nome del file e l'estensione .pem.

  3. È possibile scegliere di saltare la convalida del certificato da un'autorità di certificazione (CA). Scegli la casella di controlloSkip validation of certificate from certificate authority (CA) (Salta la convalida del certificato da un'autorità di certificazione [CA]). Se questa casella non è selezionata, AWS Glue convalida i certificati per tre algoritmi:

    • SHA256withRSA

    • SHA384 con RSA

    • SHA512withRSA

Lo screenshot mostra le opzioni per la configurazione della crittografia, tra cui se richiedere o meno la connessione SSL, l'opzione per selezionare la posizione del certificato privato dall'autorità di certificazione (CA) e l'opzione per saltare la convalida del certificato dall'autorità di certificazione (CA).

(Facoltativo) Opzioni di rete

Di seguito sono riportate i passaggi opzionali per configurare VPC, sottorete e gruppi di sicurezza. Se il processo AWS Glue deve essere eseguito su istanze Amazon EC2 in una sottorete di cloud privato virtuale (VPC), è necessario fornire ulteriori informazioni di configurazione specifiche per il VPC.

  1. Scegli il VPC (cloud privato virtuale) che contiene l'origine dati.

  2. Scegli la sottorete nel VPC.

  3. Scegli uno o più gruppi di sicurezza per consentire l'accesso all'archivio dati nella sottorete VPC. I gruppi di sicurezza sono associati all'ENI collegata alla sottorete. È necessario scegliere almeno un gruppo di sicurezza con una regola in entrata autoreferenziale per tutte le porte TCP.

Lo screenshot mostra le opzioni di rete facoltative per VPC, sottorete e gruppi di sicurezza.