View a markdown version of this page

Esegui la migrazione da cluster Apache Kafka non MSK ad Amazon MSK Provisioned - Amazon Managed Streaming per Apache Kafka

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esegui la migrazione da cluster Apache Kafka non MSK ad Amazon MSK Provisioned

Puoi utilizzare MSK Replicator per migrare carichi di lavoro Apache Kafka da ambienti autogestiti a cluster Amazon MSK Provisioned. MSK Replicator supporta la migrazione dei dati da implementazioni Kafka (Kafka versione 2.8.1 o successiva) in cui è abilitata l'autenticazione reciproca TLS (MTLS) o (OAuth). SASL/SCRAM SASL/OAUTHBEARER

Nota

SASL/SCRAM, MTLS o SASL/OAUTHBEARER autenticazione sono necessari solo per consentire a MSK Replicator di connettersi al cluster Kafka autogestito. Le applicazioni client possono continuare a utilizzare i meccanismi di autenticazione esistenti.

Prerequisiti

Prima di iniziare, assicurati di avere quanto segue:

  1. Cluster Apache Kafka di origine con versione 2.8.1 o successiva

  2. SASL/SCRAM, MTL o SASL/OAUTHBEARER autenticazione abilitata nel cluster di origine

  3. Crittografia SSL configurata sul cluster di origine

  4. Connettività di rete tramite AWS Site-to-Site VPN o AWS Direct Connect

  5. Sottoreti VPC configurate per l'accesso a Secrets Manager

Per istruzioni dettagliate, vedi Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Passaggio 1: creazione di un cluster Amazon MSK Provisioned

Crea un cluster MSK Provisioned con l'autenticazione IAM abilitata. Minimo tre broker su tre AZ. Consulta Preparare il cluster di destinazione.

Fase 2: Creare un ruolo di esecuzione IAM

Allega la policy AWSMSKReplicatorExecutionRole gestita e configura la policy di trust perkafka.amazonaws.com. Aggiungi le autorizzazioni in linea per AWS Secrets Manager (e AWS KMS se i tuoi segreti lo sono CMK-encrypted) per. Autorizzazioni SER aggiuntive per MTL SASL/SCRAM e chiavi gestite dal SASL/OAUTHBEARER cliente Consulta Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Fase 3: Configurazione SASL/SCRAM, MTLs o SASL/OAUTHBEARER, e SSL su un cluster autogestito

Configura l'autenticazione sul tuo cluster autogestito. Per SASL/SCRAM, crea un utente SCRAM dedicato con le autorizzazioni ACL richieste. Per gli MTL, configura un listener SSL con autenticazione tramite certificato client. Per SASL/OAUTHBEARER, configura i tuoi broker per OAUTHBEARER e registra il provider di identità (IDP) che vende i token di accesso. Configura i certificati SSL. Consulta Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Fase 4: Archivia le credenziali in AWS Secrets Manager

Crea un segreto con le coppie chiave-valore appropriate per il tuo tipo di autenticazione. Per SASL/SCRAMusername, includi e password certificate campi. Per gli MTL, include privateKey i campi certificate e (e facoltativamente privateKeyPassword per le chiavi private crittografate). Per SASL/OAUTHBEARER utilizzare il meccanismo delle credenziali del cliente, client_id includi e fields. client_secret Consulta Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Fase 5: Creare il replicatore

Usa l'CreateReplicatorAPI con posizione EARLIEST iniziale, replica del nome dell'argomento identico e synchroniseConsumerGroupOffsets impostata su. true Il principale IAM che chiama CreateReplicator deve disporre delle autorizzazioni API per i chiamanti descritte in. Le autorizzazioni IAM sono necessarie per creare un MSK Replicator Se prevedi di configurare la replica bidirezionale per la funzionalità di rollback (Fase 6), impostala anche ENHANCED sui replicatori diretti e consumerGroupOffsetSyncMode inversi. Attendi circa 30 minuti affinché il Replicator raggiunga lo stato RUNNING. Consulta CreateReplicator Esempi di API per cluster Kafka autogestiti.

Fase 6: (Facoltativo) Configurare la replica bidirezionale

Crea un replicatore inverso dal cluster MSK Provisioned al cluster autogestito per le funzionalità di rollback. Identifica entrambi i cluster nel replicatore inverso esattamente come li hai identificati nel replicatore diretto. Consulta Esempio di replica bidirezionale.

Fase 7: monitoraggio dell'avanzamento della replica

Monitora le seguenti metriche:

  • MessageLag(dovrebbe raggiungere 0)

  • ReplicationLatency

  • ConsumerGroupOffsetSyncFailure(dovrebbe essere 0)

  • ConsumerGroupCount

  • OffsetLag (MSK Cluster) e OffsetLag (Non-MSK Cluster)

Per ulteriori informazioni, consulta Monitoraggio della replica.

Fase 8: migrazione delle applicazioni

Segui questi passaggi per migrare le tue applicazioni:

  1. Impedisci ai produttori di scrivere su cluster autogestiti

  2. Riconfigura i produttori in base al cluster MSK Provisioned con l'autenticazione IAM

  3. Monitora MessageLag fino a raggiungere 0

  4. Blocca i consumatori che utilizzano un cluster autogestito

  5. Riconfigura i consumatori in base al cluster MSK Provisioned

Fase 9: (Facoltativo) Ripristino del cluster autogestito

Se è stata configurata la replica bidirezionale, è possibile invertire i passaggi di migrazione per tornare al cluster autogestito. Il replicatore inverso (MSK Provisioned → External) manterrà sincronizzato il cluster autogestito, in modo che i consumatori possano essere reindirizzati indietro senza perdita di dati.