View a markdown version of this page

Esegui la migrazione da KCL 3.x al formato a tabella singola - Flusso di dati Amazon Kinesis

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esegui la migrazione da KCL 3.x al formato a tabella singola

Se esegui KCL 3.x con tutte e tre le tabelle di metadati DynamoDB (lease table, worker metrics table e coordinator state table), puoi migrare al formato a tabella singola per consolidare tutti i metadati nella tabella di lease.

Prerequisiti

  • L'applicazione esegue KCL 3.x con tutte e tre le tabelle di metadati.

  • L'applicazione è stabile e tutti i lavoratori sono sani.

  • L'applicazione ha terminato la migrazione a KCL 3.x e non è configurata. CoordinatorConfig.clientVersionConfig Non eseguire contemporaneamente la migrazione della tabella e la migrazione della versione del client da 2.x a 3.x.

Per migrare da KCL 3.x al formato a tabella singola, segui il processo di distribuzione in due fasi

  1. Fase 1: aggiorna la dipendenza del progetto a KCL 3.5 o versione successiva. Distribuisci con migrateAllEntitiesToLeaseTable set to false (impostazione predefinita). Questa distribuzione installa il nuovo codice che supporta il formato a tabella singola ma non attiva la migrazione.

  2. Attendi il completamento della distribuzione su tutti i lavoratori. Monitora l'ingresso dello stato del TableMigration3.5 coordinatore fino al TableMigrationStatus raggiungimento DEPLOYED del limite. Verificate che non vi siano regressioni e concedete un tempo di cottura sufficiente.

  3. Fase 2: Esegui nuovamente la distribuzione con migrateAllEntitiesToLeaseTable set to. true Questa distribuzione avvia la migrazione al formato a tabella singola.

  4. Monitora ilTableMigrationStatus. Il lavoratore leader fa avanzare lo stato tramite DEPLOYED, PENDING e COMPLETE.

  5. Una volta raggiunto lo stato COMPLETE, verificate che non vi siano regressioni e concedete un ulteriore tempo di cottura per assicurarvi che non siano necessari rollback.

  6. Elimina manualmente le vecchie metriche dei lavoratori e le tabelle degli stati dei coordinatori. KCL non elimina queste tabelle automaticamente, ma smette solo di usarle. Se hai configurato CoordinatorConfig.coordinatorStateTableConfig oLeaseManagementConfig.workerUtilizationAwareAssignmentConfig.workerMetricsTableConfig, puoi rimuovere queste configurazioni poiché sono obsolete.

Importante

Non ripristinate l'applicazione dopo che la migrazione ha raggiunto lo stato COMPLETE. Dopo COMPLETE, l'applicazione funziona esclusivamente in modalità a tabella singola. Anche un rollback del codice alla Fase 1 non consente di tornare a più tabelle: la configurazione viene ignorata e l'applicazione continua a utilizzare solo la tabella di lease.

Per dettagli sugli stati di migrazione e sulle opzioni di rollback, consulta. Formato a tabella singola per KCL