Script di convalida della migrazione - Amazon Timestream

Per funzionalità simili a Amazon Timestream for, prendi in considerazione Amazon Timestream LiveAnalytics per InfluxDB. Offre un'acquisizione semplificata dei dati e tempi di risposta alle query di una sola cifra di millisecondi per analisi in tempo reale. Scopri di più qui.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Script di convalida della migrazione

Lo script di convalida confronta i row/point conteggi logici tra una tabella di origine (Amazon Timestream o Amazon Athena) e una misurazione del bucket InfluxDB, con specifiche dell'intervallo di tempo opzionali. Questo strumento aiuta a garantire l'integrità dei dati durante i processi di migrazione eseguendo query parallele su entrambi i sistemi e confrontando i risultati.

Lo script di convalida supporta le interrogazioni sul set di dati esportato in Athena o sul database/tabella Timestream originale. Tieni presente che interrogare direttamente Timestream può portare a confronti imprecisi se i dati sono stati scritti dopo l'esportazione. Lo script di convalida può essere eseguito in qualsiasi momento dopo l'inizio dell'ingestione. Innanzitutto esegue un sondaggio sull'endpoint delle metriche di InfluxDB per attendere che il WAL (Write-Ahead Log) si svuoti completamente, assicurando che tutta l'elaborazione dei dati, inclusa la fusione e la deduplicazione dei file dopo l'ingestione, sia terminata. Lo script esegue quindi query di solo conteggio su finestre temporali identiche, confrontando i risultati per evidenziare corrispondenze o mancate corrispondenze. Supporta il schema/tag filtraggio opzionale per gli schemi trasformati in cui le dimensioni vengono utilizzate come campi e produce riepiloghi dei tempi e dei risultati leggibili dall'uomo per facilitare la convalida del processo di migrazione.

Prerequisiti e installazione

Vedi la sezione relativa ai prerequisiti e all'installazione nel file README dello script di convalida della migrazione.

Utilizzo

python validator.py [options]

Tutte le impostazioni possono essere fornite come flag CLI o variabili di ambiente. Vedi il file example.env all'interno del repository.

Per la risoluzione dei problemi e i consigli, consultate il file README dello script di convalida della migrazione.

Pulizia

Al termine della migrazione, resources/artifacts verrà creato quanto segue:

  • Una tabella Athena, contenente Timestream per i dati. LiveAnalytics Per impostazione predefinita, è <Timestream database name>_ <Timestream table name>nel database Athena predefinito.

  • Una tabella Athena, contenente i dati del protocollo di linea trasformati. Per impostazione predefinita, è lp_ <Athena table name>nel database Athena predefinito.

  • Linea i dati del protocollo all'interno del bucket S3, con il percorso<Timestream database name>/<Timestream table name>/unload- <%y-%m-%d-%H: %M: %S>/. line-protocol-output

  • Dati scaricati creati come LiveAnalytics parte dello strumento di esportazione Timestream for.

  • Dati e registri scaricati sull'istanza. EC2

  • Tabella DynamoDB se utilizzata per la registrazione come parte dello strumento Timestream for export. LiveAnalytics

Ripulire le risorse di Athena

Per eliminare qualsiasi tabella Athena, esegui il seguente comando AWS CLI, sostituendolo <Athena table name>con il nome della tabella che desideri eliminare e <Athena database name>con il nome del database Athena in cui risiede la tabella:

aws glue delete-table \
    --database-name <Athena database name> \
    --name <Athena table name>

Pulizia delle risorse S3

Per eliminare i dati del protocollo di linea all'interno del bucket S3, esegui il seguente comando AWS CLI, sostituendolo <S3 bucket name>con il nome del bucket S3, con il nome del Timestream per il <Timestream database name> LiveAnalytics database, con il nome del Timestream per la <Timestream table name> LiveAnalytics tabella e <timestamp>con il timestamp che forma il percorso UNLOAD-<%y-%m-%d-%H: %M: %S> nel bucket S3:

aws s3 rm \
    s3://<S3 bucket name>/<Timestream database name>/<Timestream table name>/unload-<timestamp>/line-protocol-output \
    --recursive

Per eliminare un bucket S3, esegui il comando seguente, sostituendolo <S3 bucket name>con il nome del bucket S3:

aws s3 delete-bucket --bucket <S3 bucket name>

Pulizia delle risorse DynamoDB

Per eliminare una tabella DynamoDB, esegui il comando seguente, <table name>sostituendolo con il nome della tabella DynamoDB che desideri eliminare:

aws dynamodb delete-table --table-name <table name>