Esportazione di dati Timestream su Amazon S3

Indipendentemente dal servizio di destinazione per la migrazione, ti consigliamo di seguire le migliori pratiche riportate di seguito per esportare il tuo Timestream per i dati LiveAnalytics su Amazon S3, creando un livello di storage intermedio durevole che funga da base per la successiva acquisizione specifica del database.

Per esportare in modo affidabile i dati da Timestream per le LiveAnalytics tabelle ad Amazon S3, consigliamo di utilizzare lo strumento Timestream for LiveAnalytics export, che utilizza la funzionalità Timestream UNLOAD, progettata per esportazioni di dati su larga scala.

Timestream per lo strumento di esportazione LiveAnalytics

Strategia di suddivisione in blocchi basata sul tempo

La suddivisione in blocchi temporali è essenziale per la migrazione di grandi volumi di dati di serie temporali. Questo approccio suddivide il processo di esportazione in unità gestibili che possono essere elaborate in modo indipendente e riprovate in caso di errori, riducendo significativamente i rischi di migrazione. Crea punti di controllo per facilitare il monitoraggio dei progressi e aggiunge la possibilità di riprendere dopo le interruzioni. Per le organizzazioni con acquisizione continua di dati, ciò consente di esportare i dati più recenti in blocchi di tempo separati, garantendo un migliore coordinamento tra le operazioni in corso e la migrazione. Lo strumento utilizza la suddivisione in blocchi giornalieri, archiviando i dati di ogni giorno con il prefisso del bucket S3 per una gestione efficiente. Inoltre, la suddivisione in blocchi può essere basata su ora, giorno, mese o anno.

Monitoraggio della migrazione

Lo strumento offre un'opzione per acquisire le statistiche sulla migrazione in una tabella DynamoDB, tracciando metriche come le configurazioni utilizzate, i record esportati e altri punti dati per convalidare la completezza della migrazione. Consigliamo di monitorare attentamente queste metriche durante la migrazione e la convalida. Puoi anche utilizzare la registrazione fornita nello script di orchestrazione, per acquisire i timestamp di esecuzione, i limiti dei blocchi e qualsiasi condizione di errore riscontrata. Lo strumento fornisce anche una notifica SNS se si desidera integrare il sistema downstream per intervenire in caso di guasti.

Raccomandazioni e best practice

Lo strumento Timestream for LiveAnalytics export offre una soluzione flessibile e robusta per esportare dati su S3 con varie opzioni di configurazione personalizzate in base ai requisiti del sistema di destinazione. Se il tuo obiettivo è Timestream for InfluxDB, usa il formato Parquet senza compressione per garantire la compatibilità con gli script di ingestione. Per un tracciamento e un monitoraggio ottimali, abilita la registrazione di DynamoDB e configura le notifiche SNS per ricevere avvisi su errori o completamenti delle esportazioni.

Lo strumento sfrutta la funzionalità Timestream for LiveAnalytics UNLOAD superando al contempo i limiti della partizione per le query esportando automaticamente i dati in batch in base all'intervallo di tempo specificato. È possibile personalizzare il partizionamento dei dati per ora, giorno, mese o anno, come impostazione predefinita il giorno. Ogni partizione deve rimanere al di sotto di circa 350 GB per evitare errori relativi alla memoria, come il calcolo delle query che supera la memoria massima disponibile. Ad esempio, se i dati annuali superano i 350 GB, valuta la possibilità di utilizzare partizioni mensili o opzioni ancora più granulari come il partizionamento giornaliero o orario. Se scegli la modalità oraria ma ricevi comunque l'errore «Il calcolo della query supera la memoria massima disponibile», puoi ridurre il numero di partizioni, assicurandoti che le esportazioni abbiano esito positivo.

Lo strumento offre flessibilità nell'ambito dell'esportazione, consentendoti di esportare una singola tabella, un intero database o tutti i database del tuo account. Per requisiti più specifici, come l'esportazione di più database specifici, puoi creare un wrapper personalizzato attorno a questa automazione. Inoltre, puoi scegliere di esportare prima i dati più recenti abilitando l'opzione di ordine cronologico inverso. Al riavvio dopo un errore, puoi continuare con lo stesso tag di migrazione per mantenere tutti i file con lo stesso prefisso S3 o omettere il tag per creare file con un nuovo prefisso. Poiché lo strumento esporta i dati in batch, in caso di errori, consigliamo di iniziare dal batch fallito anziché ripartire dall'ora di inizio originale. Se non specificate un timestamp di fine, lo strumento utilizza automaticamente il timestamp corrente (UTC) per garantire esportazioni e convalide coerenti.

Comandi di base

python3.9 unload.py \
    --export-table \
    --database Demo \
    --table Demo \
    --start-time '2020-03-26 17:24:38' \
    --enable-dynamodb_logger true

python3.9 unload.py \
    --export-database \
    --database Demo \
    --start-time '2020-03-26 17:24:38'

python3.9 unload.py \
    --export-all_databases \
    --start-time '2020-03-26 17:24:38'

python unload.py \
    --export-table \
    --database MyDB \
    --table MyTable \
    --start-time '2024-05-14 00:00:00' \
    --end-time '2025-05-14 00:00:00' \
    --partition month \
    --export-format PARQUET \
    --compression GZIP \
    --region us-east-1 \
    --s3-uri s3://my-bucket \
    --enable-dynamodb_logger \
    --sns-topic_arn arn:aws:sns:region:account-id:topic-name

Per ulteriori informazioni, consultate il file README dello script di unload.