Timestream per InfluxDB come Target

Amazon Timestream for InfluxDB è un servizio di database di serie temporali gestito che utilizza InfluxDB open source per applicazioni AWS in tempo reale. APIs Offre facilità di configurazione, funzionamento e scalabilità, fornendo query con tempi di risposta di una sola cifra di millisecondi.

Il primo passaggio per determinare se Timestream for InfluxDB è un obiettivo di migrazione appropriato per il tuo caso d'uso è determinare la cardinalità di Timestream for table. LiveAnalytics Abbiamo sviluppato uno script che calcola la cardinalità della tabella in Timestream per. LiveAnalytics Questo calcolo ha due scopi:

La cardinalità in InfluxDB è il numero di misurazioni, tag e combinazioni di tasti di campo univoci in un bucket InfluxDB. Fai riferimento a Timestream per la documentazione di InfluxDB sulla gestione della cardinalità per capire come il superamento dei limiti consigliati può ridurre le prestazioni delle query e aumentare il consumo di memoria. Analizza i modelli di query previsti con campioni di dati rappresentativi prima di finalizzare la selezione delle istanze per garantire che le query rimangano performanti dopo la migrazione. Presta attenzione alle query di aggregazione che richiedono molta memoria e che potrebbero comportarsi diversamente rispetto a Timestream for. LiveAnalytics Quando esegui la migrazione da Timestream for LiveAnalytics, seleziona attentamente le specifiche dell'istanza InfluxDB in base alla cardinalità del set di dati, poiché ciò influisce direttamente sulle prestazioni e sui requisiti di risorse. Ti consigliamo di prendere in considerazione altre destinazioni se la cardinalità dei dati è superiore a 10 milioni.

Panoramica dello script di calcolo della cardinalità

Lo script di calcolo della cardinalità calcola la cardinalità di un Timestream per una tabella. LiveAnalytics Se la cardinalità è inferiore a 10 milioni, lo script consiglia un tipo di istanza Timestream per InfluxDB. Utilizzando la mappatura dello schema predefinita, la cardinalità viene calcolata calcolando le combinazioni uniche totali di dimensioni e nome della misura. La scelta dei tag di protocollo giusti (equivalenti alle dimensioni in Timestream for LiveAnalytics) consente di indicizzare automaticamente i dati e filtrarli in modo efficiente utilizzando i tag. Lo script offre anche la possibilità di escludere dimensioni specifiche nel calcolo della cardinalità. Se applicabile al caso specifico, ossia se non si utilizzano determinate dimensioni per filtrare i dati nelle query SQL (in particolare non le si utilizza come predicati), è possibile escludere tali dimensioni dal calcolo della cardinalità. Successivamente, puoi inserirle come campi (equivalenti alle misure in Timestream for LiveAnalytics) nei passaggi successivi della migrazione.

Prerequisiti e installazione

Vedi la sezione Prerequisiti e l'installazione nel README dello script di cardinalità.

Utilizzo di base

Per determinare la cardinalità di una tabella, example_table, nel database example_database lo script può essere utilizzato nel modo seguente:

python3 cardinality.py \
    --table-name example_table \
    --database-name example_database

Questo produce il seguente risultato:

Cardinality of "example_database"."example_table": 160
Your recommended Timestream for InfluxDB type is: db.influx.medium

Raccomandazioni

Lo script analizza automaticamente l'intera tabella per calcolare la cardinalità, offrendo al contempo opzioni di filtro temporale per un'esecuzione ottimale delle query. Ti consigliamo di implementare filtri temporali quando i dati coinvolgono dimensioni coerenti e quando l'analisi di variazioni dimensionali distinte nell'intera tabella produce risultati simili all'analisi di intervalli di tempo specifici. Questo approccio garantisce un'esecuzione delle query efficiente e performante.

Per ulteriori informazioni, consultate il file README dello script di cardinalità.