Timestream-Daten nach Amazon S3 exportieren

Unabhängig vom Zielservice für die Migration empfehlen wir, die folgenden bewährten Methoden für den Export Ihrer LiveAnalytics Timestream-Daten nach Amazon S3 zu befolgen und so eine dauerhafte Zwischenspeicherschicht zu schaffen, die als Grundlage für die nachfolgende datenbankspezifische Aufnahme dient.

Um Daten zuverlässig aus Timestream for LiveAnalytics Tables nach Amazon S3 zu exportieren, empfehlen wir die Verwendung des LiveAnalytics Timestream-Exporttools, das die Timestream UNLOAD-Funktion verwendet, die für umfangreiche Datenexporte konzipiert ist.

Tool Timestream für den Export LiveAnalytics

Zeitbasierte Chunking-Strategie

Zeitbasiertes Chunking ist bei der Migration großer Mengen von Zeitreihendaten unerlässlich. Dieser Ansatz unterteilt den Exportprozess in überschaubare Einheiten, die unabhängig voneinander verarbeitet und bei Fehlern erneut versucht werden können, wodurch die Migrationsrisiken erheblich reduziert werden. Es werden Checkpoints eingerichtet, um den Fortschritt einfacher verfolgen zu können, und bietet die Möglichkeit, den Vorgang nach Unterbrechungen wieder aufzunehmen. Für Unternehmen mit kontinuierlicher Datenaufnahme können so neuere Daten in separaten Zeitabschnitten exportiert werden, was eine bessere Koordination zwischen laufendem Betrieb und Migration ermöglicht. Das Tool verwendet tagbasiertes Chunking und speichert die Daten jedes Tages mit dem S3-Bucket-Präfix für eine effiziente Verwaltung. Darüber hinaus kann das Chunking auf Stunde, Tag, Monat oder Jahr basieren.

Überwachung der Migration

Das Tool bietet die Möglichkeit, die Migrationsstatistiken in einer DynamoDB-Tabelle zu erfassen und Metriken wie verwendete Konfigurationen, exportierte Datensätze und andere Datenpunkte zu verfolgen, um die Vollständigkeit Ihrer Migration zu überprüfen. Wir empfehlen, diese Metriken während Ihrer Migration und Validierung genau zu überwachen. Sie können auch die in Ihrem Orchestrierungsskript enthaltene Protokollierung verwenden, um Ausführungszeitstempel, Blockgrenzen und alle aufgetretenen Fehlerbedingungen aufzuzeichnen. Das Tool bietet auch eine SNS-Benachrichtigung, wenn Sie Ihr nachgelagertes System integrieren möchten, um bei Ausfällen Maßnahmen zu ergreifen.

Empfehlungen und bewährte Verfahren

Das Timestream for LiveAnalytics Export Tool bietet eine flexible und robuste Lösung für den Export von Daten nach S3 mit verschiedenen Konfigurationsoptionen, die auf Ihre Zielsystemanforderungen zugeschnitten sind. Wenn Ihr Ziel Timestream for InfluxDB ist, verwenden Sie das Parquet-Format ohne Komprimierung, um die Kompatibilität mit Aufnahmeskripten sicherzustellen. Für eine optimale Nachverfolgung und Überwachung aktivieren Sie die DynamoDB-Protokollierung und konfigurieren Sie SNS-Benachrichtigungen, um Benachrichtigungen über Exportfehler oder -abschlüsse zu erhalten.

Das Tool nutzt die Funktion Timestream for LiveAnalytics UNLOAD und überwindet gleichzeitig die Einschränkungen der Partition für Abfragen, indem Daten automatisch stapelweise auf der Grundlage des von Ihnen angegebenen Zeitraums exportiert werden. Sie können die Datenpartitionierung nach Stunde, Tag, Monat oder Jahr anpassen, wobei Tag die Standardeinstellung ist. Jede Partition muss weniger als 350 GB groß sein, um speicherbedingte Fehler zu vermeiden, z. B. wenn bei der Berechnung von Abfragen der maximal verfügbare Speicher überschritten wird. Wenn Ihre jährlichen Daten beispielsweise 350 GB überschreiten, sollten Sie monatliche Partitionen oder noch detailliertere Optionen wie tägliche oder stündliche Partitionierung in Betracht ziehen. Wenn Sie stündlich wählen und trotzdem die Fehlermeldung „Die Abfrageberechnung überschreitet den maximal verfügbaren Speicher“ angezeigt wird, können Sie die Anzahl der Partitionen reduzieren und so sicherstellen, dass Ihre Exporte erfolgreich sind.

Das Tool bietet Flexibilität beim Exportumfang, sodass Sie eine einzelne Tabelle, eine gesamte Datenbank oder alle Datenbanken in Ihrem Konto exportieren können. Für speziellere Anforderungen, z. B. den Export mehrerer spezifischer Datenbanken, können Sie einen benutzerdefinierten Wrapper für diese Automatisierung erstellen. Darüber hinaus können Sie festlegen, dass die neuesten Daten zuerst exportiert werden, indem Sie die Option in umgekehrter chronologischer Reihenfolge aktivieren. Beim Neustart nach Fehlern können Sie entweder mit demselben Migrations-Tag fortfahren, um alle Dateien unter demselben S3-Präfix zu halten, oder das Tag weglassen, um Dateien unter einem neuen Präfix zu erstellen. Da das Tool die Daten stapelweise exportiert, empfehlen wir, bei Fehlern mit dem fehlgeschlagenen Stapel zu beginnen, anstatt mit der ursprünglichen Startzeit neu zu starten. Wenn Sie keinen Endzeitstempel angeben, verwendet das Tool automatisch den aktuellen Zeitstempel (UTC), um konsistente Exporte und Validierungen sicherzustellen.

Grundlegende Befehle

python3.9 unload.py \
    --export-table \
    --database Demo \
    --table Demo \
    --start-time '2020-03-26 17:24:38' \
    --enable-dynamodb_logger true

python3.9 unload.py \
    --export-database \
    --database Demo \
    --start-time '2020-03-26 17:24:38'

python3.9 unload.py \
    --export-all_databases \
    --start-time '2020-03-26 17:24:38'

python unload.py \
    --export-table \
    --database MyDB \
    --table MyTable \
    --start-time '2024-05-14 00:00:00' \
    --end-time '2025-05-14 00:00:00' \
    --partition month \
    --export-format PARQUET \
    --compression GZIP \
    --region us-east-1 \
    --s3-uri s3://my-bucket \
    --enable-dynamodb_logger \
    --sns-topic_arn arn:aws:sns:region:account-id:topic-name

Weitere Informationen finden Sie in der README-Datei des Entladeskripts.