Exportation de données Timestream vers Amazon S3

Quel que soit le service cible pour la migration, nous vous recommandons de suivre les meilleures pratiques ci-dessous pour exporter votre Timestream pour les LiveAnalytics données vers Amazon S3, en créant une couche de stockage intermédiaire durable qui servira de base à l'ingestion ultérieure spécifique à la base de données.

Pour exporter de manière fiable les données de Timestream pour les LiveAnalytics tables vers Amazon S3, nous vous recommandons d'utiliser l'outil Timestream for LiveAnalytics export, qui utilise la fonctionnalité Timestream UNLOAD, conçue pour les exportations de données à grande échelle.

Timestream pour l'outil d'exportation LiveAnalytics

Stratégie de segmentation basée sur le temps

Le découpage basé sur le temps est essentiel lors de la migration de gros volumes de données chronologiques. Cette approche décompose le processus d'exportation en unités gérables qui peuvent être traitées indépendamment et réessayées en cas d'échec, ce qui réduit considérablement les risques de migration. Il crée des points de contrôle pour faciliter le suivi des progrès et ajoute la possibilité de reprendre après une interruption. Pour les entreprises dont l'ingestion de données est continue, cela permet d'exporter les nouvelles données par tranches temporelles distinctes, ce qui permet une meilleure coordination entre les opérations en cours et la migration. L'outil utilise un découpage basé sur les jours, stockant les données de chaque jour avec le préfixe de compartiment S3 pour une gestion efficace. De plus, le découpage peut être basé sur l'heure, le jour, le mois ou l'année.

Surveillance de la migration

L'outil fournit une option permettant de capturer les statistiques de migration dans une table DynamoDB, en suivant les métriques telles que les configurations utilisées, les enregistrements exportés et d'autres points de données pour valider l'exhaustivité de votre migration. Nous vous recommandons de surveiller ces indicateurs de près lors de votre migration et de votre validation. Vous pouvez également utiliser la journalisation fournie dans votre script d'orchestration pour capturer les horodatages d'exécution, les limites des segments et les éventuelles conditions d'erreur rencontrées. L'outil fournit également une notification SNS si vous souhaitez intégrer votre système en aval pour prendre des mesures en cas de panne.

Recommandations et meilleures pratiques

L'outil Timestream for LiveAnalytics export fournit une solution flexible et robuste pour exporter des données vers S3 avec diverses options de configuration adaptées aux exigences de votre système cible. Si votre cible est Timestream pour InfluxDB, utilisez le format Parquet sans compression pour garantir la compatibilité avec les scripts d'ingestion. Pour un suivi et une surveillance optimaux, activez la journalisation DynamoDB et configurez les notifications SNS pour recevoir des alertes en cas d'échec ou de fin d'exportation.

L'outil tire parti de la fonctionnalité Timestream for LiveAnalytics UNLOAD tout en surmontant ses limites liées aux requêtes en exportant automatiquement les données par lots en fonction de la plage de temps que vous avez spécifiée. Vous pouvez personnaliser le partitionnement des données par heure, jour, mois ou année, le jour étant la valeur par défaut. Chaque partition doit rester inférieure à environ 350 Go pour éviter les erreurs liées à la mémoire, telles que le dépassement de la mémoire maximale disponible par le calcul des requêtes. Par exemple, si vos données annuelles dépassent 350 Go, envisagez d'utiliser des partitions mensuelles ou des options encore plus détaillées telles que le partitionnement quotidien ou horaire. Si vous choisissez le mode horaire et que le message d'erreur « Le calcul de la requête dépasse la mémoire maximale disponible » s'affiche toujours, vous pouvez réduire le nombre de partitions pour vous assurer que vos exportations sont réussies.

L'outil offre une flexibilité dans l'étendue de l'exportation, vous permettant d'exporter une seule table, une base de données complète ou toutes les bases de données de votre compte. Pour des exigences plus spécialisées, telles que l'exportation de plusieurs bases de données spécifiques, vous pouvez créer un wrapper personnalisé autour de cette automatisation. En outre, vous pouvez choisir d'exporter d'abord les données les plus récentes en activant l'option d'ordre chronologique inversé. Lorsque vous redémarrez après un échec, vous pouvez soit continuer avec la même balise de migration pour conserver tous les fichiers sous le même préfixe S3, soit omettre la balise pour créer des fichiers sous un nouveau préfixe. Comme l'outil exporte les données par lots, si vous rencontrez des défaillances, nous vous recommandons de recommencer à partir du lot défaillant plutôt que de recommencer à l'heure de début initiale. Si vous ne spécifiez pas d'horodatage de fin, l'outil utilise automatiquement l'horodatage actuel (UTC) pour garantir des exportations et une validation cohérentes.

Commandes de base

python3.9 unload.py \
    --export-table \
    --database Demo \
    --table Demo \
    --start-time '2020-03-26 17:24:38' \
    --enable-dynamodb_logger true

python3.9 unload.py \
    --export-database \
    --database Demo \
    --start-time '2020-03-26 17:24:38'

python3.9 unload.py \
    --export-all_databases \
    --start-time '2020-03-26 17:24:38'

python unload.py \
    --export-table \
    --database MyDB \
    --table MyTable \
    --start-time '2024-05-14 00:00:00' \
    --end-time '2025-05-14 00:00:00' \
    --partition month \
    --export-format PARQUET \
    --compression GZIP \
    --region us-east-1 \
    --s3-uri s3://my-bucket \
    --enable-dynamodb_logger \
    --sns-topic_arn arn:aws:sns:region:account-id:topic-name

Pour plus d'informations, consultez le fichier README du script de déchargement.