Surveillance du chargement des données - Amazon Aurora
Liste des tâches de chargement de donnéesAffichage des détails des tâches de chargement de données à l’aide de l’ID de tâcheSurveillance du groupe de journaux Amazon CloudWatchSurveillance des événements RDS

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Surveillance du chargement des données

Aurora PostgreSQL Limitless Database propose plusieurs méthodes pour surveiller les tâches de chargement de données :

Liste des tâches de chargement de données

Vous pouvez vous connecter au point de terminaison du cluster et utiliser la vue rds_aurora.limitless_data_load_jobs pour répertorier les tâches de chargement de données.

postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_jobs LIMIT 6;

    job_id     |  status   | message |     source_db_identifier      | source_db_name | full_load_complete_time |                                                                progress_details                                                                 |       start_time       |   last_updated_time    |  streaming_mode   | source_engine_type | ignore_primary_key_conflict | is_dryrun 
---------------+-----------+---------+-------------------------------+----------------+-------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------+------------------------+------------------------+-------------------+--------------------+-----------------------------+-----------
 1725697520693 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:48:15+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "9 of 9 tables loaded", "COMPLETED_AT": "2024/09/07 08:48:15+00", "RECORDS_MIGRATED": 600003}} | 2024-09-07 08:47:13+00 | 2024-09-07 08:48:15+00 | full_load         | aurora_postgresql  | t                           | f
 1725696114225 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:24:20+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "3 of 3 tables loaded", "COMPLETED_AT": "2024/09/07 08:24:20+00", "RECORDS_MIGRATED": 200001}} | 2024-09-07 08:23:56+00 | 2024-09-07 08:24:20+00 | full_load         | aurora_postgresql  | t                           | f
 1725696067630 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:23:45+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "6 of 6 tables loaded", "COMPLETED_AT": "2024/09/07 08:23:45+00", "RECORDS_MIGRATED": 400002}} | 2024-09-07 08:23:10+00 | 2024-09-07 08:23:45+00 | full_load         | aurora_postgresql  | t                           | f
 1725694221753 | CANCELED  |         | persistent-kdm-auto-source-01 | postgres       |                         | {}                                                                                                                                              | 2024-09-07 07:31:18+00 | 2024-09-07 07:51:49+00 | full_load_and_cdc | aurora_postgresql  | t                           | f
 1725691698210 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 07:10:51+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:51+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:42+00 | 2024-09-07 07:10:52+00 | full_load         | aurora_postgresql  | t                           | f
 1725691695049 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 07:10:48+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:48+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:41+00 | 2024-09-07 07:10:48+00 | full_load         | aurora_postgresql  | t                           | f
(6 rows)

Les enregistrements de tâches sont supprimés après 90 jours.

Affichage des détails des tâches de chargement de données à l’aide de l’ID de tâche

Si vous disposez de l’ID d’une tâche, vous pouvez vous connecter au point de terminaison du cluster et utiliser la vue rds_aurora.limitless_data_load_job_details pour consulter les détails de cette tâche de chargement de données, notamment le nom de la table, l’état de la tâche et le nombre de lignes chargées. L’ID de la tâche est disponible dans la réponse des fonctions qui lancent le chargement des données, ou dans la vue rds_aurora.limitless_data_load_jobs.

postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_job_details WHERE job_id='1725696114225';

job_id        | destination_table_name | destination_schema_name | start_time             | status    | full_load_rows | full_load_total_rows | full_load_complete_time | cdc_insert | cdc_update | cdc_delete
--------------+------------------------+-------------------------+------------------------+-----------+----------------+----------------------+-------------------------+------------+------------+------------
1725696114225 | standard_1             | public                  | 2024-09-07 08:23:57+00 | COMPLETED | 100000         | 100000               | 2024-09-07 08:24:08+00  | 0          | 0          | 0
1725696114225 | standard_2             | public                  | 2024-09-07 08:24:08+00 | COMPLETED | 100000         | 100000               | 2024-09-07 08:24:17+00  | 0          | 0          | 0
1725696114225 | standard_3             | public                  | 2024-09-07 08:24:18+00 | COMPLETED | 1              | 1                    | 2024-09-07 08:24:20+00  | 0          | 0          | 0
1725696114225 | standard_4             | public                  | 2024-09-07 08:23:58+00 | PENDING   | 0              | 0                    |                         | 0          | 0          | 0
(4 rows)

Les enregistrements de tâches sont supprimés après 90 jours.

Surveillance du groupe de journaux Amazon CloudWatch

Une fois que l’état de la tâche de chargement des données est passé à RUNNING, vous pouvez vérifier la progression de l’exécution à l’aide d’Amazon CloudWatch Logs.

Pour surveiller les flux de journaux CloudWatch

Connectez-vous à AWS Management Console et ouvrez la console CloudWatch à l’adresse https://console.aws.amazon.com/cloudwatch/.

  1. Accédez à Journaux, puis à Groupe de journaux.

  2. Choisissez le groupe de journaux /aws/rds/aurora-limitless-database.

  3. Recherchez le flux de journaux de votre tâche de chargement de données par job_id.

    Le flux du journaux présente le modèle Data-Load-Job-job_id.

  4. Choisissez le flux de journaux pour afficher les événements du journal.

Chaque flux de journal affiche des événements contenant l’état de la tâche et le nombre de lignes chargées dans les tables de destination Aurora PostgreSQL Limitless Database. Si une tâche de chargement de données échoue, un journal d’erreurs est également créé, précisant l’état de l’échec ainsi que sa cause.

Les enregistrements de tâches sont supprimés après 90 jours.

Surveillance des événements RDS

La tâche de chargement de données publie également des événements RDS, notamment lorsqu’une tâche réussit, échoue ou est annulée. Vous pouvez afficher les événements depuis la base de données de destination.

Pour plus d’informations, consultez Événements de groupe de partitions de base de données.