Überwachen des Ladens von Daten - Amazon Aurora
Auflisten von Aufträgen zum Laden von DatenAnzeigen der Details von Aufträgen zum Laden von Daten mithilfe der Auftrags-IDÜberwachen der Amazon-CloudWatch-ProtokollgruppeÜberwachen von RDS-Ereignissen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachen des Ladens von Daten

Aurora PostgreSQL Limitless Database bietet mehrere Möglichkeiten, Aufträge zum Laden von Daten überwachen:

Auflisten von Aufträgen zum Laden von Daten

Sie können eine Verbindung zum Cluster-Endpunkt herstellen und die Ansicht rds_aurora.limitless_data_load_jobs verwenden, um Aufträge zum Laden von Daten aufzulisten.

postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_jobs LIMIT 6;

    job_id     |  status   | message |     source_db_identifier      | source_db_name | full_load_complete_time |                                                                progress_details                                                                 |       start_time       |   last_updated_time    |  streaming_mode   | source_engine_type | ignore_primary_key_conflict | is_dryrun 
---------------+-----------+---------+-------------------------------+----------------+-------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------+------------------------+------------------------+-------------------+--------------------+-----------------------------+-----------
 1725697520693 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:48:15+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "9 of 9 tables loaded", "COMPLETED_AT": "2024/09/07 08:48:15+00", "RECORDS_MIGRATED": 600003}} | 2024-09-07 08:47:13+00 | 2024-09-07 08:48:15+00 | full_load         | aurora_postgresql  | t                           | f
 1725696114225 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:24:20+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "3 of 3 tables loaded", "COMPLETED_AT": "2024/09/07 08:24:20+00", "RECORDS_MIGRATED": 200001}} | 2024-09-07 08:23:56+00 | 2024-09-07 08:24:20+00 | full_load         | aurora_postgresql  | t                           | f
 1725696067630 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:23:45+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "6 of 6 tables loaded", "COMPLETED_AT": "2024/09/07 08:23:45+00", "RECORDS_MIGRATED": 400002}} | 2024-09-07 08:23:10+00 | 2024-09-07 08:23:45+00 | full_load         | aurora_postgresql  | t                           | f
 1725694221753 | CANCELED  |         | persistent-kdm-auto-source-01 | postgres       |                         | {}                                                                                                                                              | 2024-09-07 07:31:18+00 | 2024-09-07 07:51:49+00 | full_load_and_cdc | aurora_postgresql  | t                           | f
 1725691698210 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 07:10:51+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:51+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:42+00 | 2024-09-07 07:10:52+00 | full_load         | aurora_postgresql  | t                           | f
 1725691695049 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 07:10:48+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:48+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:41+00 | 2024-09-07 07:10:48+00 | full_load         | aurora_postgresql  | t                           | f
(6 rows)

Datensätze von Aufträgen werden nach 90 Tagen gelöscht.

Anzeigen der Details von Aufträgen zum Laden von Daten mithilfe der Auftrags-ID

Wenn Sie die Auftrags-ID kennen, können Sie eine Verbindung zum Cluster-Endpunkt herstellen und die Ansicht rds_aurora.limitless_data_load_job_details verwenden, um die Details dieses Auftrags zum Laden von Daten anzuzeigen, einschließlich des Tabellennamens, des Auftragsstatus und der Anzahl der geladenen Zeilen. Sie können die Auftrags-ID in den Antworten auf die Startfunktionen für das Laden von Daten oder in der Ansicht rds_aurora.limitless_data_load_jobs abrufen.

postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_job_details WHERE job_id='1725696114225';

job_id        | destination_table_name | destination_schema_name | start_time             | status    | full_load_rows | full_load_total_rows | full_load_complete_time | cdc_insert | cdc_update | cdc_delete
--------------+------------------------+-------------------------+------------------------+-----------+----------------+----------------------+-------------------------+------------+------------+------------
1725696114225 | standard_1             | public                  | 2024-09-07 08:23:57+00 | COMPLETED | 100000         | 100000               | 2024-09-07 08:24:08+00  | 0          | 0          | 0
1725696114225 | standard_2             | public                  | 2024-09-07 08:24:08+00 | COMPLETED | 100000         | 100000               | 2024-09-07 08:24:17+00  | 0          | 0          | 0
1725696114225 | standard_3             | public                  | 2024-09-07 08:24:18+00 | COMPLETED | 1              | 1                    | 2024-09-07 08:24:20+00  | 0          | 0          | 0
1725696114225 | standard_4             | public                  | 2024-09-07 08:23:58+00 | PENDING   | 0              | 0                    |                         | 0          | 0          | 0
(4 rows)

Datensätze von Aufträgen werden nach 90 Tagen gelöscht.

Überwachen der Amazon-CloudWatch-Protokollgruppe

Nachdem sich der Status des Auftrags zum Laden von Daten in RUNNING geändert hat, können Sie den Fortschritt der Laufzeit mithilfe von Amazon CloudWatch Logs überprüfen.

So überwachen Sie CloudWatch-Protokollstreams

Melden Sie sich bei AWS-Managementkonsole an und öffnen Sie die CloudWatch-Konsole unter https://console.aws.amazon.com/cloudwatch/.

  1. Navigieren Sie zu Protokolle und dann zu Protokollgruppen.

  2. Wählen Sie die Protokollgruppe /aws/rds/aurora-limitless-database aus.

  3. Suchen Sie per job_id nach dem Protokollstream Ihres Auftrags zum Laden von Daten.

    Der Protokollstream hat das Muster Data-Load-Job-job_id.

  4. Wählen Sie den Protokollstream aus, um die Protokollereignisse anzusehen.

Jeder Protokollstream zeigt Ereignisse, die den Auftragsstatus und die Anzahl der Zeilen enthalten, die in die Zieltabellen von Aurora PostgreSQL Limitless Database geladen wurden. Wenn ein Auftrag zum Laden von Daten fehlschlägt, wird auch ein Fehlerprotokoll erstellt, das den Fehlerstatus und die Ursache anzeigt.

Datensätze von Aufträgen werden nach 90 Tagen gelöscht.

Überwachen von RDS-Ereignissen

Der Auftrag zum Laden von Daten veröffentlicht auch RDS-Ereignisse, z. B. wenn ein Auftrag erfolgreich ist, fehlschlägt oder abgebrochen wird. Sie können die Ereignisse in der Zieldatenbank ansehen.

Weitere Informationen finden Sie unter DB-Shard-Gruppenereignisse.