Supervisión de carga de datos - Amazon Aurora
Enumeración de los trabajos de carga de datosVisualización de los detalles de los trabajos de carga de datos mediante el ID de trabajoSupervisión del grupo de registros de Amazon CloudWatchSupervisión de eventos de RDS

Supervisión de carga de datos

Base de datos ilimitada de Aurora PostgreSQL ofrece varias formas de supervisar los trabajos de carga de datos:

Enumeración de los trabajos de carga de datos

Puede conectarse al punto de conexión del clúster y usar la vista rds_aurora.limitless_data_load_jobs para enumerar los trabajos de carga de datos.

postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_jobs LIMIT 6;

    job_id     |  status   | message |     source_db_identifier      | source_db_name | full_load_complete_time |                                                                progress_details                                                                 |       start_time       |   last_updated_time    |  streaming_mode   | source_engine_type | ignore_primary_key_conflict | is_dryrun 
---------------+-----------+---------+-------------------------------+----------------+-------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------+------------------------+------------------------+-------------------+--------------------+-----------------------------+-----------
 1725697520693 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:48:15+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "9 of 9 tables loaded", "COMPLETED_AT": "2024/09/07 08:48:15+00", "RECORDS_MIGRATED": 600003}} | 2024-09-07 08:47:13+00 | 2024-09-07 08:48:15+00 | full_load         | aurora_postgresql  | t                           | f
 1725696114225 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:24:20+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "3 of 3 tables loaded", "COMPLETED_AT": "2024/09/07 08:24:20+00", "RECORDS_MIGRATED": 200001}} | 2024-09-07 08:23:56+00 | 2024-09-07 08:24:20+00 | full_load         | aurora_postgresql  | t                           | f
 1725696067630 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:23:45+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "6 of 6 tables loaded", "COMPLETED_AT": "2024/09/07 08:23:45+00", "RECORDS_MIGRATED": 400002}} | 2024-09-07 08:23:10+00 | 2024-09-07 08:23:45+00 | full_load         | aurora_postgresql  | t                           | f
 1725694221753 | CANCELED  |         | persistent-kdm-auto-source-01 | postgres       |                         | {}                                                                                                                                              | 2024-09-07 07:31:18+00 | 2024-09-07 07:51:49+00 | full_load_and_cdc | aurora_postgresql  | t                           | f
 1725691698210 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 07:10:51+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:51+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:42+00 | 2024-09-07 07:10:52+00 | full_load         | aurora_postgresql  | t                           | f
 1725691695049 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 07:10:48+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:48+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:41+00 | 2024-09-07 07:10:48+00 | full_load         | aurora_postgresql  | t                           | f
(6 rows)

Los registros de trabajos se eliminan pasados noventa días.

Visualización de los detalles de los trabajos de carga de datos mediante el ID de trabajo

Si conoce el ID de un trabajo, puede conectarse al punto de conexión del clúster y usar la vista rds_aurora.limitless_data_load_job_details para ver los detalles de ese trabajo de carga de datos, incluidos el nombre de la tabla, el estado del trabajo y el número de filas cargadas. Puede obtener el ID de trabajo en las respuestas a las funciones de inicio de carga de datos o en la vista rds_aurora.limitless_data_load_jobs.

postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_job_details WHERE job_id='1725696114225';

job_id        | destination_table_name | destination_schema_name | start_time             | status    | full_load_rows | full_load_total_rows | full_load_complete_time | cdc_insert | cdc_update | cdc_delete
--------------+------------------------+-------------------------+------------------------+-----------+----------------+----------------------+-------------------------+------------+------------+------------
1725696114225 | standard_1             | public                  | 2024-09-07 08:23:57+00 | COMPLETED | 100000         | 100000               | 2024-09-07 08:24:08+00  | 0          | 0          | 0
1725696114225 | standard_2             | public                  | 2024-09-07 08:24:08+00 | COMPLETED | 100000         | 100000               | 2024-09-07 08:24:17+00  | 0          | 0          | 0
1725696114225 | standard_3             | public                  | 2024-09-07 08:24:18+00 | COMPLETED | 1              | 1                    | 2024-09-07 08:24:20+00  | 0          | 0          | 0
1725696114225 | standard_4             | public                  | 2024-09-07 08:23:58+00 | PENDING   | 0              | 0                    |                         | 0          | 0          | 0
(4 rows)

Los registros de trabajos se eliminan pasados noventa días.

Supervisión del grupo de registros de Amazon CloudWatch

Cuando el estado del trabajo de carga de datos cambie a RUNNING, puede comprobar el progreso del tiempo de ejecución mediante Registros de Amazon CloudWatch.

Supervisión de los flujos de registros de CloudWatch

Inicie sesión en la AWS Management Console y abra la consola de CloudWatch en https://console.aws.amazon.com/cloudwatch/.

  1. Vaya a Registros y, a continuación, a Grupos de registros.

  2. Elija el grupo de registro /aws/rds/aurora-limitless-database.

  3. Busque el flujo de registro de su trabajo de carga de datos con job_id.

    El flujo de registro tiene el patrón Data-Load-Jobjob_id.

  4. Elija el flujo de registro para ver los eventos de registro.

Cada flujo de registro muestra los eventos que contienen el estado del trabajo y el número de filas cargadas en las tablas de destino de Base de datos ilimitada de Aurora PostgreSQL. Si se produce un error en un trabajo de carga de datos, también se crea un registro de errores que muestra el estado del error y el motivo.

Los registros de trabajos se eliminan pasados noventa días.

Supervisión de eventos de RDS

El trabajo de carga de datos también publica eventos de RDS, por ejemplo, cuando un trabajo concluye correctamente, falla o se cancela. Puede ver los eventos desde la base de datos de destino.

Para obtener más información, consulte Eventos de grupo de particiones de bases de datos.