データロードのモニタリング - Amazon Aurora
データロードジョブの一覧表示ジョブ ID を使用してデータロードジョブの詳細を表示するAmazon CloudWatch ロググループのモニタリングRDS イベントのモニタリング

データロードのモニタリング

Aurora PostgreSQL Limitless Database では、複数の方法でデータロードジョブをモニタリングできます。

データロードジョブの一覧表示

クラスターエンドポイントに接続し、rds_aurora.limitless_data_load_jobs ビューを使用してデータロードジョブを一覧表示できます。

postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_jobs LIMIT 6;

    job_id     |  status   | message |     source_db_identifier      | source_db_name | full_load_complete_time |                                                                progress_details                                                                 |       start_time       |   last_updated_time    |  streaming_mode   | source_engine_type | ignore_primary_key_conflict | is_dryrun 
---------------+-----------+---------+-------------------------------+----------------+-------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------+------------------------+------------------------+-------------------+--------------------+-----------------------------+-----------
 1725697520693 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:48:15+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "9 of 9 tables loaded", "COMPLETED_AT": "2024/09/07 08:48:15+00", "RECORDS_MIGRATED": 600003}} | 2024-09-07 08:47:13+00 | 2024-09-07 08:48:15+00 | full_load         | aurora_postgresql  | t                           | f
 1725696114225 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:24:20+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "3 of 3 tables loaded", "COMPLETED_AT": "2024/09/07 08:24:20+00", "RECORDS_MIGRATED": 200001}} | 2024-09-07 08:23:56+00 | 2024-09-07 08:24:20+00 | full_load         | aurora_postgresql  | t                           | f
 1725696067630 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:23:45+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "6 of 6 tables loaded", "COMPLETED_AT": "2024/09/07 08:23:45+00", "RECORDS_MIGRATED": 400002}} | 2024-09-07 08:23:10+00 | 2024-09-07 08:23:45+00 | full_load         | aurora_postgresql  | t                           | f
 1725694221753 | CANCELED  |         | persistent-kdm-auto-source-01 | postgres       |                         | {}                                                                                                                                              | 2024-09-07 07:31:18+00 | 2024-09-07 07:51:49+00 | full_load_and_cdc | aurora_postgresql  | t                           | f
 1725691698210 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 07:10:51+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:51+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:42+00 | 2024-09-07 07:10:52+00 | full_load         | aurora_postgresql  | t                           | f
 1725691695049 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 07:10:48+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:48+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:41+00 | 2024-09-07 07:10:48+00 | full_load         | aurora_postgresql  | t                           | f
(6 rows)

ジョブレコードは 90 日後に削除されます。

ジョブ ID を使用してデータロードジョブの詳細を表示する

ジョブ ID がわかっている場合は、クラスターエンドポイントに接続し、rds_aurora.limitless_data_load_job_details ビューを使用して、テーブル名、ジョブのステータス、ロードされた行数など、そのデータロードジョブの詳細を表示できます。ジョブ ID は、データロード開始関数へのレスポンス、または rds_aurora.limitless_data_load_jobs ビューから取得できます。

postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_job_details WHERE job_id='1725696114225';

job_id        | destination_table_name | destination_schema_name | start_time             | status    | full_load_rows | full_load_total_rows | full_load_complete_time | cdc_insert | cdc_update | cdc_delete
--------------+------------------------+-------------------------+------------------------+-----------+----------------+----------------------+-------------------------+------------+------------+------------
1725696114225 | standard_1             | public                  | 2024-09-07 08:23:57+00 | COMPLETED | 100000         | 100000               | 2024-09-07 08:24:08+00  | 0          | 0          | 0
1725696114225 | standard_2             | public                  | 2024-09-07 08:24:08+00 | COMPLETED | 100000         | 100000               | 2024-09-07 08:24:17+00  | 0          | 0          | 0
1725696114225 | standard_3             | public                  | 2024-09-07 08:24:18+00 | COMPLETED | 1              | 1                    | 2024-09-07 08:24:20+00  | 0          | 0          | 0
1725696114225 | standard_4             | public                  | 2024-09-07 08:23:58+00 | PENDING   | 0              | 0                    |                         | 0          | 0          | 0
(4 rows)

ジョブレコードは 90 日後に削除されます。

Amazon CloudWatch ロググループのモニタリング

データロードジョブのステータスが RUNNING に変わったら、Amazon CloudWatch Logs を使用してランタイムの進捗状況を確認できます。

CloudWatch ログストリームをモニタリングするには

AWS Management Console にサインインして、CloudWatch コンソール (https://console.aws.amazon.com/cloudwatch/) を開きます。

  1. [ログ]、[ロググループ] の順に移動します。

  2. /aws/rds/aurora-limitless-database ロググループを選択します。

  3. job_id でデータロードジョブのログストリームを検索します。

    ログストリームには Data-Load-Job-job_id というパターンがあります。

  4. ログストリームを選択して、ログイベントを表示します。

各ログストリームには、ジョブステータスと Aurora PostgreSQL Limitless Database の送信先テーブルにロードされた行数を含むイベントが表示されます。データロードジョブが失敗すると、失敗ステータスと理由を示すエラーログも作成されます。

ジョブレコードは 90 日後に削除されます。

RDS イベントのモニタリング

データロードジョブは、ジョブが成功、失敗したときや、キャンセルされたときなどに RDS イベントも発行します。送信先データベースからイベントを表示できます。

詳細については、「」を参照してください。