Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau integrasi

Negara integrasi

Status integrasi berikut menjelaskan integrasi:

Melihat CloudWatch log Amazon untuk integrasi

AWS Glue Integrasi nol-ETL menghasilkan CloudWatch log Amazon untuk visibilitas ke dalam pergerakan data Anda. Peristiwa log yang berkaitan dengan setiap konsumsi yang berhasil atau kegagalan yang dialami karena catatan data bermasalah di sumber, atau kesalahan penulisan data karena perubahan skema atau izin yang tidak memadai dipancarkan ke grup log default yang dibuat di akun pelanggan.

Untuk setiap integrasi yang dibuat, peristiwa log untuk integrasi itu akan dikumpulkan /aws-glue/zeroETL-integrations/logs/ di bawah Amazon Cloudwatch. Di dalam grup log, pesan log akan dibagi menjadi aliran log. Setiap integrasi yang dibuat memiliki aliran log khusus ke tempat semua log untuk integrasi itu ditulis. Misalnya, log untuk integrasi dengan IntegrationArn arn:aws:glue:us-east-1:123456789012:integration:03cabe77-79e7-4b7a-b3da-8c160bea6bbf dapat ditemukan di bawah /aws- glue/zeroETL-integrations/logs /03cabe77-79e7-4b7a-b3da-8c160bea6bbf. {IntegrationId} dapat direferensikan dari {integrationARN} yang dihasilkan saat integrasi dibuat.

Izin IAM diperlukan untuk mengaktifkan logging

Saat membuat integrasi Anda, izin IAM berikut diperlukan oleh peran sumber dan target untuk mengaktifkan CloudWatch pencatatan untuk integrasi. AWS Glue Integrasi nol-ETL menggunakan izin ini yang disediakan dalam peran sumber dan target untuk memancarkan log ke akun pelanggan. CloudWatch

{
"Version": "2012-10-17",
    "Statement": [
        {
"Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
             ],
            "Resource": [
                "*"
            ]
        }
    ]
}

Log pesan

Format log: Integrasi nol-ETL memancarkan empat jenis pesan log:

// Ingestion started
{
"integrationArn": "arn:aws:glue:us-east-2:123456789012:integration/1a012bba-123a-1bba-ab1c-173de3b12345",
...
    "messageType": "IngestionStarted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job started"
    }
}
// Data processing stats on successful table ingestion
{
...
    "messageType": "IngestionProcessingStats",
    "details": {
        "tableName": "testDDBTable",
        "insert_count": 100,
        "update_count": 10,
        "delete_count": 10   
    }
}
// Ingestion failure logs for failed table-processing
{
...
    "messageType": "IngestionFailed",
    "details": {
        "tableName": "testDDBTable",
        "errorMessage": "Failed to ingest data with error: Target Glue database not found.",
        "error_code" : "client_error"
    }
}
// Ingestion completed notification with lastSyncedTimestamp
{
...
    "messageType": "IngestionCompleted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job completed"
        "lastSyncedTimestamp": "1132344255745"
    }
}

Melihat CloudWatch metrik Amazon untuk integrasi

Setelah integrasi selesai, Anda dapat melihat metrik Amazon Cloudwatch ini dibuat di akun Anda untuk setiap pekerjaan yang dijalankan: AWS Glue

CloudWatch ruang nama metrik: "/Glue/ZeroETL”AWS

Dimensi metrik:

Nama metrik:

Mengelola pemberitahuan acara dengan Amazon EventBridge

Integrasi nol-ETL menggunakan Amazon EventBridge untuk mengelola pemberitahuan acara agar Anda tetap memperhatikan perubahan dalam integrasi Anda up-to-date. Amazon EventBridge adalah layanan bus acara tanpa server yang dapat Anda gunakan untuk menghubungkan aplikasi Anda dengan data dari berbagai sumber. Dalam hal ini, sumber acara adalah AWS Glue. Peristiwa, yang dipantau perubahan dalam suatu lingkungan, dikirim ke EventBridge dari AWS Glue secara otomatis. Acara disampaikan dalam waktu dekat.

EventBridge menyediakan lingkungan bagi Anda untuk menulis aturan acara, yang dapat menentukan tindakan yang akan diambil untuk acara tertentu. Anda juga dapat mengatur target, yang merupakan sumber daya yang EventBridge dapat mengirim acara ke. Target dapat mencakup tujuan API, grup CloudWatch log Amazon, dan lainnya. Untuk informasi selengkapnya tentang aturan, lihat EventBridge Aturan Amazon. Untuk informasi selengkapnya tentang target, lihat EventBridge target Amazon.

Untuk menangkap semua notifikasi nol-ETL, buat aturan Eventbridge yang cocok dengan yang berikut ini:

{
  "source": [{
    "prefix": "aws.glue-zero-etl“
  }],
  "detail-type": [{
    "prefix": "Glue Zero ETL“
  }]
}

Tabel berikut mencakup peristiwa integrasi nol-ETL, dengan metadata tambahan: