Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachung einer Integration

Integrationsstaaten

Die folgenden Integrationszustände beschreiben die Integration:

CloudWatch Amazon-Protokolle für eine Integration anzeigen

AWS Glue Zero-ETL-Integrationen generieren CloudWatch Amazon-Protokolle, um Einblick in Ihre Datenbewegungen zu erhalten. Protokollereignisse, die sich auf jede erfolgreiche Erfassung oder auf Fehler beziehen, die auf problematische Datensätze an der Quelle oder auf Fehler beim Schreiben von Daten aufgrund von Schemaänderungen oder unzureichenden Berechtigungen zurückzuführen sind, werden an eine Standard-Protokollgruppe gesendet, die in einem Kundenkonto erstellt wurde.

Für jede erstellte Integration werden die Protokollereignisse für diese Integration /aws-glue/zeroETL-integrations/logs/ in Amazon Cloudwatch gesammelt. Innerhalb der Protokollgruppe werden Protokollnachrichten in Protokollstreams aufgeteilt. Jede erstellte Integration hat einen eigenen Protokollstream, in den alle Protokolle für diese Integration geschrieben werden. Logs für eine Integration mit finden Sie beispielsweise IntegrationArn arn:aws:glue:us-east-1:123456789012:integration:03cabe77-79e7-4b7a-b3da-8c160bea6bbf under /aws-glue/zeroETL-integrations/logs /03cabe77-79e7-4b7a-b3da-8c160bea6bbf. {IntegrationId} kann aus dem {integrationARN} referenziert werden, der bei der Erstellung einer Integration generiert wird.

Für die Aktivierung der Protokollierung sind IAM-Berechtigungen erforderlich

Bei der Erstellung Ihrer Integration benötigen die Quell- und Zielrollen die folgenden IAM-Berechtigungen, um die CloudWatch Protokollierung für eine Integration zu aktivieren. AWS Glue Zero-ETL-Integrationen verwenden diese in den Quell- und Zielrollen bereitgestellten Berechtigungen, um CloudWatch Protokolle an Kundenkonten zu senden.

{
"Version": "2012-10-17",
    "Statement": [
        {
"Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
             ],
            "Resource": [
                "*"
            ]
        }
    ]
}

Protokollmeldungen

Protokollformat: Zero-ETL-Integrationen geben vier Arten von Protokollnachrichten aus:

// Ingestion started
{
"integrationArn": "arn:aws:glue:us-east-2:123456789012:integration/1a012bba-123a-1bba-ab1c-173de3b12345",
...
    "messageType": "IngestionStarted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job started"
    }
}
// Data processing stats on successful table ingestion
{
...
    "messageType": "IngestionProcessingStats",
    "details": {
        "tableName": "testDDBTable",
        "insert_count": 100,
        "update_count": 10,
        "delete_count": 10   
    }
}
// Ingestion failure logs for failed table-processing
{
...
    "messageType": "IngestionFailed",
    "details": {
        "tableName": "testDDBTable",
        "errorMessage": "Failed to ingest data with error: Target Glue database not found.",
        "error_code" : "client_error"
    }
}
// Ingestion completed notification with lastSyncedTimestamp
{
...
    "messageType": "IngestionCompleted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job completed"
        "lastSyncedTimestamp": "1132344255745"
    }
}

CloudWatch Amazon-Metriken für eine Integration anzeigen

Sobald eine Integration abgeschlossen ist, können Sie die folgenden Amazon Cloudwatch-Metriken sehen, die in Ihrem Konto für jeden ausgeführten AWS Glue Job generiert wurden:

CloudWatch Namespace für Metriken: "AWS/glue/ZeroETL“

Dimensionen der Metriken:

Namen der Metriken:

Verwaltung von Event-Benachrichtigungen mit Amazon EventBridge

Zero-ETL-Integrationen verwenden Amazon EventBridge zur Verwaltung von Ereignisbenachrichtigungen, damit Sie up-to-date über Änderungen an Ihren Integrationen informiert werden. Amazon EventBridge ist ein serverloser Event-Bus-Service, mit dem Sie Ihre Anwendungen mit Daten aus einer Vielzahl von Quellen verbinden können. In diesem Fall ist AWS Glue die Ereignisquelle. Ereignisse, bei denen es sich um EventBridge überwachte Änderungen in einer Umgebung handelt, werden AWS Glue automatisch gesendet. Ereignisse werden nahezu in Echtzeit übermittelt.

EventBridge bietet eine Umgebung, in der Sie Ereignisregeln schreiben können, die Aktionen festlegen können, die für bestimmte Ereignisse ergriffen werden sollen. Sie können auch Ziele einrichten, d. h. Ressourcen, an die ein Ereignis gesendet werden EventBridge kann. Ein Ziel kann ein API-Ziel, eine CloudWatch Amazon-Protokollgruppe und andere enthalten. Weitere Informationen zu Regeln finden Sie unter EventBridge Amazon-Regeln. Weitere Informationen zu Zielen finden Sie unter EventBridge Amazon-Ziele.

Um alle Zero-ETL-Benachrichtigungen zu erfassen, erstellen Sie eine Eventbridge-Regel, die den folgenden Kriterien entspricht:

{
  "source": [{
    "prefix": "aws.glue-zero-etl“
  }],
  "detail-type": [{
    "prefix": "Glue Zero ETL“
  }]
}

Die folgende Tabelle enthält Ereignisse der Null-ETL-Integration mit zusätzlichen Metadaten: