Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio e integrazione

Stati di integrazione

I seguenti stati di integrazione descrivono l'integrazione:

Visualizzazione dei CloudWatch log di Amazon per un'integrazione

AWS Glue Le integrazioni zero-ETL generano log CloudWatch Amazon per la visibilità sul movimento dei dati. A un gruppo di log predefinito creato in un account cliente vengono inviati gli eventi di registro relativi a ogni inserimento riuscito o eventuali errori riscontrati a causa di record di dati problematici all'origine o errori di scrittura dei dati dovuti a modifiche dello schema o autorizzazioni insufficienti.

Per ogni integrazione creata, gli eventi di log relativi a tale integrazione verranno raccolti /aws-glue/zeroETL-integrations/logs/ in Amazon Cloudwatch. All'interno del gruppo di log, i messaggi di log verranno suddivisi in flussi di log. Ogni integrazione creata ha un flusso di log dedicato in cui vengono scritti tutti i log relativi a tale integrazione. Ad esempio, i log per un'integrazione con sono disponibili in /aws- IntegrationArn arn:aws:glue:us-east-1:123456789012:integration:03cabe77-79e7-4b7a-b3da-8c160bea6bbf /03cabe77-79e7-4b7a-b3da-8c160bea6bbf. glue/zeroETL-integrations/logs È possibile fare riferimento a {} dal {integrationARN} generato quando viene creata un'integrazione. IntegrationId

Autorizzazioni IAM necessarie per abilitare la registrazione

Quando si crea l'integrazione, sono necessarie le seguenti autorizzazioni IAM per i ruoli di origine e destinazione per abilitare la CloudWatch registrazione per un'integrazione. AWS Glue Le integrazioni zero-ETL utilizzano queste autorizzazioni fornite nei ruoli di origine e destinazione per inviare log agli account dei clienti. CloudWatch

{
"Version": "2012-10-17",
    "Statement": [
        {
"Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
             ],
            "Resource": [
                "*"
            ]
        }
    ]
}

Messaggi di log

Formato di registro: le integrazioni zero-ETL emettono quattro tipi di messaggi di registro:

// Ingestion started
{
"integrationArn": "arn:aws:glue:us-east-2:123456789012:integration/1a012bba-123a-1bba-ab1c-173de3b12345",
...
    "messageType": "IngestionStarted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job started"
    }
}
// Data processing stats on successful table ingestion
{
...
    "messageType": "IngestionProcessingStats",
    "details": {
        "tableName": "testDDBTable",
        "insert_count": 100,
        "update_count": 10,
        "delete_count": 10   
    }
}
// Ingestion failure logs for failed table-processing
{
...
    "messageType": "IngestionFailed",
    "details": {
        "tableName": "testDDBTable",
        "errorMessage": "Failed to ingest data with error: Target Glue database not found.",
        "error_code" : "client_error"
    }
}
// Ingestion completed notification with lastSyncedTimestamp
{
...
    "messageType": "IngestionCompleted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job completed"
        "lastSyncedTimestamp": "1132344255745"
    }
}

Visualizzazione dei CloudWatch parametri di Amazon per un'integrazione

Una volta completata l'integrazione, puoi vedere questi parametri di Amazon Cloudwatch generati nel tuo account per ogni processo eseguito: AWS Glue

CloudWatch namespace delle metriche: "/glue/ZeroEtl»AWS

Dimensioni delle metriche:

Nomi delle metriche:

Gestione delle notifiche di eventi con Amazon EventBridge

Le integrazioni zero-ETL utilizzano EventBridge Amazon per gestire le notifiche degli eventi e up-to-date tenerti aggiornato sulle modifiche apportate alle integrazioni. Amazon EventBridge è un servizio di bus eventi senza server che puoi utilizzare per connettere le tue applicazioni con dati provenienti da una varietà di fonti. In questo caso, l'origine dell'evento è AWS Glue. Gli eventi, che sono modifiche monitorate in un ambiente, vengono inviati AWS Glue automaticamente EventBridge da. Gli eventi vengono distribuiti pressoché in tempo reale.

EventBridge fornisce un ambiente in cui scrivere regole relative agli eventi, che possono specificare le azioni da intraprendere per eventi specifici. È inoltre possibile impostare obiettivi, ovvero risorse a cui EventBridge inviare un evento. Una destinazione può includere una destinazione API, un gruppo di CloudWatch log Amazon e altri. Per ulteriori informazioni sulle regole, consulta le EventBridge regole di Amazon. Per ulteriori informazioni sugli obiettivi, consulta Amazon EventBridge targets.

Per acquisire tutte le notifiche zero-ETL, crea una regola Eventbridge che corrisponda alla seguente:

{
  "source": [{
    "prefix": "aws.glue-zero-etl“
  }],
  "detail-type": [{
    "prefix": "Glue Zero ETL“
  }]
}

La tabella seguente illustra gli eventi di integrazione Zero-ETL con metadati aggiuntivi: