Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Surveillance d'une intégration

États d'intégration

Les états d'intégration suivants décrivent l'intégration :

Consulter CloudWatch les journaux Amazon pour une intégration

AWS Glue Les intégrations sans ETL génèrent des CloudWatch journaux Amazon pour avoir une meilleure visibilité sur le mouvement de vos données. Les événements de journal relatifs à chaque ingestion réussie ou à tout échec dû à des enregistrements de données problématiques à la source, ou à des erreurs d'écriture de données dues à des modifications de schéma ou à des autorisations insuffisantes sont transmis à un groupe de journaux par défaut créé dans un compte client.

Pour chaque intégration créée, les événements du journal correspondant à cette intégration seront collectés /aws-glue/zeroETL-integrations/logs/ dans Amazon Cloudwatch. Au sein du groupe de journaux, les messages de journal seront divisés en flux de journaux. Chaque intégration créée possède un flux de journal dédié dans lequel sont écrits tous les journaux de cette intégration. Par exemple, les journaux d'une intégration avec se trouvent sous /aws- IntegrationArn arn:aws:glue:us-east-1:123456789012:integration:03cabe77-79e7-4b7a-b3da-8c160bea6bbf /03cabe77-79e7-4b7a-b3da-8c160bea6bbf. glue/zeroETL-integrations/logs {IntegrationId} peut être référencé à partir du {integrationArn} généré lors de la création d'une intégration.

Autorisations IAM requises pour activer la journalisation

Lors de la création de votre intégration, les rôles source et cible ont besoin des autorisations IAM suivantes pour activer la CloudWatch journalisation d'une intégration. AWS Glue Les intégrations Zero-ETL utilisent ces autorisations fournies dans les rôles source et cible pour émettre des CloudWatch journaux sur les comptes clients.

{
"Version": "2012-10-17",
    "Statement": [
        {
"Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
             ],
            "Resource": [
                "*"
            ]
        }
    ]
}

Messages de journaux

Format de journal : les intégrations sans ETL émettent quatre types de messages de journal :

// Ingestion started
{
"integrationArn": "arn:aws:glue:us-east-2:123456789012:integration/1a012bba-123a-1bba-ab1c-173de3b12345",
...
    "messageType": "IngestionStarted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job started"
    }
}
// Data processing stats on successful table ingestion
{
...
    "messageType": "IngestionProcessingStats",
    "details": {
        "tableName": "testDDBTable",
        "insert_count": 100,
        "update_count": 10,
        "delete_count": 10   
    }
}
// Ingestion failure logs for failed table-processing
{
...
    "messageType": "IngestionFailed",
    "details": {
        "tableName": "testDDBTable",
        "errorMessage": "Failed to ingest data with error: Target Glue database not found.",
        "error_code" : "client_error"
    }
}
// Ingestion completed notification with lastSyncedTimestamp
{
...
    "messageType": "IngestionCompleted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job completed"
        "lastSyncedTimestamp": "1132344255745"
    }
}

Afficher CloudWatch les statistiques Amazon pour une intégration

Une fois l'intégration terminée, vous pouvez voir les statistiques Amazon Cloudwatch générées dans votre compte pour chaque AWS Glue tâche exécutée :

CloudWatch espace de noms des métriques : "AWS/glue/ZeroEtl »

Dimensions des métriques :

Noms des métriques :

Gérer les notifications d'événements avec Amazon EventBridge

Les intégrations Zero-ETL utilisent Amazon EventBridge pour gérer les notifications d'événements afin de vous tenir au courant up-to-date des modifications apportées à vos intégrations. Amazon EventBridge est un service de bus d'événements sans serveur que vous pouvez utiliser pour connecter vos applications à des données provenant de diverses sources. Dans ce cas, la source de l'événement est AWS Glue. Les événements, qui sont des modifications surveillées dans un environnement, sont EventBridge envoyés AWS Glue automatiquement vers Les événements sont diffusés en temps quasi réel.

EventBridge fournit un environnement dans lequel vous pouvez écrire des règles d'événements, qui peuvent spécifier les actions à entreprendre pour des événements spécifiques. Vous pouvez également définir des cibles, c'est-à-dire des ressources auxquelles un événement EventBridge peut être envoyé. Une cible peut inclure une destination d'API, un groupe de CloudWatch journaux Amazon, etc. Pour plus d'informations sur les règles, consultez les EventBridge règles d'Amazon. Pour plus d'informations sur les cibles, consultez la section Amazon EventBridge Targets.

Pour capturer toutes les notifications Zero-ETL, créez une règle Eventbridge correspondant aux critères suivants :

{
  "source": [{
    "prefix": "aws.glue-zero-etl“
  }],
  "detail-type": [{
    "prefix": "Glue Zero ETL“
  }]
}

Le tableau suivant inclut des événements d’intégration zéro ETL, avec des métadonnées supplémentaires :