Configurare un job run per usare Amazon CloudWatch Logs

Per monitorare l'avanzamento dei lavori e risolvere i problemi, devi configurare i lavori per inviare informazioni di log ad Amazon S3, Amazon CloudWatch Logs o entrambi. Questo argomento ti aiuta a iniziare a utilizzare CloudWatch i log sui tuoi lavori lanciati con Amazon EMR su EKS. Per ulteriori informazioni sui CloudWatch log, consulta Monitoring Log Files nella Amazon CloudWatch User Guide.

CloudWatch Registra la politica IAM

Affinché i lavori inviino i dati di registro a CloudWatch Logs, è necessario includere le seguenti autorizzazioni nella politica delle autorizzazioni per il ruolo di esecuzione del lavoro. Sostituisci my_log_group_name e my_log_stream_prefix con i nomi rispettivamente del gruppo di CloudWatch log e dei nomi dei flussi di log. Amazon EMR su EKS crea il gruppo di log e il flusso di log se non esistono ancora, purché l'ARN del ruolo di esecuzione disponga delle autorizzazioni appropriate.

{
     "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogStream",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams"
            ],
            "Resource": [
                "arn:aws:logs:*:*:*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:my_log_group_name:log-stream:my_log_stream_prefix/*"
            ]
        }
    ]
}

Dopo aver assegnato al ruolo di esecuzione le autorizzazioni appropriate, l'applicazione invia i dati di registro a CloudWatch Logs quando cloudWatchMonitoringConfiguration vengono passati nella monitoringConfiguration sezione di una start-job-run richiesta, come mostrato in. La gestione dei job viene eseguita con AWS CLI

Nell'StartJobRunAPI, log_group_name è il nome del gruppo di log e log_stream_prefix il prefisso del nome del flusso di log per CloudWatch. CloudWatch Puoi visualizzare e ricercare tali log in AWS Management Console.