As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Personalizando a localização do log para arquivos de log de etapas

A partir da versão 7.11 do Amazon EMR, agora você pode personalizar o comportamento de registro do S3 para etapas por etapa. Em uma única etapa, você pode escolher um bucket S3 exclusivo para o qual os registros da etapa são carregados. Você também pode escolher uma chave KMS exclusiva que é usada para criptografar os registros da etapa em repouso, no S3. Essas opções têm precedência sobre todas as configurações de registro em todo o cluster que são definidas ao iniciar o cluster.

Pré-requisitos

Configuração do log de etapas

Ao enviar uma etapa para o EMR, você pode configurar o comportamento de registro da etapa via. StepMonitoringConfiguration O StepMonitoringConfiguration contém o MonitoringConfiguration objeto S3, no qual você pode especificar um bucket de registro do S3 e and/or uma chave KMS para a etapa.

O exemplo a seguir mostra como você pode personalizar o bucket S3 e a chave KMS de uma etapa a partir de um script python:

import boto3

emr_client = boto3.client("emr", region_name="us-east-1")

# Define your step:
example_step = [
    {
        "Name": "Example Step for StepMonitoringConfiguration",
        "ActionOnFailure": "CONTINUE",
        "HadoopJarStep": {
            "Jar": "command-runner.jar",
            "Args": ["bash", "-c", "echo 1"]
        },
        "StepMonitoringConfiguration": {
            "S3MonitoringConfiguration": {
                "LogUri": "s3://your-s3-bucket/", # Replace this with your S3 bucket
                "EncryptionKeyArn": "arn:aws:kms:your-kms-key-arn" # Replace this with your KMS key ARN
            }
        }
    }
]

response = emr_client.add_job_flow_steps(
    JobFlowId="j-xxxxxxxxxxxxx",  # Replace this with your EMR cluster ID
    Steps=example_step
)

Considerações