Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyesuaikan lokasi log untuk file log langkah

Dimulai di Amazon EMR versi 7.11, Anda sekarang dapat menyesuaikan perilaku logging S3 untuk langkah-langkah per langkah. Untuk satu langkah, Anda dapat memilih bucket S3 unik tempat log langkah diunggah. Anda juga dapat memilih kunci KMS unik yang digunakan untuk mengenkripsi log langkah saat istirahat, pada S3. Opsi ini lebih diutamakan daripada pengaturan logging di seluruh cluster yang dikonfigurasi saat meluncurkan cluster.

Prasyarat

Langkah konfigurasi log

Saat Anda mengirimkan langkah ke EMR, Anda dapat mengonfigurasi perilaku pencatatan langkah melalui. StepMonitoringConfiguration StepMonitoringConfiguration Berisi MonitoringConfiguration objek S3 di mana Anda dapat menentukan bucket and/or logging S3 kunci KMS untuk langkah tersebut.

Contoh berikut menunjukkan kepada Anda bagaimana Anda dapat menyesuaikan bucket S3 langkah dan kunci KMS dari skrip python:

import boto3

emr_client = boto3.client("emr", region_name="us-east-1")

# Define your step:
example_step = [
    {
        "Name": "Example Step for StepMonitoringConfiguration",
        "ActionOnFailure": "CONTINUE",
        "HadoopJarStep": {
            "Jar": "command-runner.jar",
            "Args": ["bash", "-c", "echo 1"]
        },
        "StepMonitoringConfiguration": {
            "S3MonitoringConfiguration": {
                "LogUri": "s3://your-s3-bucket/", # Replace this with your S3 bucket
                "EncryptionKeyArn": "arn:aws:kms:your-kms-key-arn" # Replace this with your KMS key ARN
            }
        }
    }
]

response = emr_client.add_job_flow_steps(
    JobFlowId="j-xxxxxxxxxxxxx",  # Replace this with your EMR cluster ID
    Steps=example_step
)

Pertimbangan-pertimbangan