Contoh perintah terprogram untuk EMR Notebooks - Amazon EMR
Gambaran UmumIzinBatasanContoh

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Contoh perintah terprogram untuk EMR Notebooks

Gambaran Umum

Anda dapat menjalankan notebook EMR dengan eksekusi APIs dari skrip atau dari baris perintah. Saat Anda memulai, menghentikan, membuat daftar, dan menjelaskan eksekusi notebook EMR di luar AWS konsol, Anda dapat mengontrol notebook EMR secara terprogram. Anda dapat meneruskan nilai parameter yang berbeda ke buku catatan dengan sel notebook berparameter. Ini menghilangkan kebutuhan untuk membuat salinan notebook untuk setiap set nilai parameter baru. Untuk informasi selengkapnya, lihat tindakan Amazon EMR API.

Anda dapat menjadwalkan atau mengelompokkan eksekusi notebook EMR dengan acara Amazon CloudWatch dan. AWS Lambda Untuk informasi selengkapnya, lihat Menggunakan AWS Lambda dengan CloudWatch Acara Amazon.

catatan

EMR Notebooks tersedia sebagai EMR Studio Workspaces di konsol. Tombol Create Workspace di konsol memungkinkan Anda membuat notebook baru. Untuk mengakses atau membuat Ruang Kerja, pengguna EMR Notebooks memerlukan izin peran IAM tambahan. Untuk informasi selengkapnya, lihat Amazon EMR Notebook adalah Amazon EMR Studio Workspaces di konsol dan konsol Amazon EMR.

Izin peran untuk eksekusi terprogram

Untuk menggunakan eksekusi terprogram dengan EMR Notebooks, Anda harus mengonfigurasi izin pengguna dengan kebijakan berikut:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

Saat menjalankan EMR Notebooks secara terprogram di kluster EMR Notebooks, Anda harus menambahkan izin tambahan ini:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

Keterbatasan dengan eksekusi terprogram

  • Maksimal 100 eksekusi bersamaan didukung Wilayah AWS per akun.

  • Eksekusi dihentikan jika berjalan selama lebih dari 30 hari.

  • Eksekusi terprogram notebook tidak didukung dengan aplikasi interaktif Amazon EMR Serverless.

Contoh eksekusi notebook EMR terprogram

Bagian berikut memberikan beberapa contoh eksekusi notebook EMR terprogram dengan AWS CLI, Boto3 SDK (Python), dan Ruby:

Anda juga dapat menjalankan notebook berparameter sebagai bagian dari alur kerja terjadwal dengan alat orkestrasi seperti Apache Airflow atau Amazon Managed Workflows for Apache Airflow (MWAA). Untuk informasi selengkapnya, lihat Mengatur pekerjaan analitik di EMR Notebooks menggunakan MWAA di Big Data Blog.AWS