Menggunakan Amazon S3 Access Grants dengan Amazon EMR di EKS - Amazon EMR
Gambaran UmumLuncurkan klasterPertimbangan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan Amazon S3 Access Grants dengan Amazon EMR di EKS

Ikhtisar Hibah Akses S3 untuk Amazon EMR di EKS

Dengan Amazon EMR rilis 6.15.0 dan yang lebih tinggi, Amazon S3 Access Grants menyediakan solusi kontrol akses yang dapat diskalakan yang dapat Anda gunakan untuk menambah akses ke data Amazon S3 Anda dari Amazon EMR di EKS. Jika Anda memiliki konfigurasi izin yang kompleks atau besar untuk data S3, Anda dapat menggunakan Access Grants untuk menskalakan izin data S3 untuk pengguna, peran, dan aplikasi.

Gunakan S3 Access Grants untuk menambah akses ke data Amazon S3 di luar izin yang diberikan oleh peran runtime atau peran IAM yang dilampirkan ke identitas dengan akses ke Amazon EMR Anda di klaster EKS.

Untuk informasi selengkapnya, lihat Mengelola akses dengan Hibah Akses S3 untuk Amazon EMR di Panduan Manajemen EMR Amazon dan Mengelola akses dengan Hibah Akses S3 di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

Halaman ini menjelaskan persyaratan untuk menjalankan pekerjaan Spark di Amazon EMR di EKS dengan integrasi S3 Access Grants. Dengan Amazon EMR di EKS, S3 Access Grants memerlukan pernyataan kebijakan IAM tambahan dalam peran eksekusi untuk pekerjaan Anda, dan konfigurasi penggantian tambahan untuk API. StartJobRun Untuk langkah-langkah menyiapkan Hibah Akses S3 dengan penerapan EMR Amazon lainnya, lihat dokumentasi berikut:

Luncurkan Amazon EMR di klaster EKS dengan S3 Access Grants untuk manajemen data

Anda dapat mengaktifkan S3 Access Grants di Amazon EMR di EKS dan meluncurkan pekerjaan Spark. Saat aplikasi Anda membuat permintaan untuk data S3, Amazon S3 menyediakan kredenal sementara yang dicakup ke bucket, awalan, atau objek tertentu.

  1. Siapkan peran eksekusi pekerjaan untuk EMR Amazon Anda di klaster EKS. Sertakan izin IAM yang diperlukan yang Anda perlukan untuk menjalankan pekerjaan Spark, dan: s3:GetDataAccess s3:GetAccessGrantsInstanceForPrefix

    {
    "Effect": "Allow",
    "Action": [
    "s3:GetDataAccess",
    "s3:GetAccessGrantsInstanceForPrefix"
    ],
    "Resource": [     //LIST ALL INSTANCE ARNS THAT THE ROLE IS ALLOWED TO QUERY
         "arn:aws_partition:s3:Region:account-id1:access-grants/default",
         "arn:aws_partition:s3:Region:account-id2:access-grants/default"
    ]
}
    catatan

    Jika Anda menentukan peran IAM yang untuk eksekusi pekerjaan yang memiliki izin tambahan untuk mengakses S3 secara langsung, maka pengguna mungkin dapat mengakses data terlepas dari izin yang Anda tentukan di S3 Access Grants

  2. Kirimkan pekerjaan ke EMR Amazon Anda di kluster EKS dengan label rilis Amazon EMR 6,15 atau lebih tinggi dan emrfs-site klasifikasi, seperti yang ditunjukkan contoh berikut. Ganti nilai red text dengan nilai yang sesuai untuk skenario penggunaan Anda.

    {
  "name": "myjob", 
  "virtualClusterId": "123456",  
  "executionRoleArn": "iam_role_name_for_job_execution", 
  "releaseLabel": "emr-7.8.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "entryPoint_location",
      "entryPointArguments": ["argument1", "argument2"],  
       "sparkSubmitParameters": "--class main_class"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emrfs-site", 
        "properties": {
          "fs.s3.s3AccessGrants.enabled": "true",
          "fs.s3.s3AccessGrants.fallbackToIAM": "false"
         }
      }
    ], 
  }
}

Akses S3 Memberikan pertimbangan dengan Amazon EMR di EKS

Untuk informasi dukungan, kompatibilitas, dan perilaku penting saat Anda menggunakan Hibah Akses Amazon S3 dengan Amazon EMR di EKS, lihat pertimbangan Hibah Akses S3 dengan Amazon EMR di Panduan Manajemen EMR Amazon.