Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan EMR Tanpa Server dengan AWS Lake Formation kontrol akses berbutir halus

Gambaran umum

Dengan Amazon EMR merilis 7.2.0 dan yang lebih tinggi, manfaatkan AWS Lake Formation untuk menerapkan kontrol akses berbutir halus pada tabel Katalog Data yang didukung oleh S3. Kemampuan ini memungkinkan Anda mengonfigurasi kontrol akses tingkat tabel, baris, kolom, dan sel untuk read kueri dalam pekerjaan Spark Tanpa Server EMR Amazon Anda. Untuk mengonfigurasi kontrol akses berbutir halus untuk pekerjaan batch Apache Spark dan sesi interaktif, gunakan EMR Studio. Lihat bagian berikut untuk mempelajari lebih lanjut tentang Lake Formation dan cara menggunakannya dengan EMR Tanpa Server.

Menggunakan Amazon EMR Tanpa Server dengan AWS Lake Formation dikenakan biaya tambahan. Untuk informasi lebih lanjut, lihat harga Amazon EMR.

Bagaimana EMR Serverless bekerja dengan AWS Lake Formation

Menggunakan EMR Tanpa Server dengan Lake Formation memungkinkan Anda menerapkan lapisan izin pada setiap pekerjaan Spark untuk menerapkan kontrol izin Lake Formation saat EMR Tanpa Server mengeksekusi pekerjaan. EMR Tanpa Server menggunakan profil sumber daya Spark untuk membuat dua profil untuk melaksanakan pekerjaan secara efektif. Profil pengguna mengeksekusi kode yang disediakan pengguna, sementara profil sistem memberlakukan kebijakan Lake Formation. Untuk informasi lebih lanjut, lihat Apa itu AWS Lake Formation dan Pertimbangan dan batasan.

Saat Anda menggunakan kapasitas pra-inisialisasi dengan Lake Formation, kami sarankan Anda memiliki minimal dua driver Spark. Setiap pekerjaan yang mendukung Lake Formation menggunakan dua driver Spark, satu untuk profil pengguna dan satu untuk profil sistem. Untuk kinerja terbaik, gunakan dua kali lipat jumlah driver untuk pekerjaan yang mendukung Lake Formation dibandingkan jika Anda tidak menggunakan Lake Formation.

Saat Anda menjalankan pekerjaan Spark di EMR Tanpa Server, pertimbangkan juga dampak alokasi dinamis pada manajemen sumber daya dan kinerja klaster. Konfigurasi spark.dynamicAllocation.maxExecutors jumlah maksimum pelaksana per profil sumber daya berlaku untuk pengguna dan pelaksana sistem. Jika Anda mengonfigurasi angka tersebut agar sama dengan jumlah maksimum pelaksana yang diizinkan, pekerjaan Anda mungkin macet karena satu jenis pelaksana yang menggunakan semua sumber daya yang tersedia, yang mencegah pelaksana lain saat Anda menjalankan pekerjaan.

Jadi Anda tidak kehabisan sumber daya, EMR Serverless menetapkan jumlah maksimum default pelaksana per profil sumber daya menjadi 90% dari nilai. spark.dynamicAllocation.maxExecutors Anda dapat mengganti konfigurasi ini ketika Anda menentukan spark.dynamicAllocation.maxExecutorsRatio dengan nilai antara 0 dan 1. Selain itu, konfigurasikan juga properti berikut untuk mengoptimalkan alokasi sumber daya dan kinerja keseluruhan:

Berikut ini adalah ikhtisar tingkat tinggi tentang bagaimana EMR Tanpa Server mendapatkan akses ke data yang dilindungi oleh kebijakan keamanan Lake Formation.

Mengaktifkan Lake Formation di Amazon EMR

Untuk mengaktifkan Lake Formation, atur spark.emr-serverless.lakeformation.enabled ke true bawah spark-defaults klasifikasi untuk parameter konfigurasi runtime saat membuat aplikasi EMR Tanpa Server.

aws emr-serverless create-application \
    --release-label emr-7.10.0 \
    --runtime-configuration '{
     "classification": "spark-defaults", 
     "properties": {
      "spark.emr-serverless.lakeformation.enabled": "true"
      }
    }' \
    --type "SPARK"

Anda juga dapat mengaktifkan Lake Formation saat membuat aplikasi baru di EMR Studio. Pilih Gunakan Lake Formation untuk kontrol akses berbutir halus, tersedia di bawah Konfigurasi tambahan.

Enkripsi antar pekerja diaktifkan secara default saat Anda menggunakan Lake Formation dengan EMR Tanpa Server, jadi Anda tidak perlu mengaktifkan enkripsi antar-pekerja secara eksplisit lagi.

Mengaktifkan Lake Formation untuk pekerjaan Spark

Untuk mengaktifkan Lake Formation untuk pekerjaan Spark individual, setel spark.emr-serverless.lakeformation.enabled ke true saat menggunakanspark-submit.

--conf spark.emr-serverless.lakeformation.enabled=true

Izin IAM peran runtime pekerjaan

Izin Lake Formation mengontrol akses ke sumber daya Katalog Data AWS Glue, lokasi Amazon S3, dan data dasar di lokasi tersebut. Izin IAM mengontrol akses ke Lake Formation dan AWS Glue APIs dan sumber daya. Meskipun Anda mungkin memiliki izin Lake Formation untuk mengakses tabel di Katalog Data (SELECT), operasi Anda gagal jika Anda tidak memiliki izin IAM pada operasi glue:Get* API.

Berikut ini adalah contoh kebijakan tentang cara memberikan izin IAM untuk mengakses skrip di S3, mengunggah log ke S3, izin AWS Glue API, dan izin untuk mengakses Lake Formation.

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "ScriptAccess",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::*.amzn-s3-demo-bucket/scripts",
        "arn:aws:s3:::*.amzn-s3-demo-bucket/*"
      ]
    },
    {
      "Sid": "LoggingAccess",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/logs/*"
      ]
    },
    {
      "Sid": "GlueCatalogAccess",
      "Effect": "Allow",
      "Action": [
        "glue:Get*",
        "glue:Create*",
        "glue:Update*"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Sid": "LakeFormationAccess",
      "Effect": "Allow",
      "Action": [
        "lakeformation:GetDataAccess"
      ],
      "Resource": [
        "*"
      ]
    }
  ]
}

Menyiapkan izin Lake Formation untuk peran runtime pekerjaan

Pertama, daftarkan lokasi meja Hive Anda dengan Lake Formation. Kemudian buat izin untuk peran runtime pekerjaan Anda di tabel yang Anda inginkan. Untuk detail lebih lanjut tentang Lake Formation, lihat Apa itu AWS Lake Formation? di Panduan AWS Lake Formation Pengembang.

Setelah Anda mengatur izin Lake Formation, kirimkan pekerjaan Spark di Amazon EMR Tanpa Server. Untuk informasi lebih lanjut tentang pekerjaan Spark, lihat contoh Spark.

Mengirimkan pekerjaan

Setelah Anda selesai menyiapkan hibah Lake Formation, Anda dapat mengirimkan pekerjaan Spark di EMR Tanpa Server. Bagian berikut menunjukkan contoh cara mengkonfigurasi dan mengirimkan properti job run.

Dukungan format meja terbuka

EMR Tanpa Server mendukung Apache Hive, Apache Iceberg, dan pada rilis 7.6.0, Delta Lake dan Apache Hudi. Untuk informasi tentang dukungan operasi, lihat tab berikut.

Hive

Operasi	Catatan
Operasi baca	Sepenuhnya didukung
Kueri tambahan	Tidak berlaku
Pertanyaan perjalanan waktu	Tidak berlaku untuk format tabel ini
DML INSERT	Hanya dengan izin IAM
PEMBARUAN DML.	Tidak berlaku untuk format tabel ini
DML DELETE	Tidak berlaku untuk format tabel ini
Perintah DDL	Hanya dengan izin IAM
Tabel metadata	Tidak berlaku untuk format tabel ini
Prosedur tersimpan	Tidak berlaku
Pemeliharaan meja dan fitur utilitas	Tidak berlaku

Iceberg

Operasi	Catatan
Operasi baca	Sepenuhnya didukung
Kueri tambahan	Sepenuhnya didukung
Pertanyaan perjalanan waktu	Sepenuhnya didukung
DML INSERT	Hanya dengan izin IAM
PEMBARUAN DML.	Hanya dengan izin IAM
DML DELETE	Hanya dengan izin IAM
Perintah DDL	Hanya dengan izin IAM
Tabel metadata	Didukung, tetapi tabel tertentu disembunyikan. Lihat pertimbangan dan batasan untuk informasi lebih lanjut.
Prosedur tersimpan	Didukung dengan pengecualian register_table danmigrate. Lihat pertimbangan dan batasan untuk informasi lebih lanjut.
Pemeliharaan meja dan fitur utilitas	Tidak berlaku

Konfigurasi Spark untuk Iceberg: Contoh berikut menunjukkan cara mengkonfigurasi Spark dengan Iceberg. Untuk menjalankan pekerjaan Iceberg, sediakan properti berikutspark-submit.

--conf spark.sql.catalog.spark_catalog=org.apache.iceberg.spark.SparkSessionCatalog
--conf spark.sql.catalog.spark_catalog.warehouse=<S3_DATA_LOCATION>
--conf spark.sql.catalog.spark_catalog.glue.account-id=<ACCOUNT_ID>
--conf spark.sql.catalog.spark_catalog.client.region=<REGION>
--conf spark.sql.catalog.spark_catalog.glue.endpoint=https://glue.<REGION>.amazonaws.com

Hudi

Operasi	Catatan
Operasi baca	Sepenuhnya didukung
Kueri tambahan	Sepenuhnya didukung
Pertanyaan perjalanan waktu	Sepenuhnya didukung
DML INSERT	Hanya dengan izin IAM
PEMBARUAN DML.	Hanya dengan izin IAM
DML DELETE	Hanya dengan izin IAM
Perintah DDL	Hanya dengan izin IAM
Tabel metadata	Tidak didukung
Prosedur tersimpan	Tidak berlaku
Pemeliharaan meja dan fitur utilitas	Tidak didukung

Sampel berikut mengkonfigurasi Spark dengan Hudi, menentukan lokasi file dan properti lain yang diperlukan untuk digunakan.

Konfigurasi percikan untuk Hudi: Cuplikan ini saat digunakan di notebook menentukan jalur ke file JAR bundel Hudi Spark, yang memungkinkan fungsionalitas Hudi di Spark. Ini juga mengkonfigurasi Spark untuk menggunakan AWS Glue Data Catalog sebagai metastore.

%%configure -f
{
    "conf": {
        "spark.jars": "/usr/lib/hudi/hudi-spark-bundle.jar",
        "spark.hadoop.hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
        "spark.serializer": "org.apache.spark.serializer.JavaSerializer",
        "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.hudi.catalog.HoodieCatalog",
        "spark.sql.extensions": "org.apache.spark.sql.hudi.HoodieSparkSessionExtension"
    }
}

Konfigurasi percikan untuk Hudi dengan AWS Glue: Cuplikan ini saat digunakan di notebook memungkinkan Hudi sebagai format data-lake yang didukung dan memastikan bahwa pustaka dan dependensi Hudi tersedia.

%%configure
{
    "--conf": "spark.serializer=org.apache.spark.serializer.JavaSerializer --conf 
spark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalog.HoodieCatalog --conf 
spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension",
    "--datalake-formats": "hudi",
    "--enable-glue-datacatalog": True,
    "--enable-lakeformation-fine-grained-access": "true"
}

Delta Lake

Operasi	Catatan
Operasi baca	Sepenuhnya didukung
Kueri tambahan	Sepenuhnya didukung
Pertanyaan perjalanan waktu	Sepenuhnya didukung
DML INSERT	Hanya dengan izin IAM
PEMBARUAN DML.	Hanya dengan izin IAM
DML DELETE	Hanya dengan izin IAM
Perintah DDL	Hanya dengan izin IAM
Tabel metadata	Tidak didukung
Prosedur tersimpan	Tidak berlaku
Pemeliharaan meja dan fitur utilitas	Tidak didukung

EMR Tanpa Server dengan Delta Lake: Untuk menggunakan Delta Lake dengan Lake Formation di EMR Tanpa Server, jalankan perintah berikut:

spark-sql \
  --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension,com.amazonaws.emr.recordserver.connector.spark.sql.RecordServerSQLExtension \
  --conf spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog \