AWS Data Pipeline tidak lagi tersedia untuk pelanggan baru. Pelanggan yang sudah ada AWS Data Pipeline dapat terus menggunakan layanan seperti biasa. Pelajari selengkapnya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

EmrCluster

Merepresentasikan konfigurasi klaster Amazon EMR. Objek ini digunakan oleh EmrActivity dan HadoopActivity untuk meluncurkan sebuah klaster.

Penjadwal

Penjadwal menyediakan cara untuk menentukan alokasi sumber daya dan prioritas tugas dalam klaster Hadoop. Administrator atau pengguna dapat memilih penjadwal untuk berbagai kelas pengguna dan aplikasi. Penjadwal bisa menggunakan antrean untuk mengalokasikan sumber daya untuk pengguna dan aplikasi. Anda mengatur antrean tersebut ketika Anda membuat klaster. Anda kemudian dapat mengatur prioritas untuk jenis pekerjaan tertentu dan pengguna atas orang lain. Ini menyediakan untuk efisien penggunaan klaster sumber daya, sementara mengizinkan lebih dari satu pengguna untuk mengirimkan pekerjaan ke klaster. Ada tiga jenis penjadwal yang tersedia:

Amazon EMR Versi Rilis

Rilis Amazon EMR adalah seperangkat aplikasi sumber terbuka dari ekosistem big data. Setiap rilis terdiri dari aplikasi big data, komponen, dan fitur yang berbeda yang bisa Anda pilih untuk diinstal dan dikonfigurasi oleh Amazon EMR ketika Anda membuat sebuah klaster. Anda menentukan versi rilis menggunakan Label rilis. Label rilis ada dalam bentukemr-x.x.x. Misalnya, emr-5.30.0. Klaster Amazon EMR berdasarkan label rilis emr-4.0.0 dan kemudian menggunakan properti releaseLabel untuk menentukan label rilis dari objek EmrCluster. Versi sebelumnya menggunakan properti amiVersion.

Pertimbangan dan Batasan

Gunakan versi terbaru Task Runner

Jika Anda menggunakan objek EmrCluster yang dikelola sendiri dengan label rilis, gunakan Task Runner terbaru. Untuk informasi selengkapnya tentang Task Runner, lihat Bekerja dengan Runner Tugas. Anda dapat mengonfigurasi nilai properti untuk semua klasifikasi konfigurasi Amazon EMR. Untuk informasi selengkapnya, lihat Mengonfigurasi Aplikasi di Panduan Rilis Amazon EMR, EmrConfiguration, dan referensi objek Properti.

Support untuk IMDSv2

Sebelumnya, hanya AWS Data Pipeline didukung IMDSv1. Sekarang, AWS Data Pipeline mendukung IMDSv2 di Amazon EMR 5.23.1, 5.27.1, dan 5.32 atau yang lebih baru, dan Amazon EMR 6.2 atau yang lebih baru. IMDSv2 menggunakan metode berorientasi sesi untuk menangani otentikasi dengan lebih baik saat mengambil informasi metadata dari instance. Anda harus mengonfigurasi instance Anda untuk melakukan IMDSv2 panggilan dengan membuat sumber daya yang dikelola pengguna menggunakan -2.0. TaskRunner

Amazon EMR 5.32 atau yang lebih baru dan Amazon EMR 6.x

Rilis seri Amazon EMR 5.32 atau yang lebih baru dan 6.x menggunakan Hadoop versi 3.x, yang memperkenalkan perubahan besar dalam bagaimana classpath Hadoop dievaluasi dibandingkan dengan Hadoop versi 2.x. Perpustakaan umum seperti Joda-Time telah dihapus dari classpath.

Jika EmrActivity atau HadoopActivity menjalankan file Jar yang memiliki dependensi pada perpustakaan yang telah dihapus di Hadoop 3.x, langkah gagal dengan kesalahan java.lang.NoClassDefFoundError atau java.lang.ClassNotFoundException. Hal ini dapat terjadi untuk file Jar yang berjalan tanpa masalah menggunakan versi rilis Amazon EMR 5.x.

Untuk memperbaiki masalah ini, Anda harus menyalin file Jar dependensi ke classpath Hadoop pada objek EmrCluster sebelum memulai EmrActivity atau HadoopActivity. Kami menyediakan script bash untuk melakukan hal ini. Script bash tersedia di lokasi berikut, di mana MyRegion AWS Wilayah di mana EmrCluster objek Anda berjalan, misalnyaus-west-2.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

Cara untuk menjalankan script tergantung pada apakah EmrActivity atau HadoopActivity berjalan pada sumber daya yang dikelola oleh AWS Data Pipeline atau berjalan pada sumber daya yang dikelola sendiri.

Jika Anda menggunakan sumber daya yang dikelola oleh AWS Data Pipeline, tambahkan a bootstrapAction ke EmrCluster objek. bootstrapAction menentukan script dan file Jar untuk menyalin sebagai argumen. Anda dapat menambahkan hingga 255 bidang bootstrapAction per objek EmrCluster, dan Anda dapat menambahkan bidang bootstrapAction ke objek EmrCluster yang sudah memiliki tindakan bootstrap.

Untuk menentukan script ini sebagai tindakan bootstrap, gunakan sintaks berikut, di mana Wilayah di mana JarFileRegion file Jar disimpan, dan masing-masing MyJarFilen adalah jalur absolut di Amazon S3 dari file Jar yang akan disalin ke classpath Hadoop. Jangan menentukan file Jar yang berada di classpath Hadoop secara default.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

Contoh berikut menentukan tindakan bootstrap yang menyalin dua file Jar di Amazon S3: my-jar-file.jar dan emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar. Wilayah yang digunakan dalam contoh ini adalah us-west-2.

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

Anda harus menyimpan dan mengaktifkan alur untuk perubahan ke bootstrapAction untuk mengambil efek.

Jika Anda menggunakan sumber daya yang dikelola sendiri, Anda dapat mengunduh script untuk instans klaster dan menjalankannya dari baris perintah menggunakan SSH. Script membuat direktori bernama /etc/hadoop/conf/shellprofile.d dan sebuah file bernama datapipeline-jars.sh dalam direktori itu. File jar disediakan sebagai argumen baris perintah disalin ke direktori yang script ciptakan yang bernama /home/hadoop/datapipeline_jars. Jika klaster Anda diatur berbeda, modifikasi script dengan tepat setelah mengunduhnya.

Sintaks untuk menjalankan script pada baris perintah sedikit berbeda dari menggunakan bootstrapAction yang ditunjukkan pada contoh sebelumnya. Gunakan spasi bukan koma antara argumen, seperti yang ditunjukkan dalam contoh berikut.

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

Izin Amazon EMR

Ketika Anda membuat IAM role kustom, hati-hati mempertimbangkan izin minimum yang diperlukan untuk klaster Anda untuk melakukan pekerjaan. Pastikan untuk memberikan akses ke sumber daya yang diperlukan, seperti file di Amazon S3 atau data di Amazon RDS, Amazon Redshift, atau DynamoDB. Jika Anda ingin mengatur visibleToAllUsers ke SALAH, peran Anda harus memiliki izin yang tepat untuk melakukannya. Perhatikan bahwa DataPipelineDefaultRole tidak memiliki izin ini. Anda harus memberikan penyatuan peran DefaultDataPipelineResourceRole dan DataPipelineDefaultRole sebagai peran objek EmrCluster, atau membuat peran Anda sendiri untuk tujuan ini.

Sintaksis

Lihat Juga