Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Memulai dengan AWS Glue Bagian berikut memberikan informasi tentang pengaturanAWS Glue. Tidak semua bagian pengaturan diperlukan untuk mulai menggunakanAWS Glue. Anda dapat menggunakan instruksi yang diperlukan untuk mengatur izin IAM, enkripsi, dan DNS (jika Anda menggunakan lingkungan VPC untuk mengakses penyimpanan data atau jika Anda menggunakan sesi interaktif). **Topics** + [Ikhtisar penggunaan AWS Glue](start-console-overview.md) + [Menyiapkan izin IAM untuk AWS Glue](set-up-iam.md) + [Menyiapkan profil AWS Glue penggunaan](start-usage-profiles.md) + [Memulai dengan AWS Glue Data Catalog](start-data-catalog.md) + [Menyiapkan akses jaringan ke penyimpanan data](start-connecting.md) + [Menyiapkan enkripsi di AWS Glue](set-up-encryption.md) + [Menyiapkan jaringan untuk pengembangan AWS Glue](start-development-endpoint.md) # Ikhtisar penggunaan AWS Glue Dengan AWS Glue, Anda menyimpan metadata di. AWS Glue Data Catalog Anda menggunakan metadata ini untuk mengatur tugas ETL yang mengubah sumber data dan memuat gudang data atau danau data Anda. Langkah-langkah berikut menjelaskan alur kerja umum dan beberapa pilihan yang Anda buat saat bekerja dengan AWS Glue. **catatan** Anda dapat menggunakan langkah-langkah berikut, atau Anda dapat membuat alur kerja yang secara otomatis melakukan langkah 1 hingga 3. Untuk informasi selengkapnya, lihat [Melakukan aktivitas ETL yang kompleks menggunakan cetak biru dan alur kerja di AWS Glue](orchestrate-using-workflows.md). 1. Isi AWS Glue Data Catalog dengan definisi tabel. Di konsol, untuk penyimpanan data persisten, Anda dapat menambahkan crawler untuk mengisi AWS Glue Data Catalog. Anda dapat memulai penuntun **Tambahkan crawler** dari daftar tabel atau daftar crawler. Anda memilih satu atau beberapa penyimpanan data untuk diakses oleh crawler Anda. Anda juga dapat membuat jadwal untuk menentukan seberapa sering Anda menjalankan crawler Anda. Untuk aliran data, Anda dapat secara manual membuat definisi tabel, dan menentukan properti pengaliran. Opsional, Anda dapat memberikan pengklasifikasi kustom yang menyimpulkan skema data Anda. Anda dapat membuat pengklasifikasi kustom dengan menggunakan pola grok. Namun, AWS Glue menyediakan pengklasifikasi bawaan yang secara otomatis digunakan oleh crawler jika pengklasifikasi kustom tidak mengenali data Anda. Saat menentukan crawler, Anda tidak perlu memilih pengklasifikasi. Untuk informasi selengkapnya tentang cara mengklasifikasikan di AWS Glue, lihat [Mendefinisikan dan mengelola pengklasifikasi](add-classifier.md). Melakukan crawling pada beberapa jenis penyimpanan data yang memerlukan koneksi yang menyediakan autentikasi dan informasi lokasi. Jika diperlukan, Anda dapat membuat koneksi yang menyediakan informasi yang diperlukan ini di konsol AWS Glue. Crawler membaca penyimpanan data Anda dan membuat definisi data dan tabel bernama di AWS Glue Data Catalog. Tabel ini diatur ke dalam basis data pilihan Anda. Anda juga dapat mengisi Katalog Data dengan tabel yang dibuat secara manual. Dengan metode ini, Anda menyediakan skema dan metadata lainnya untuk membuat tabel definisi dalam Katalog Data tersebut. Karena metode ini bisa sedikit membosankan dan rawan kesalahan, maka sebaiknya Anda biarkan crawler membuat definisi tabel. Untuk informasi lebih lanjut tentang mengisi definisi tabel AWS Glue Data Catalog dengan, lihat[Membuat tabel](tables-described.md). 1. Mendefinisikan tugas yang menggambarkan transformasi data dari sumber ke target. Umumnya, untuk membuat tugas, Anda harus membuat pilihan berikut: + Pilih tabel dari AWS Glue Data Catalog untuk menjadi sumber pekerjaan. Tugas Anda menggunakan definisi tabel ini untuk mengakses sumber data Anda dan menafsirkan format data Anda. + Pilih meja atau lokasi dari AWS Glue Data Catalog yang akan menjadi target pekerjaan. Tugas Anda menggunakan informasi ini untuk mengakses penyimpanan data Anda. + Katakan AWS Glue untuk menghasilkan skrip untuk mengubah sumber Anda menjadi target. AWS Gluemenghasilkan kode untuk memanggil transformasi bawaan untuk mengonversi data dari skema sumbernya ke format skema target. Transformasi ini melakukan operasi seperti salin data, mengubah nama kolom, dan mem-filter data untuk mengubah data yang diperlukan. Anda dapat memodifikasi skrip ini di konsol AWS Glue. Untuk informasi selengkapnya tentang cara menentukan tugas di AWS Glue, lihat [Membangun pekerjaan visual ETL](author-job-glue.md). 1. Jalankan tugas Anda untuk melakukan transformasi pada data Anda. Anda dapat menjalankan tugas Anda sesuai permintaan, atau memulainya berdasarkan salah satu jenis pemicu ini: + Pemicu yang berbasis jadwal cron. + Pemicu yang berbasis peristiwa; misalnya, berhasil menyelesaikan tugas lain dapat memulai tugas AWS Glue. + Pemicu yang memulai tugas sesuai permintaan. Untuk informasi lebih lanjut tentang pemicu di AWS Glue, lihat [Memulai pekerjaan dan crawler menggunakan pemicu](trigger-job.md). 1. Pantau crawler terjadwal dan tugas terpicu Anda. Gunakan konsol AWS Glue untuk melihat hal berikut ini: + Detail dan kesalahan eksekusi tugas. + Detail dan kesalahan eksekusi crawler. + Notifikasi tentang aktivitas AWS Glue Untuk informasi selengkapnya tentang cara memantau crawler dan tugas di AWS Glue, lihat [Pemantauan AWS Glue](monitor-glue.md). # Menyiapkan izin IAM untuk AWS Glue Petunjuk dalam topik ini membantu Anda mengatur izin AWS Identity and Access Management (IAM) dengan cepat untuk. AWS Glue Anda akan menyelesaikan tugas-tugas berikut: + Berikan identitas IAM Anda akses ke AWS Glue sumber daya. + Buat peran layanan untuk menjalankan pekerjaan, mengakses data, dan menjalankan tugas Kualitas AWS Glue Data. Untuk petunjuk terperinci yang dapat Anda gunakan untuk menyesuaikan izin IAM AWS Glue, lihat. [Mengkonfigurasi izin IAM untuk AWS Glue](configure-iam-for-glue.md) **Untuk mengatur izin IAM untuk AWS Glue di Konsol Manajemen AWS** 1. Masuk ke Konsol Manajemen AWS dan buka AWS Glue konsol di [https://console.aws.amazon.com/glue/](https://console.aws.amazon.com/glue/). 1. Pilih **Memulai**. 1. Di bawah **Siapkan akun Anda AWS Glue**, pilih **Siapkan izin IAM**. 1. Pilih identitas IAM (peran atau pengguna) yang ingin Anda berikan AWS Glue izin. AWS Glue melampirkan kebijakan yang `[AWSGlueConsoleFullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AWSGlueConsoleFullAccess)` dikelola pada identitas ini. Anda dapat melewati langkah ini jika Anda ingin mengatur izin ini secara manual atau hanya ingin menetapkan peran layanan default. 1. Pilih **Berikutnya**. 1. Pilih tingkat akses Amazon S3 yang dibutuhkan peran dan pengguna Anda. Opsi yang Anda pilih dalam langkah ini diterapkan ke semua identitas yang Anda pilih. 1. Di bawah **Pilih lokasi S3**, pilih lokasi Amazon S3 yang ingin Anda akses. 1. Selanjutnya, pilih apakah identitas Anda harus memiliki akses **Baca saja (disarankan)** atau **Baca dan tulis** ke lokasi yang sebelumnya Anda pilih. AWS Glue menambahkan kebijakan izin ke identitas Anda berdasarkan kombinasi lokasi dan izin baca atau tulis yang Anda pilih. Tabel berikut menampilkan izin yang AWS Glue dilampirkan untuk akses Amazon S3. **** [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/set-up-iam.html) 1. Pilih **Berikutnya**. 1. Pilih peran AWS Glue layanan default untuk akun Anda. Peran layanan adalah peran IAM yang AWS Glue digunakan untuk mengakses sumber daya di AWS layanan lain atas nama Anda. Untuk informasi selengkapnya, lihat [Peran layanan untuk AWS Glue](security_iam_service-with-iam.md#security_iam_service-with-iam-roles-service). + Bila Anda memilih peran AWS Glue layanan standar, AWS Glue buat peran IAM baru dalam Akun AWS nama Anda `AWSGlueServiceRole` dengan kebijakan terkelola berikut yang dilampirkan. Jika akun Anda sudah memiliki nama peran IAM`AWSGlueServiceRole`, AWS Glue lampirkan kebijakan ini ke peran yang ada. + [ AWSGlueServiceRole](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole)Kebijakan terkelola ini diperlukan AWS Glue untuk mengakses dan mengelola sumber daya atas nama Anda. Ini memungkinkan AWS Glue untuk membuat, memperbarui, dan menghapus berbagai sumber daya seperti AWS Glue pekerjaan, crawler, dan koneksi. Kebijakan ini juga memberikan izin untuk mengakses Amazon CloudWatch log AWS Glue untuk tujuan pencatatan. Untuk tujuan memulai, sebaiknya gunakan kebijakan ini untuk mempelajari cara menggunakannya AWS Glue. Ketika Anda merasa lebih nyaman AWS Glue, Anda dapat membuat kebijakan yang memungkinkan Anda untuk menyempurnakan akses ke sumber daya sesuai kebutuhan. + [AWSGlueConsoleFullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AWSGlueConsoleFullAccess)— Kebijakan terkelola ini memberikan akses penuh ke AWS Glue layanan melalui. Konsol Manajemen AWS Kebijakan ini memberikan izin untuk melakukan operasi apa pun di dalamnya AWS Glue, memungkinkan Anda membuat, memodifikasi, dan menghapus AWS Glue sumber daya apa pun sesuai kebutuhan. Namun, penting untuk dicatat bahwa kebijakan ini tidak memberikan izin untuk mengakses penyimpanan data yang mendasarinya atau AWS layanan lain yang mungkin terlibat dalam proses ETL. Karena cakupan izin yang luas yang diberikan oleh `AWSGlueConsoleFullAccess` kebijakan, izin tersebut harus ditetapkan dengan hati-hati dan mengikuti prinsip hak istimewa paling sedikit. Umumnya disarankan untuk membuat dan menggunakan kebijakan yang lebih terperinci yang disesuaikan dengan kasus penggunaan dan persyaratan tertentu bila memungkinkan. + [ AWSGlueConsole-S3- read-only-policy](https://console.aws.amazon.com/iam/home#policies/details/arn:aws:iam:aws:policy/AWSGlueConsole-S3-read-only-policy) — Kebijakan ini memungkinkan AWS Glue untuk membaca data dari bucket Amazon S3 yang ditentukan, tetapi tidak memberikan izin untuk menulis atau memodifikasi data di Amazon S3 atau [ AWSGlueConsole-S3- read-and-write](https://console.aws.amazon.com/iam/home#policies/details/arn:aws:iam:aws:policy/AWSGlueConsole-S3-read-and-write) — Kebijakan ini memungkinkan AWS Glue untuk membaca dan menulis data ke bucket Amazon S3 tertentu sebagai bagian dari proses ETL. + Saat Anda memilih peran IAM yang ada, AWS Glue tetapkan peran sebagai default, tetapi tidak menambahkan `AWSGlueServiceRole` izin ke dalamnya. Pastikan Anda telah mengonfigurasi peran yang akan digunakan sebagai peran layanan AWS Glue. Untuk informasi selengkapnya, lihat [Langkah 1: Buat kebijakan IAM untuk layanan AWS Glue](create-service-policy.md) dan [Langkah 2: Buat peran IAM untuk AWS Glue](create-an-iam-role.md). 1. Pilih **Berikutnya**. 1. Terakhir, tinjau izin yang telah Anda pilih lalu pilih **Terapkan perubahan**. Saat Anda menerapkan perubahan, AWS Glue menambahkan izin IAM ke identitas yang Anda pilih. Anda dapat melihat atau memodifikasi izin baru di konsol IAM di. [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/) Anda sekarang telah menyelesaikan pengaturan izin IAM minimum untuk. AWS Glue Dalam lingkungan produksi, kami menyarankan Anda membiasakan diri dengan [Keamanan di AWS Glue](security.md) dan [Manajemen identitas dan akses untuk AWS Glue](security-iam.md) membantu Anda mengamankan AWS sumber daya untuk kasus penggunaan Anda. ## Langkah selanjutnya Sekarang setelah Anda memiliki izin IAM yang disiapkan, Anda dapat menjelajahi topik berikut untuk mulai menggunakan: AWS Glue + [Memulai dengan AWS Glue di AWS Skill Builder](https://explore.skillbuilder.aws/learn/course/external/view/elearning/8171/getting-started-with-aws-glue) + [Memulai dengan AWS Glue Data Catalog](start-data-catalog.md) # Pengaturan untuk AWS Glue Studio Selesaikan tugas di bagian ini saat Anda menggunakan AWS Glue ETL visual untuk pertama kalinya: **Topics** + [Tinjau izin IAM yang diperlukan untuk pengguna AWS Glue Studio](getting-started-min-privs.md) + [Tinjau izin IAM yang diperlukan untuk pekerjaan ETL](getting-started-min-privs-job.md) + [Siapkan izin IAM untuk AWS Glue Studio](getting-started-iam-permissions.md) + [Konfigurasikan VPC untuk pekerjaan ETL Anda](getting-started-vpc-config.md) # Tinjau izin IAM yang diperlukan untuk pengguna AWS Glue Studio Untuk menggunakannyaAWS Glue Studio, pengguna harus memiliki akses ke berbagai AWS sumber daya. Pengguna harus dapat melihat dan memilih bucket Amazon S3, kebijakan IAM dan IAM role, dan objek AWS Glue Data Catalog. ## Izin layanan AWS Glue AWS Glue Studiomenggunakan tindakan dan sumber daya AWS Glue layanan. Pengguna Anda memerlukan izin pada tindakan dan sumber daya ini untuk digunakan AWS Glue Studio secara efektif. Anda dapat memberi AWS Glue Studio pengguna kebijakan `AWSGlueConsoleFullAccess` terkelola, atau membuat kebijakan khusus dengan sekumpulan izin yang lebih kecil. **penting** Sesuai praktik keamanan terbaik, disarankan untuk membatasi akses dengan memperketat kebijakan untuk lebih membatasi akses ke bucket Amazon S3 dan grup log Amazon CloudWatch . Untuk contoh kebijakan Amazon S3, lihat [Menulis Kebijakan IAM: Cara Memberikan Akses ke Bucket Amazon S3](https://aws.amazon.com/blogs/security/writing-iam-policies-how-to-grant-access-to-an-amazon-s3-bucket/). ## Membuat Kebijakan IAM Kustom untuk AWS Glue Studio Anda dapat membuat kebijakan kustom dengan sekumpulan izin yang lebih kecil untukAWS Glue Studio. Kebijakan dapat memberikan izin untuk subset objek atau tindakan. Gunakan informasi berikut saat membuat kebijakan khusus. Untuk menggunakan AWS Glue Studio APIs, sertakan `glue:UseGlueStudio` dalam kebijakan tindakan dalam izin IAM Anda. Menggunakan `glue:UseGlueStudio` akan memungkinkan Anda untuk mengakses semua AWS Glue Studio tindakan bahkan ketika lebih banyak tindakan ditambahkan ke API dari waktu ke waktu. Untuk informasi selengkapnya tentang tindakan yang ditentukan oleh AWS Glue, lihat [Tindakan yang ditentukan oleh AWS Glue](https://docs.aws.amazon.com/service-authorization/latest/reference/list_awsglue.html). **Persiapan data pembuatan Tindakan** + SendRecipeAction + GetRecipeAction **Tindakan grafik asiklik terarah (DAG)** + CreateDag + UpdateDag + GetDag + DeleteDag **Aksi Job** + SaveJob + GetJob + CreateJob + DeleteJob + GetJobs + UpdateJob **Job run Actions** + StartJobRun + GetJobRuns + BatchStopJobRun + GetJobRun + QueryJobRuns + QueryJobs + QueryJobRunsAggregated **Tindakan Skema** + GetSchema + GetInferredSchema **Tindakan Database** + GetDatabases **Rencanakan Tindakan** + GetPlan **Tindakan Tabel** + SearchTables + GetTables + GetTable **Tindakan Koneksi** + CreateConnection + DeleteConnection + UpdateConnection + GetConnections + GetConnection **Tindakan Pemetaan** + GetMapping **Tindakan Proksi S3** + ListBuckets + ListObjectsV2 + GetBucketLocation **Tindakan Konfigurasi Keamanan** + GetSecurityConfigurations **Tindakan Skrip** + CreateScript (berbeda dari API dengan nama yang sama diAWS Glue) ## Mengakses AWS Glue Studio APIs Untuk mengaksesAWS Glue Studio, tambahkan `glue:UseGlueStudio` daftar kebijakan tindakan di izin IAM. Dalam contoh di bawah `glue:UseGlueStudio` ini, termasuk dalam kebijakan tindakan, tetapi tidak AWS Glue Studio APIs diidentifikasi secara individual. Itu karena ketika Anda menyertakan`glue:UseGlueStudio`, Anda secara otomatis diberikan akses ke internal APIs tanpa harus menentukan individu AWS Glue Studio APIs dalam izin IAM. Dalam contoh, kebijakan tindakan tambahan yang terdaftar (misalnya,`glue:SearchTables`) tidak AWS Glue Studio APIs, jadi kebijakan tersebut harus disertakan dalam izin IAM sesuai kebutuhan. Anda mungkin juga ingin menyertakan tindakan Proxy Amazon S3 untuk menentukan tingkat akses Amazon S3 yang akan diberikan. Contoh kebijakan di bawah ini menyediakan akses untuk membukaAWS Glue Studio, membuat pekerjaan visual, dan save/run jika peran IAM yang dipilih memiliki akses yang memadai. ## Izin buku catatan dan pratinjau data Pratinjau data dan notebook memungkinkan Anda untuk melihat sampel data Anda pada setiap tahap pekerjaan Anda (membaca, mengubah, menulis), tanpa harus menjalankan pekerjaan. Anda menentukan peran AWS Identity and Access Management (IAM) AWS Glue Studio untuk digunakan saat mengakses data. Peran IAM dimaksudkan untuk diasumsikan dan tidak memiliki kredensi jangka panjang standar seperti kata sandi atau kunci akses yang terkait dengannya. Sebaliknya, ketika AWS Glue Studio mengambil peran, IAM menyediakannya dengan kredensil keamanan sementara. Untuk memastikan pratinjau data dan perintah notebook berfungsi dengan benar, gunakan peran yang memiliki nama yang dimulai dengan string`AWSGlueServiceRole`. Jika Anda memilih untuk menggunakan nama yang berbeda untuk peran Anda, Anda harus menambahkan `iam:passrole` izin dan mengonfigurasi kebijakan untuk peran di IAM. Untuk informasi selengkapnya, lihat [Buat kebijakan IAM untuk peran yang tidak diberi nama "AWSGlueServiceRole\$1”](getting-started-iam-permissions.md#create-iam-policy). **Awas** Jika peran memberikan `iam:passrole` izin untuk buku catatan, dan Anda menerapkan rantai peran, pengguna dapat secara tidak sengaja mendapatkan akses ke buku catatan tersebut. Saat ini tidak ada audit yang diterapkan yang akan memungkinkan Anda untuk memantau pengguna mana yang telah diberikan akses ke notebook. Jika Anda ingin menolak identitas IAM kemampuan untuk membuat sesi pratinjau data, lihat contoh [Menolak identitas kemampuan untuk membuat sesi pratinjau data](security_iam_id-based-policy-examples.md#deny-data-preview-sessions-per-identity) berikut. ## Amazon CloudWatch izin Anda dapat memantau AWS Glue Studio pekerjaan Anda menggunakan Amazon CloudWatch, yang mengumpulkan dan memproses data mentah dari AWS Glue menjadi metrik yang dapat dibaca. near-real-time Secara default, data AWS Glue metrik dikirim secara CloudWatch otomatis. Untuk informasi selengkapnya, lihat [Apa itu Amazon CloudWatch?](https://docs.aws.amazon.com/AmazonCloudWatch/latest/DeveloperGuide/WhatIsCloudWatch.html) di *Panduan CloudWatch Pengguna Amazon*, dan [AWS GlueMetrik](https://docs.aws.amazon.com/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html#awsglue-metrics) di *Panduan AWS Glue Pengembang*. Untuk mengakses CloudWatch dasbor, pengguna yang mengakses AWS Glue Studio memerlukan salah satu dari yang berikut: + Kebijakan `AdministratorAccess` + Kebijakan `CloudWatchFullAccess` + Kebijakan kustom yang mencakup satu atau beberapa izin spesifik tersebut: + `cloudwatch:GetDashboard` dan `cloudwatch:ListDashboards` untuk melihat dasbor + `cloudwatch:PutDashboard` untuk membuat atau memodifikasi dasbor + `cloudwatch:DeleteDashboards` untuk menghapus dasbor Untuk informasi selengkapnya tentang cara merubah izin bagi pengguna IAM yang menggunakan kebijakan, lihat [Mengubah Izin untuk Pengguna IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_users_change-permissions.html) di *Panduan Pengguna IAM*. # Tinjau izin IAM yang diperlukan untuk pekerjaan ETL Saat Anda membuat pekerjaan menggunakanAWS Glue Studio, pekerjaan mengasumsikan izin peran IAM yang Anda tentukan saat Anda membuatnya. Peran IAM ini harus memiliki izin untuk mengekstrak data dari sumber data Anda, menulis data ke target Anda, dan mengakses AWS Glue sumber daya. Nama peran yang Anda buat untuk pekerjaan harus dimulai dengan string `AWSGlueServiceRole` agar dapat digunakan dengan benarAWS Glue Studio. Misalnya, Anda dapat memberi nama peran dengan `AWSGlueServiceRole-FlightDataJob`. ## Izin sumber data dan target data AWS Glue StudioPekerjaan harus memiliki akses ke Amazon S3 untuk sumber, target, skrip, dan direktori sementara apa pun yang Anda gunakan dalam pekerjaan Anda. Anda dapat membuat sebuah kebijakan untuk memberikan akses terperinci ke sumber daya Amazon S3 tertentu. + Sumber data memerlukan izin `s3:ListBucket` dan `s3:GetObject`. + Target data memerlukan izin `s3:ListBucket`, `s3:PutObject`, dan `s3:DeleteObject`. **catatan** Kebijakan IAM Anda perlu mengizinkan `s3:GetObject` bucket khusus yang digunakan untuk transformasi hosting AWS Glue . Bucket berikut dimiliki oleh akun AWS layanan dan dapat dibaca di seluruh dunia. Bucket ini berfungsi sebagai repositori untuk kode sumber yang berkaitan dengan subset transformasi yang dapat diakses melalui editor visual. AWS Glue Studio Izin pada bucket disiapkan untuk menolak tindakan API lainnya di bucket. Siapa pun dapat membaca skrip yang kami sediakan untuk transformasi, tetapi tidak ada orang di luar tim layanan kami yang dapat “memasukkan” apa pun di dalamnya. Saat AWS Glue pekerjaan Anda berjalan, file tersebut ditarik sebagai impor lokal sehingga file diunduh ke wadah lokal. Setelah itu, tidak ada komunikasi lebih lanjut dengan akun itu. Wilayah: Nama ember + af-south-1: -762339736633- -1 aws-glue-studio-transforms prod-af-south + ap-east-1: -125979764932 aws-glue-studio-transforms - -1 prod-ap-east + ap-northeast-2: -673535381443- -2 aws-glue-studio-transforms prod-ap-northeast + ap-northeast-3: -149976050262- -3 aws-glue-studio-transforms prod-ap-northeast + aws-glue-studio-transformsap-south-1: -584702181950- -1 prod-ap-south + aws-glue-studio-transformsap-south-2: -380279651983- -2 prod-ap-south + ap-southeast-1: -737106620487- -1 aws-glue-studio-transforms prod-ap-southeast + ap-southeast-2: -234881715811- -2 aws-glue-studio-transforms prod-ap-southeast + ap-southeast-3: -151265630221- -3 aws-glue-studio-transforms prod-ap-southeast + ap-southeast-4: -052235663858- -4 aws-glue-studio-transforms prod-ap-southeast + ca-central-1: -622716468547- -1 aws-glue-studio-transforms prod-ca-central + ca-west-1: -915795495192- aws-glue-studio-transforms -1 prod-ca-west + eu-central-1: -560373232017- -1 aws-glue-studio-transforms prod-eu-central + eu-central-2: -907358657121- -2 aws-glue-studio-transforms prod-eu-central + eu-north-1: -312557305497- -1 aws-glue-studio-transforms prod-eu-north + eu-south-1: -939684186351- -1 aws-glue-studio-transforms prod-eu-south + eu-south-2: -239737454084- -2 aws-glue-studio-transforms prod-eu-south + eu-west-1: -244479516193- aws-glue-studio-transforms -1 prod-eu-west + eu-west-2: -804222392271- aws-glue-studio-transforms -2 prod-eu-west + eu-west-3: -371299348807- aws-glue-studio-transforms -3 prod-eu-west + aws-glue-studio-transformsil-central-1: -806964611811- -1 prod-il-central + saya-central-1: -733304270342- -1 aws-glue-studio-transforms prod-me-central + me-south-1: -112120182341- -1 aws-glue-studio-transforms prod-me-south + aws-glue-studio-transformssa-east-1: -881619130292- -1 prod-sa-east + aws-glue-studio-transformsus-east-1: -510798373988- -1 prod-us-east + us-east-2: -251189692203- -2 aws-glue-studio-transforms prod-us-east + us-west-1: -593230150239- aws-glue-studio-transforms -1 prod-us-west + us-west-2: -818035625594- -2 aws-glue-studio-transforms prod-us-west + ap-northeast-1: -200493242866- -1 aws-glue-studio-transforms prod-ap-northeast + cn-utara-1: -071033555442- -1 aws-glue-studio-transforms prod-cn-north + cn-barat laut-1: -070947029561- -1 aws-glue-studio-transforms prod-cn-northwest + us-gov-west-1: aws-glue-studio-transforms -227493901923- -1-2604 prod-us-gov-west + eusc-de-east-1: aws-glue-studio-transforms -780995497573- -1-555 prod-eusc-de-east Jika Anda memilih Amazon Redshift sebagai sumber data, Anda dapat memberikan peran untuk izin klaster. Pekerjaan yang dijalankan terhadap perintah masalah Amazon Redshift klaster yang mengakses Amazon S3 untuk penyimpanan sementara menggunakan kredensil sementara. Jika tugas Anda berjalan selama lebih dari satu jam, maka kredensial ini akan kedaluwarsa dan akan menyebabkan tugas gagal. Untuk menghindari masalah ini, Anda dapat menetapkan sebuah peran untuk klaster Amazon Redshift itu sendiri yang memberikan izin yang diperlukan untuk tugas tersebut dengan menggunakan kredensial sementara. Untuk informasi selengkapnya, lihat [Memindahkan Data ke dan dari Amazon Redshift](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-redshift.html) di *Panduan Developer AWS Glue *. Jika tugas tersebut menggunakan sumber data atau target selain Amazon S3, maka Anda harus melampirkan izin yang diperlukan kepada IAM role yang digunakan oleh tugas tersebut untuk mengakses sumber dan target data ini. Untuk informasi selengkapnya, lihat [Menyiapkan Lingkungan Anda untuk Mengakses Penyimpanan Data](https://docs.aws.amazon.com/glue/latest/dg/start-connecting.html) di *Panduan Developer AWS Glue *. Jika Anda menggunakan konektor dan koneksi untuk penyimpanan data Anda, maka Anda memerlukan izin tambahan, seperti yang dijelaskan di [Izin diperlukan untuk menggunakan konektor](#getting-started-min-privs-connectors). ## Izin yang diperlukan untuk menghapus tugas Di AWS Glue Studio Anda dapat memilih beberapa pekerjaan di konsol untuk dihapus. Untuk melakukan tindakan ini, Anda harus memiliki izin `glue:BatchDeleteJob`. Hal ini berbeda dari konsol AWS Glue, yang memerlukan izin `glue:DeleteJob` untuk menghapus tugas. ## AWS Key Management Service izin Jika Anda berencana mengakses sumber Amazon S3 dan target yang menggunakan enkripsi sisi server dengan AWS Key Management Service (AWS KMS), lampirkan kebijakan ke AWS Glue Studio peran yang digunakan oleh pekerjaan yang memungkinkan pekerjaan mendekripsi data. Peran tugas membutuhkan izin `kms:ReEncrypt`, `kms:GenerateDataKey`, dan `kms:DescribeKey`. Selain itu, peran pekerjaan memerlukan `kms:Decrypt` izin untuk mengunggah atau mengunduh objek Amazon S3 yang dienkripsi dengan kunci master AWS KMS pelanggan (CMK). Ada biaya tambahan untuk penggunaan AWS KMS CMKs. Untuk informasi selengkapnya, lihat [AWS Key Management Service Konsep - Kunci Master Pelanggan (CMKs)](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#master_keys) dan [AWS Key Management Service Harga](https://aws.amazon.com/kms/pricing) di *Panduan AWS Key Management Service Pengembang*. ## Izin diperlukan untuk menggunakan konektor Jika Anda menggunakan Konektor Kustom AWS Glue dan koneksi untuk mengakses penyimpanan data, maka peran yang digunakan untuk menjalankan tugas ETL AWS Glue membutuhkan izin tambahan terlampir: + Kebijakan terkelola AWS `AmazonEC2ContainerRegistryReadOnly` untuk mengakses konektor yang dibeli dari AWS Marketplace. + Izin `glue:GetJob` dan `glue:GetJobs`. + AWS Secrets Manager izin untuk mengakses rahasia yang digunakan dengan koneksi. Lihat [Contoh: Izin untuk mengambil nilai rahasia](https://docs.aws.amazon.com/secretsmanager/latest/userguide/auth-and-access_examples.html#auth-and-access_examples_read) misalnya kebijakan IAM. Jika eksekusi tugas ETL AWS Glue dalam VPC menjalankan Amazon VPC, maka VPC harus dikonfigurasi seperti yang dijelaskan dalam [Konfigurasikan VPC untuk pekerjaan ETL Anda](getting-started-vpc-config.md). # Siapkan izin IAM untuk AWS Glue Studio Anda dapat membuat peran dan menetapkan kebijakan untuk pengguna dan peran tugas dengan menggunakan pengguna administrator AWS . Anda dapat menggunakan kebijakan **AWSGlueConsoleFullAccess** AWS terkelola untuk memberikan izin yang diperlukan untuk menggunakan AWS Glue Studio konsol. Untuk membuat kebijakan Anda sendiri, ikuti langkah-langkah yang didokumentasikan di [Membuat Kebijakan IAM untuk Layanan AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/create-service-policy.html) di *Panduan Developer AWS Glue *. Sertakan izin IAM yang dijelaskan sebelumnya di. [Tinjau izin IAM yang diperlukan untuk pengguna AWS Glue Studio](getting-started-min-privs.md) **Topics** + [Lampirkan kebijakan ke AWS Glue Studio pengguna](#attach-iam-policy) + [Buat kebijakan IAM untuk peran yang tidak diberi nama "AWSGlueServiceRole\$1”](#create-iam-policy) ## Lampirkan kebijakan ke AWS Glue Studio pengguna Setiap AWS pengguna yang masuk ke AWS Glue Studio konsol harus memiliki izin untuk mengakses sumber daya tertentu. Anda memberikan izin tersebut dengan menggunakan penetapan kebijakan IAM kepada pengguna. **Untuk melampirkan kebijakan **AWSGlueConsoleFullAccess**terkelola ke pengguna** 1. Masuk ke Konsol Manajemen AWS dan buka konsol IAM di [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/). 1. Di panel navigasi, pilih **Kebijakan**. 1. Dalam daftar kebijakan, pilih kotak centang di sebelah **AWSGlueConsoleFullAccess**. Anda bisa memakai menu **Filter** dan kotak pencarian untuk mem-filter daftar kebijakan. 1. Pilih **Tindakan kebijakan**, lalu pilih **Lampirkan**. 1. Pilih pengguna untuk dilampiri kebijakan ini. Anda bisa menggunakan menu **Filter** dan kotak pencarian untuk mem-filter daftar entitas utama. Setelah memilih pengguna yang akan dilampiri kebijakan, pilih **Lampirkan kebijakan**. 1. Ulangi langkah sebelumnya untuk melampirkan kebijakan tambahan kepada pengguna, sesuai kebutuhan. ## Buat kebijakan IAM untuk peran yang tidak diberi nama "AWSGlueServiceRole\$1” **Untuk mengonfigurasi kebijakan IAM untuk peran yang digunakan oleh AWS Glue Studio** 1. Masuk ke Konsol Manajemen AWS dan buka konsol IAM di [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/). 1. Tambahkan kebijakan IAM baru. Anda dapat menambahkan kebijakan yang sudah ada atau membuat kebijakan inline IAM baru. Untuk membuat kebijakan IAM: 1. Pilih **Kebijakan**, lalu pilih **Buat Kebijakan**. Jika tombol **Memulai** muncul, pilih tombol tersebut, lalu pilih **Buat Kebijakan**. 1. Di sebelah **Buat Kebijakan Anda Sendiri**, pilih **Pilih**. 1. Untuk **Nama Kebijakan**, ketikkan nilai apa pun yang mudah Anda rujuk nanti. **Secara opsional, ketik teks deskriptif dalam Deskripsi.** 1. Untuk **Dokumen Kebijakan**, ketik pernyataan kebijakan dengan format berikut, lalu pilih **Buat Kebijakan**: 1. Salin dan tempel blok berikut ke dalam kebijakan di bawah larik “Pernyataan”, ganti *my-interactive-session-role-prefix* dengan awalan untuk semua peran umum yang akan dikaitkan dengan izin. AWS Glue ``` { "Action": [ "iam:PassRole" ], "Effect": "Allow", "Resource": "arn:aws:iam::*:role/my-interactive-session-role-prefix*", "Condition": { "StringLike": { "iam:PassedToService": [ "glue.amazonaws.com " ] } } } ``` Berikut adalah contoh lengkap dengan array Versi dan Pernyataan yang disertakan dalam kebijakan ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Action": [ "iam:PassRole" ], "Effect": "Allow", "Resource": "arn:aws:iam::*:role/my-interactive-session-role-prefix*", "Condition": { "StringLike": { "iam:PassedToService": [ "glue.amazonaws.com " ] } } } ] } ``` ------ 1. Untuk mengaktifkan kebijakan bagi pengguna, pilih **Pengguna**. 1. Pilih pengguna yang ingin Anda lampirkan kebijakan. # Konfigurasikan VPC untuk pekerjaan ETL Anda Anda dapat menggunakan Amazon Virtual Private Cloud (Amazon VPC) untuk menentukan jaringan virtual di area Anda sendiri yang terisolasi secara logis di dalam AWS Cloud, yang dikenal sebagai *virtual private cloud (VPC*). Anda dapat meluncurkan sumber daya AWS , seperti instans, ke dalam VPC Anda. VPC Anda sangat menyerupai jaringan tradisional yang mungkin Anda operasikan di pusat data Anda sendiri, dengan memanfaatkan infrastruktur terukur dari AWS. Anda dapat mengonfigurasi VPC Anda; Anda dapat memilih baris alamat IP, membuat subnet, dan mengonfigurasi tabel rute, gateway jaringan, dan pengaturan keamanan. Anda dapat menghubungkan instans dalam VPC Anda ke internet. Anda dapat menghubungkan VPC Anda ke pusat data perusahaan Anda sendiri, membuat AWS Cloud perpanjangan pusat data Anda. Untuk melindungi sumber daya di setiap subnet, Anda dapat menggunakan beberapa lapisan keamanan, termasuk grup keamanan dan daftar kontrol akses jaringan. Untuk informasi selengkapnya, silakan lihat ACL Jaringan di [Panduan Pengguna Amazon VPC](https://docs.aws.amazon.com/vpc/latest/userguide/). Anda dapat mengkonfigurasi tugas ETL AWS Glue untuk dijalankan dalam sebuah VPC saat menggunakan konektor. Anda harus mengkonfigurasi VPC Anda seperti berikut, sesuai keperluan: + Akses jaringan publik untuk penyimpanan data tidak masuk AWS. Semua penyimpanan data yang diakses oleh tugas harus tersedia dari subnet VPC. + Jika tugas Anda perlu mengakses sumber daya VPC dan internet publik, maka VPC perlu memiliki gateway network address translation (NAT) di dalam VPC tersebut. Untuk informasi selengkapnya, lihat [Menyiapkan Lingkungan Anda untuk Mengakses Penyimpanan Data](https://docs.aws.amazon.com/glue/latest/dg/start-connecting.html) di *Panduan Developer AWS Glue *. # Memulai dengan notebook di AWS Glue Studio Ketika Anda memulai buku catatanAWS Glue Studio, semua langkah konfigurasi dilakukan untuk Anda sehingga Anda dapat menjelajahi data Anda dan mulai mengembangkan skrip pekerjaan Anda setelah hanya beberapa detik. Bagian berikut menjelaskan cara membuat peran dan memberikan izin yang sesuai untuk menggunakan buku catatan untuk pekerjaan ETL. AWS Glue Studio Untuk informasi selengkapnya tentang tindakan yang ditentukan oleh AWS Glue, lihat [Tindakan yang ditentukan oleh AWS Glue](https://docs.aws.amazon.com/service-authorization/latest/reference/list_awsglue.html). **Topics** + [Memberikan izin untuk peran IAM](#studio-notebook-permissions) ## Memberikan izin untuk peran IAM Menyiapkan AWS Glue Studio adalah prasyarat untuk menggunakan notebook. Untuk menggunakan buku catatanAWS Glue, peran Anda memerlukan yang berikut: + Hubungan kepercayaan dengan AWS Glue untuk `sts:AssumeRole` tindakan dan, jika Anda ingin menandai maka`sts:TagSession`. + Kebijakan IAM yang berisi semua izin untuk buku catatanAWS Glue, dan sesi interaktif. + Kebijakan IAM untuk peran lulus karena peran tersebut harus dapat berpindah sendiri dari notebook ke sesi interaktif. Misalnya, saat membuat peran baru, Anda dapat menambahkan kebijakan AWS terkelola standar seperti `AWSGlueConsoleFullAccessRole` ke peran tersebut, lalu menambahkan kebijakan baru untuk operasi buku catatan dan PassRole kebijakan IAM lainnya. ### Tindakan yang diperlukan untuk hubungan kepercayaan dengan AWS Glue Saat memulai sesi buku catatan, Anda harus menambahkan `sts:AssumeRole` ke hubungan kepercayaan dari peran yang diteruskan ke buku catatan. Jika sesi Anda menyertakan tag, Anda juga harus lulus `sts:TagSession` tindakan. Tanpa tindakan ini, sesi notebook tidak dapat dimulai. Contoh: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "glue.amazonaws.com" }, "Action": "sts:AssumeRole" } ] } ``` ------ ### Kebijakan yang berisi izin IAM untuk buku catatan Kebijakan contoh berikut menjelaskan izin AWS IAM yang diperlukan untuk buku catatan. Jika Anda membuat peran baru, buat kebijakan yang berisi hal-hal berikut: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:StartNotebook", "glue:TerminateNotebook", "glue:GlueNotebookRefreshCredentials", "glue:DeregisterDataPreview", "glue:GetNotebookInstanceStatus", "glue:GlueNotebookAuthorize" ], "Resource": "*" } ] } ``` ------ Anda dapat menggunakan kebijakan IAM berikut untuk mengizinkan akses ke sumber daya tertentu: + *AwsGlueSessionUserRestrictedNotebookServiceRole*: Menyediakan akses penuh ke semua AWS Glue sumber daya kecuali untuk sesi. Memungkinkan pengguna untuk membuat dan menggunakan hanya sesi notebook yang terkait dengan pengguna. Kebijakan ini juga mencakup izin lain yang diperlukan AWS Glue untuk mengelola AWS Glue sumber daya di AWS layanan lain. + *AwsGlueSessionUserRestrictedNotebookPolicy*: Menyediakan izin yang memungkinkan pengguna untuk membuat dan menggunakan hanya sesi notebook yang terkait dengan pengguna. Kebijakan ini juga mencakup izin untuk secara eksplisit mengizinkan pengguna melewati peran sesi terbatasAWS Glue. ### Kebijakan IAM untuk lulus peran Saat Anda membuat buku catatan dengan peran, peran tersebut kemudian diteruskan ke sesi interaktif sehingga peran yang sama dapat digunakan di kedua tempat. Dengan demikian, `iam:PassRole` izin harus menjadi bagian dari kebijakan peran. Buat kebijakan baru untuk peran Anda menggunakan contoh berikut. Ganti nomor akun dengan nomor Anda sendiri dan nama peran. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "iam:PassRole", "Resource": "arn:aws:iam::111122223333:role/" } ] } ``` ------ # Menyiapkan profil AWS Glue penggunaan Salah satu keuntungan utama menggunakan platform cloud adalah fleksibilitasnya. Namun, dengan kemudahan menciptakan sumber daya komputasi ini, muncul risiko peningkatan biaya cloud ketika dibiarkan tidak dikelola dan tanpa pagar pembatas. Akibatnya, admin perlu menyeimbangkan menghindari biaya infrastruktur yang tinggi sementara pada saat yang sama memungkinkan pengguna untuk bekerja tanpa gesekan yang tidak perlu. Dengan profil AWS Glue penggunaan, admin dapat membuat profil yang berbeda untuk berbagai kelas pengguna dalam akun, seperti pengembang, penguji, dan tim produk. Setiap profil adalah seperangkat parameter unik yang dapat ditetapkan untuk berbagai jenis pengguna. Misalnya, pengembang mungkin membutuhkan lebih banyak pekerja dan dapat memiliki jumlah pekerja maksimum yang lebih tinggi sementara tim produk mungkin membutuhkan lebih sedikit pekerja dan batas waktu tunggu yang lebih rendah atau nilai batas waktu idle. **Contoh perilaku pekerjaan dan pekerjaan berjalan** Misalkan pekerjaan dibuat oleh pengguna A dengan profil A. Pekerjaan disimpan dengan nilai parameter tertentu. Pengguna B dengan profil B akan mencoba menjalankan pekerjaan. Ketika pengguna A menulis pekerjaan, jika dia tidak menetapkan jumlah pekerja tertentu, set default di profil pengguna A diterapkan dan disimpan dengan definisi pekerjaan. Ketika pengguna B menjalankan pekerjaan, itu berjalan dengan nilai apa pun yang disimpan untuk itu. Jika profil pengguna B sendiri lebih ketat dan tidak diizinkan untuk berjalan dengan banyak pekerja, pekerjaan yang dijalankan akan gagal. **Profil penggunaan sebagai sumber daya** Profil AWS Glue penggunaan adalah sumber daya yang diidentifikasi oleh Amazon Resource Name (ARN). Semua kontrol IAM (Identity and Access Management) default berlaku, termasuk otorisasi berbasis tindakan dan berbasis sumber daya. Admin harus memperbarui kebijakan IAM pengguna yang membuat AWS Glue sumber daya, memberi mereka akses untuk menggunakan profil. ![\[Contoh profil penggunaan yang dikonfigurasi di AWS Glue.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/usage-profiles-1.png) **Topics** + [Membuat dan mengelola profil penggunaan](start-usage-profiles-managing.md) + [Profil penggunaan dan pekerjaan](start-usage-profiles-jobs.md) # Membuat dan mengelola profil penggunaan ## Membuat profil AWS Glue penggunaan Admin harus membuat profil penggunaan dan kemudian menetapkannya ke berbagai pengguna. Saat membuat profil penggunaan, Anda menentukan nilai default serta rentang nilai yang diizinkan untuk berbagai parameter pekerjaan dan sesi. Anda harus mengkonfigurasi setidaknya satu parameter untuk pekerjaan atau sesi interaktif. Anda dapat menyesuaikan nilai default yang akan digunakan ketika nilai parameter tidak disediakan untuk pekerjaan, and/or mengatur batas rentang atau sekumpulan nilai yang diizinkan untuk validasi jika pengguna memberikan nilai parameter saat menggunakan profil ini. *Default* adalah praktik terbaik yang ditetapkan oleh admin untuk membantu penulis pekerjaan. Saat pengguna membuat pekerjaan baru dan tidak menetapkan nilai batas waktu, batas waktu default profil penggunaan akan berlaku. Jika penulis tidak memiliki profil, maka default AWS Glue layanan akan berlaku dan disimpan dalam definisi pekerjaan. Saat runtime, AWS Glue memberlakukan batas yang ditetapkan dalam profil (min, max, pekerja yang diizinkan). Setelah parameter dikonfigurasi, semua parameter lainnya adalah opsional. Parameter yang dapat disesuaikan untuk pekerjaan atau sesi interaktif adalah: + **Jumlah pekerja** — membatasi jumlah pekerja untuk menghindari penggunaan sumber daya komputasi yang berlebihan. Anda dapat menetapkan nilai default, minimum, dan maksimum. Minimal adalah 1. + **Jenis pekerja** — batasi jenis pekerja yang relevan untuk beban kerja Anda. Anda dapat menyetel tipe default dan mengizinkan tipe pekerja untuk profil pengguna. + **Timeout** — tentukan waktu maksimum pekerjaan atau sesi interaktif dapat dijalankan dan mengkonsumsi sumber daya sebelum dihentikan. Siapkan nilai batas waktu untuk menghindari pekerjaan yang berjalan lama. Anda dapat mengatur nilai default, minimum, dan maksimum dalam hitungan menit. Minimal adalah 1 (menit). Meskipun waktu habis AWS Glue default adalah 2880 menit, Anda dapat mengatur nilai default apa pun di profil penggunaan. Ini adalah praktik terbaik untuk menetapkan nilai untuk 'default'. Nilai ini akan digunakan untuk pembuatan pekerjaan atau sesi jika tidak ada nilai yang ditetapkan oleh pengguna. + Batas **waktu idle** - tentukan jumlah menit sesi interaktif tidak aktif sebelum waktu habis setelah sel dijalankan. Tentukan batas waktu idle untuk sesi interaktif yang akan dihentikan setelah pekerjaan selesai. Rentang batas waktu idle harus dalam batas waktu tunggu. Anda dapat mengatur nilai default, minimum, dan maksimum dalam hitungan menit. Minimal adalah 1 (menit). Meskipun waktu habis AWS Glue default adalah 2880 menit, Anda dapat mengatur nilai default apa pun di profil penggunaan. Ini adalah praktik terbaik untuk menetapkan nilai untuk 'default'. Nilai ini akan digunakan untuk pembuatan sesi jika tidak ada nilai yang ditetapkan oleh pengguna. **Untuk membuat profil AWS Glue penggunaan sebagai admin (konsol)** 1. Di menu navigasi sebelah kiri, pilih **Manajemen biaya**. 1. Pilih **Buat profil penggunaan**. 1. Masukkan **nama profil Penggunaan** untuk profil penggunaan. 1. Masukkan deskripsi opsional yang akan membantu orang lain mengenali tujuan profil penggunaan. 1. Tentukan setidaknya satu parameter di profil. Bidang apa pun dalam formulir adalah parameter. Misalnya, batas waktu siaga sesi minimum. 1. Tentukan tag opsional apa pun yang berlaku untuk profil penggunaan. 1. Pilih **Simpan**. ![\[Contoh admin yang membuat profil penggunaan di AWS Glue.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/usage-profiles-2-create.png) **Untuk membuat profil penggunaan (AWS CLI)** 1. Masukkan perintah berikut. ``` aws glue create-usage-profile --name profile-name --configuration file://config.json --tags list-of-tags ``` di mana config.json dapat menentukan nilai parameter untuk sesi interaktif (`SessionConfiguration`) dan pekerjaan (): `JobConfiguration` ``` //config.json (There is a separate blob for session/job configuration { "SessionConfiguration": { "timeout": { "DefaultValue": "2880", "MinValue": "100", "MaxValue": "4000" }, "idleTimeout": { "DefaultValue": "30", "MinValue": "10", "MaxValue": "4000" }, "workerType": { "DefaultValue": "G.2X", "AllowedValues": [ "G.1X", "G.2X", "G.4X", "G.8X", "G.12X", "G.16X", "R.1X", "R.2X", "R.4X", "R.8X" ] }, "numberOfWorkers": { "DefaultValue": "10", "MinValue": "1", "MaxValue": "10" } }, "JobConfiguration": { "timeout": { "DefaultValue": "2880", "MinValue": "100", "MaxValue": "4000" }, "workerType": { "DefaultValue": "G.2X", "AllowedValues": [ "G.1X", "G.2X", "G.4X", "G.8X", "G.12X", "G.16X", "R.1X", "R.2X", "R.4X", "R.8X" ] }, "numberOfWorkers": { "DefaultValue": "10", "MinValue": "1", "MaxValue": "10" } } } ``` 1. Masukkan perintah berikut untuk melihat profil penggunaan yang dibuat: ``` aws glue get-usage-profile --name profile-name ``` Tanggapan: ``` { "ProfileName": "foo", "Configuration": { "SessionConfiguration": { "numberOfWorkers": { "DefaultValue": "10", "MinValue": "1", "MaxValue": "10" }, "workerType": { "DefaultValue": "G.2X", "AllowedValues": [ "G.1X", "G.2X", "G.4X", "G.8X", "G.12X", "G.16X", "R.1X", "R.2X", "R.4X", "R.8X" ] }, "timeout": { "DefaultValue": "2880", "MinValue": "100", "MaxValue": "4000" }, "idleTimeout": { "DefaultValue": "30", "MinValue": "10", "MaxValue": "4000" } }, "JobConfiguration": { "numberOfWorkers": { "DefaultValue": "10", "MinValue": "1", "MaxValue": "10" }, "workerType": { "DefaultValue": "G.2X", "AllowedValues": [ "G.1X", "G.2X", "G.4X", "G.8X", "G.12X", "G.16X", "R.1X", "R.2X", "R.4X", "R.8X" ] }, "timeout": { "DefaultValue": "2880", "MinValue": "100", "MaxValue": "4000" } } }, "CreatedOn": "2024-01-19T23:15:24.542000+00:00" } ``` Perintah CLI tambahan yang digunakan untuk mengelola profil penggunaan: + lem aws list-usage-profiles + lem aws update-usage-profile --name --configuration *profile-name* *file://config.json* + lem aws delete-usage-profile --name *profile-name* ## Mengedit profil penggunaan Admin dapat mengedit profil penggunaan yang telah mereka buat, untuk mengubah nilai parameter profil untuk pekerjaan dan sesi interaktif. Untuk mengedit profil penggunaan: **Untuk mengedit profil AWS Glue penggunaan sebagai admin (konsol)** 1. Di menu navigasi sebelah kiri, pilih **Manajemen biaya**. 1. Pilih profil penggunaan yang memiliki izin untuk diedit dan pilih **Edit**. 1. Buat perubahan sesuai kebutuhan pada profil. Secara default, parameter yang sudah memiliki nilai diperluas. 1. Pilih **Simpan Pengeditan.** ![\[Contoh pengguna yang mengedit profil penggunaan di AWS Glue.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/usage-profiles-4-edit.png) **Untuk mengedit profil penggunaan (AWS CLI)** + Masukkan perintah berikut. Sintaks `--configuration` file yang sama digunakan seperti yang ditunjukkan di atas dalam perintah create. ``` aws glue update-usage-profile --name profile-name --configuration file://config.json ``` di mana config.json mendefinisikan nilai parameter untuk sesi interaktif (`SessionConfiguration`) dan pekerjaan (): `JobConfiguration` ## Menetapkan profil penggunaan Kolom **Status pemanfaatan** di halaman **Profil penggunaan** menunjukkan apakah profil penggunaan ditetapkan ke pengguna. Mengarahkan kursor ke status menunjukkan entitas IAM yang ditetapkan. Admin dapat menetapkan profil AWS Glue penggunaan untuk users/roles siapa yang membuat AWS Glue sumber daya. Menetapkan profil adalah kombinasi dari dua tindakan: + Memperbarui user/role tag IAM dengan `glue:UsageProfile` kunci, lalu + Memperbarui kebijakan IAM pengguna/peran. Bagi pengguna yang menggunakan AWS Glue Studio untuk membuat jobs/interactive sesi, admin menandai peran berikut: + Untuk pembatasan pekerjaan, admin menandai peran konsol yang masuk + Untuk pembatasan sesi interaktif, admin menandai peran yang diberikan pengguna saat mereka membuat buku catatan Berikut ini adalah contoh kebijakan yang admin perlu memperbarui pada IAM users/roles yang membuat AWS Glue sumber daya: ``` { "Effect": "Allow", "Action": [ "glue:GetUsageProfile" ], "Resource": [ "arn:aws:glue:us-east-1:123456789012:usageProfile/foo" ] } ``` AWS Glue memvalidasi permintaan job, job run, dan session berdasarkan nilai yang ditentukan dalam profil AWS Glue penggunaan dan memunculkan pengecualian jika permintaan tersebut tidak diizinkan. Untuk sinkron APIs, kesalahan akan dilemparkan ke pengguna. Untuk jalur asinkron, menjalankan pekerjaan yang gagal dibuat dengan pesan kesalahan bahwa parameter input berada di luar rentang yang diizinkan untuk profil pengguna/peran yang ditetapkan. Untuk menetapkan profil penggunaan ke pengguna/peran: 1. Buka konsol IAM (Identity and Access Management). 1. Di navigasi kiri, pilih **Pengguna** atau **Peran**. 1. Pilih pengguna atau peran. 1. Pilih tab **Tanda**. 1. Pilih **Tambahkan tag baru** 1. Tambahkan tag dengan **Kunci** `glue:UsageProfile` dan **Nilai** nama profil penggunaan Anda. 1. Pilih **Save changes (Simpan perubahan)** ![\[Contoh menambahkan tag ke peran IAM.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/usage-profiles-iam-role-tagged.png) ## Melihat profil penggunaan yang Anda tetapkan Pengguna dapat melihat profil penggunaan yang ditetapkan dan menggunakannya saat melakukan panggilan API untuk membuat sumber daya AWS Glue pekerjaan dan sesi, atau memulai pekerjaan. Izin profil disediakan dalam kebijakan IAM. Selama kebijakan penelepon memiliki `glue:UsageProfile` izin, pengguna dapat melihat profil. Jika tidak, Anda akan mendapatkan kesalahan akses ditolak. Untuk melihat profil penggunaan yang ditetapkan: 1. Di menu navigasi sebelah kiri, pilih **Manajemen biaya**. 1. Pilih profil penggunaan yang memiliki izin untuk dilihat. ![\[Contoh pengguna yang melihat profil penggunaan yang ditetapkan di AWS Glue.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/usage-profiles-3-view.png) # Profil penggunaan dan pekerjaan ## Menulis pekerjaan dengan profil penggunaan Saat menulis pekerjaan, batasan dan default yang ditetapkan dalam profil penggunaan Anda akan berlaku. Profil Anda akan ditugaskan ke pekerjaan setelah disimpan. ## Menjalankan pekerjaan dengan profil penggunaan Saat Anda memulai pekerjaan, AWS Glue terapkan batasan yang ditetapkan dalam profil penelepon Anda. Jika tidak ada penelepon langsung, Glue kemudian akan menerapkan batasan dari profil yang ditetapkan ke pekerjaan oleh penulisnya. **catatan** Ketika pekerjaan dijalankan sesuai jadwal (berdasarkan AWS Glue alur kerja atau AWS Glue pemicu), profil yang ditetapkan untuk pekerjaan yang akan diterapkan penulis. Ketika pekerjaan dijalankan oleh layanan eksternal (Step Functions, MWAA) atau `StartJobRun` API, batas profil pemanggil akan diberlakukan. Untuk AWS Glue alur kerja atau AWS Glue pemicu: pekerjaan yang sudah ada sebelumnya perlu diperbarui untuk menyimpan nama profil baru sehingga batas profil (min, maks, dan pekerja yang diizinkan) akan diberlakukan saat runtime untuk proses terjadwal. ## Melihat profil penggunaan yang ditetapkan untuk pekerjaan **Untuk melihat profil yang ditetapkan ke pekerjaan Anda (yang akan digunakan saat runtime dengan AWS Glue alur kerja atau AWS Glue pemicu terjadwal), Anda dapat melihat tab Detail pekerjaan.** Anda juga dapat melihat profil yang digunakan dalam proses sebelumnya di tab rincian pekerjaan berjalan. ## Memperbarui atau menghapus profil penggunaan yang dilampirkan ke pekerjaan Profil yang ditetapkan untuk pekerjaan diubah setelah pembaruan. Jika penulis tidak diberi profil penggunaan, profil apa pun yang sebelumnya dilampirkan ke pekerjaan akan dihapus darinya. # Memulai dengan AWS Glue Data Catalog AWS Glue Data Catalog Ini adalah toko metadata teknis Anda yang persisten. Ini adalah layanan terkelola yang dapat Anda gunakan untuk menyimpan, membubuhi keterangan, dan berbagi metadata di Cloud. AWS Untuk informasi selengkapnya, lihat [AWS Glue Data Catalog](https://docs.aws.amazon.com/glue/latest/dg/components-overview.html#data-catalog-intro). | | | --- | | AWS GlueKonsol dan beberapa antarmuka pengguna baru-baru ini diperbarui. | ## Ikhtisar Anda dapat menggunakan tutorial ini untuk membuat Katalog AWS Glue Data pertama Anda, yang menggunakan bucket Amazon S3 sebagai sumber data Anda. Dalam tutorial ini, Anda akan melakukan hal berikut menggunakan AWS Glue konsol: 1. Buat database 1. Membuat tabel 1. Gunakan bucket Amazon S3 sebagai sumber data Setelah menyelesaikan langkah-langkah ini, Anda akan berhasil menggunakan bucket Amazon S3 sebagai sumber data untuk mengisi Katalog Data. AWS Glue ## Langkah 1: Buat database Untuk memulai, masuk ke Konsol Manajemen AWS dan buka [AWS Gluekonsol](https://console.aws.amazon.com/glue). **Untuk membuat database menggunakan AWS Glue konsol:** 1. Di AWS Glue konsol, pilih **Database** di bawah **Katalog data** dari menu sebelah kiri. 1. Pilih **Add database** (Tambahkan basis data). 1. Di halaman Buat database, masukkan nama untuk database. Di bagian **Lokasi - *opsional***, atur lokasi URI untuk digunakan oleh klien Katalog Data. Jika Anda tidak tahu ini, Anda dapat melanjutkan dengan membuat database. 1. (Opsional). Masukkan deskripsi untuk database. 1. Pilih **Buat basis data**. Selamat, Anda baru saja menyiapkan database pertama Anda menggunakan AWS Glue konsol. Database baru Anda akan muncul dalam daftar database yang tersedia. Anda dapat mengedit database dengan memilih nama database dari dasbor **Database**. **Langkah selanjutnya** **Cara lain untuk membuat database:** Anda baru saja membuat database menggunakan AWS Glue konsol, tetapi ada cara lain untuk membuat database: + Anda dapat menggunakan crawler untuk membuat database dan tabel untuk Anda secara otomatis. Untuk menyiapkan database menggunakan crawler, lihat [Bekerja dengan Crawler di Konsol. AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/console-crawlers.html) + Anda dapat menggunakan CloudFormation template. Lihat [Membuat AWS Glue Sumber Daya Menggunakan AWS Glue Data Catalog Template](https://docs.aws.amazon.com/glue/latest/dg/populate-with-cloudformation-templates.html). + Anda juga dapat membuat database menggunakan operasi API AWS Glue Database. Untuk membuat database menggunakan `create` operasi, struktur permintaan dengan memasukkan parameter `DatabaseInput` (wajib). Contoh: **** Berikut ini adalah contoh bagaimana Anda dapat menggunakan CLI, Boto3, atau DDL untuk menentukan tabel berdasarkan file flights\$1data.csv yang sama dari bucket S3 yang Anda gunakan dalam tutorial. ``` aws glue create-database --database-input "{\"Name\":\"clidb\"}" ``` ``` glueClient = boto3.client('glue') response = glueClient.create_database( DatabaseInput={ 'Name': 'boto3db' } ) ``` Untuk informasi selengkapnya tentang tipe, struktur, dan operasi data API Database, lihat [API Database](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-catalog-databases.html). **Langkah selanjutnya** Di bagian berikutnya, Anda akan membuat tabel dan menambahkan tabel itu ke database Anda. Anda juga dapat menjelajahi pengaturan dan izin untuk Katalog Data Anda. Lihat [Bekerja dengan Pengaturan Katalog Data di AWS Glue Konsol](https://docs.aws.amazon.com/glue/latest/dg/console-data-catalog-settings.html). ## Langkah 2. Membuat tabel Pada langkah ini, Anda membuat tabel menggunakan AWS Glue konsol. 1. Di AWS Glue konsol, pilih **Tabel** di menu sebelah kiri. 1. Pilih **Tambahkan tabel**. 1. Atur properti tabel Anda dengan memasukkan nama untuk tabel Anda di **detail Tabel**. 1. Di bagian **Database**, pilih database yang Anda buat di Langkah 1 dari menu drop-down. 1. Di bagian **Tambahkan penyimpanan data**, **S3** akan dipilih secara default sebagai jenis sumber. 1. Untuk **Data terletak di**, pilih **Jalur yang ditentukan di akun lain**. 1. Salin dan tempel jalur untuk bidang input **jalur Sertakan**: `s3://crawler-public-us-west-2/flight/2016/csv/` 1. Di bagian **Format data**, untuk **Klasifikasi**, pilih **CSV**. Dan untuk **Delimiter**, pilih **koma** (,). Pilih **Berikutnya**. 1. Anda diminta untuk mendefinisikan skema. Sebuah skema mendefinisikan struktur dan format catatan data. Pilih **Tambahkan kolom**. (Untuk informasi lebih lanjut, lihat [Daftar skema).](https://docs.aws.amazon.com/glue/latest/dg/schema-registry.html#schema-registry-schemas.html) 1. Tentukan properti kolom: 1. Masukkan nama kolom. 1. Untuk **tipe Kolom**, 'string' sudah dipilih secara default. 1. Untuk **nomor Kolom**, '1' sudah dipilih secara default. 1. Pilih **Tambahkan**. 1. Anda diminta untuk menambahkan indeks partisi. Ini opsional. Untuk melewati langkah ini, pilih **Berikutnya**. 1. Ringkasan properti tabel ditampilkan. Jika semuanya terlihat seperti yang diharapkan, pilih **Buat**. Jika tidak, pilih **Kembali** dan lakukan pengeditan sesuai kebutuhan. Selamat, Anda telah berhasil membuat tabel secara manual dan mengaitkannya ke database. Tabel yang baru Anda buat akan muncul di dasbor Tabel. Dari dasbor, Anda dapat memodifikasi dan mengelola semua tabel Anda. Untuk informasi selengkapnya, lihat [Bekerja dengan Tabel di AWS Glue Konsol](https://docs.aws.amazon.com/glue/latest/dg/console-tables.html). ## Langkah selanjutnya **Langkah selanjutnya** Sekarang setelah Katalog Data diisi, Anda dapat mulai menulis pekerjaan di. AWS Glue Lihat [Membangun pekerjaan ETL visual dengan AWS Glue Studio](https://docs.aws.amazon.com/glue/latest/dg/author-job-glue.html). Selain menggunakan konsol, ada cara lain untuk menentukan tabel di Katalog Data termasuk: + [Membuat dan menjalankan crawler](https://docs.aws.amazon.com/glue/latest/dg/add-crawler.html) + [Menambahkan pengklasifikasi ke crawler di AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/add-classifier.html) + [Menggunakan API AWS Glue Tabel](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-catalog-tables.html) + [Menggunakan AWS Glue Data Catalog template](https://docs.aws.amazon.com/glue/latest/dg/populate-with-cloudformation-templates.html) + [Migrasi metastore Apache Hive](https://github.com/aws-samples/aws-glue-samples/tree/master/utilities/Hive_metastore_migration) + [Menggunakan AWS CLI](https://docs.aws.amazon.com/cli/latest/reference/glue/create-table.html), Boto3, atau bahasa definisi data (DDL) **** Berikut ini adalah contoh bagaimana Anda dapat menggunakan CLI, Boto3, atau DDL untuk menentukan tabel berdasarkan file flights\$1data.csv yang sama dari bucket S3 yang Anda gunakan dalam tutorial. Lihat dokumentasi tentang cara menyusun AWS CLI perintah. Contoh CLI berisi sintaks JSON untuk nilai 'aws glue create-table --table-input'. ``` { "Name": "flights_data_cli", "StorageDescriptor": { "Columns": [ { "Name": "year", "Type": "bigint" }, { "Name": "quarter", "Type": "bigint" } ], "Location": "s3://crawler-public-us-west-2/flight/2016/csv", "InputFormat": "org.apache.hadoop.mapred.TextInputFormat", "OutputFormat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat", "Compressed": false, "NumberOfBuckets": -1, "SerdeInfo": { "SerializationLibrary": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe", "Parameters": { "field.delim": ",", "serialization.format": "," } } }, "PartitionKeys": [ { "Name": "mon", "Type": "string" } ], "TableType": "EXTERNAL_TABLE", "Parameters": { "EXTERNAL": "TRUE", "classification": "csv", "columnsOrdered": "true", "compressionType": "none", "delimiter": ",", "skip.header.line.count": "1", "typeOfData": "file" } } ``` ``` import boto3 glue_client = boto3.client("glue") response = glue_client.create_table( DatabaseName='sampledb', TableInput={ 'Name': 'flights_data_manual', 'StorageDescriptor': { 'Columns': [{ 'Name': 'year', 'Type': 'bigint' }, { 'Name': 'quarter', 'Type': 'bigint' }], 'Location': 's3://crawler-public-us-west-2/flight/2016/csv', 'InputFormat': 'org.apache.hadoop.mapred.TextInputFormat', 'OutputFormat': 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat', 'Compressed': False, 'NumberOfBuckets': -1, 'SerdeInfo': { 'SerializationLibrary': 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe', 'Parameters': { 'field.delim': ',', 'serialization.format': ',' } }, }, 'PartitionKeys': [{ 'Name': 'mon', 'Type': 'string' }], 'TableType': 'EXTERNAL_TABLE', 'Parameters': { 'EXTERNAL': 'TRUE', 'classification': 'csv', 'columnsOrdered': 'true', 'compressionType': 'none', 'delimiter': ',', 'skip.header.line.count': '1', 'typeOfData': 'file' } } ) ``` ``` CREATE EXTERNAL TABLE `sampledb`.`flights_data` ( `year` bigint, `quarter` bigint) PARTITIONED BY ( `mon` string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 's3://crawler-public-us-west-2/flight/2016/csv/' TBLPROPERTIES ( 'classification'='csv', 'columnsOrdered'='true', 'compressionType'='none', 'delimiter'=',', 'skip.header.line.count'='1', 'typeOfData'='file') ``` # Menyiapkan akses jaringan ke penyimpanan data Untuk menjalankan tugas extract, transform, and load (ETL) Anda, AWS Glue harus dapat mengakses penyimpanan data Anda. Jika tugas tidak perlu dijalankan di subnet virtual private cloud (VPC) Anda—misalnya, mengubah data dari Amazon S3 ke Amazon S3—maka tidak ada konfigurasi tambahan yang diperlukan. Jika tugas perlu berjalan di VPC subnet—misalnya, mengubah data dari penyimpanan data JDBC di subnet privat—maka AWS Glue akan menyiapkan [antarmuka jaringan elastis](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_ElasticNetworkInterfaces.html) yang memungkinkan tugas Anda connect dengan aman ke sumber daya lain dalam VPC Anda. Setiap antarmuka jaringan elastis ditetapkan untuknya alamat IP privat dari rentang alamat IP dalam subnet yang Anda tentukan. Tidak ada alamat IP publik yang ditetapkan. Grup keamanan yang ditentukan dalam koneksi AWS Glue digunakan pada setiap antara muka jaringan elastis. Untuk informasi selengkapnya, lihat [Menyiapkan Amazon VPC untuk koneksi JDBC ke penyimpanan data Amazon RDS dari AWS Glue](setup-vpc-for-glue-access.md). Semua penyimpanan data JDBC yang diakses oleh tugas harus tersedia dari subnet VPC. Untuk mengakses Amazon S3 dari dalam VPC Anda, diperlukan [VPC endpoint](vpc-endpoints-s3.md). Jika tugas Anda perlu mengakses sumber daya VPC dan internet publik, maka VPC perlu memiliki gateway Network Address Translation (NAT) di dalam VPC tersebut. Sebuah tugas atau pengembangan titik akhir hanya dapat mengakses satu VPC (dan subnet) pada suatu waktu. Jika Anda perlu mengakses penyimpanan data yang berbeda VPCs, Anda memiliki opsi berikut: + Gunakan peering VPC untuk mengakses penyimpanan data. Untuk lebih lanjut tentang peering VPC, lihat [Dasar-dasar Peering VPC](https://docs.aws.amazon.com/vpc/latest/peering/vpc-peering-basics.html) + Gunakan bucket Amazon S3 sebagai lokasi penyimpanan perantara. Membagi tugas menjadi dua tugas, dengan output Amazon S3 dari tugas 1 sebagai masukan untuk tugas 2. Untuk detail tentang cara menyambung ke penyimpanan data Amazon Redshift menggunakan Amazon VPC, lihat. [Mengkonfigurasi koneksi Redshift](aws-glue-programming-etl-connect-redshift-home.md#aws-glue-programming-etl-connect-redshift-configure) Untuk detail tentang cara menghubungkan ke penyimpanan data Amazon RDS menggunakan Amazon VPC, lihat. [Menyiapkan Amazon VPC untuk koneksi JDBC ke penyimpanan data Amazon RDS dari AWS Glue](setup-vpc-for-glue-access.md) Setelah aturan yang diperlukan ditetapkan di Amazon VPC, Anda membuat koneksi AWS Glue dengan properti yang diperlukan untuk terhubung ke penyimpanan data Anda. Untuk informasi selengkapnya tentang koneksi, lihat[Menghubungkan ke data](glue-connections.md). **catatan** Pastikan Anda mengatur lingkungan DNS Anda untuk AWS Glue. Lihat informasi yang lebih lengkap di [Menyiapkan DNS di VPC Anda](set-up-vpc-dns.md). **Topics** + [Menyiapkan VPC untuk terhubung ke PyPI AWS Glue](setup-vpc-for-pypi.md) + [Menyiapkan DNS di VPC Anda](set-up-vpc-dns.md) # Menyiapkan VPC untuk terhubung ke PyPI AWS Glue Python Package Index (PyPI) adalah repositori perangkat lunak untuk bahasa pemrograman Python. Topik ini membahas detail yang diperlukan untuk mendukung penggunaan paket yang diinstal pip (seperti yang ditentukan oleh pembuat sesi menggunakan `--additional-python-modules` bendera). Menggunakan sesi AWS Glue interaktif dengan konektor menghasilkan penggunaan jaringan VPC melalui subnet yang ditentukan untuk konektor. Akibatnya AWS layanan dan tujuan jaringan lainnya tidak tersedia kecuali Anda mengatur konfigurasi khusus. Resolusi untuk masalah ini meliputi: + Gunakan gateway internet yang dapat dijangkau oleh sesi Anda. + Siapkan dan gunakan bucket S3 dengan PyPI/simple repo yang berisi penutupan transitif dependensi set paket. + Penggunaan CodeArtifact repositori yang mencerminkan PyPI dan dilampirkan ke VPC Anda. ## Menyiapkan gateway internet Aspek teknis dirinci dalam [kasus penggunaan gateway NAT](https://docs.aws.amazon.com/vpc/latest/userguide/nat-gateway-scenarios.html) tetapi perhatikan persyaratan ini untuk digunakan`--additional-python-modules`. Secara khusus, `--additional-python-modules` memerlukan akses ke pypi.org yang ditentukan oleh konfigurasi VPC Anda. Perhatikan persyaratan berikut: 1. Persyaratan menginstal modul python tambahan melalui pip install untuk sesi pengguna. Jika sesi menggunakan konektor, konfigurasi Anda mungkin terpengaruh. 1. Ketika konektor sedang digunakan`--additional-python-modules`, ketika sesi dimulai, subnet yang terkait dengan konektor `PhysicalConnectionRequirements` harus menyediakan jalur jaringan untuk mencapai pypi.org. 1. Anda harus menentukan apakah konfigurasi Anda benar atau tidak. ## Menyiapkan bucket Amazon S3 untuk meng-host repo yang ditargetkan PyPI/simple Contoh ini menyiapkan mirror PyPI di Amazon S3 untuk satu set paket dan dependensinya. Untuk mengatur cermin PyPI untuk satu set paket: ``` # pip download all the dependencies pip download -d s3pypi --only-binary :all: plotly gglplot pip download -d s3pypi --platform manylinux_2_17_x86_64 --only-binary :all: psycopg2-binary # create and upload the pypi/simple index and wheel files to the s3 bucket s3pypi -b test-domain-name --put-root-index -v s3pypi/* ``` Jika Anda sudah memiliki repositori artefak yang ada, itu akan memiliki URL indeks untuk penggunaan pip yang dapat Anda berikan sebagai pengganti URL contoh untuk bucket Amazon S3 seperti di atas. Untuk menggunakan url indeks khusus, dengan beberapa contoh paket: ``` %%configure { "--additional-python-modules": "psycopg2_binary==2.9.5", "python-modules-installer-option": "--no-cache-dir --verbose --index-url https://test-domain-name.s3.amazonaws.com/ --trusted-host test-domain-name.s3.amazonaws.com" } ``` ## Menyiapkan CodeArtifact cermin pypi yang terpasang pada VPC Anda Untuk mengatur cermin: 1. Buat repositori di wilayah yang sama dengan subnet yang digunakan oleh konektor. Pilih `Public upstream repositories` dan pilih`pypi-store`. 1. Berikan akses ke repositori dari VPC untuk subnet. 1. Tentukan yang benar `--index-url` menggunakan`python-modules-installer-option`. ``` %%configure { "--additional-python-modules": "psycopg2_binary==2.9.5", "python-modules-installer-option": "--no-cache-dir --verbose --index-url https://test-domain-name.s3.amazonaws.com/ --trusted-host test-domain-name.s3.amazonaws.com" } ``` Untuk informasi selengkapnya, lihat [Menggunakan CodeArtifact dari VPC](https://docs.aws.amazon.com/codeartifact/latest/ug/use-codeartifact-from-vpc.html). # Menyiapkan DNS di VPC Anda Sistem Nama Domain (DNS) adalah standar dimana nama yang digunakan di internet diubah ke alamat IP yang sesuai. Nama host DNS unik secara menjadi nama sebuah komputer dan terdiri dari nama host dan nama domain. Server DNS mengubah nama host DNS ke alamat IP yang sesuai. Untuk menyiapkan DNS di VPC Anda, pastikan bahwa nama host DNS dan resolusi DNS keduanya diaktifkan di VPC Anda. Atribut jaringan VPC `enableDnsHostnames` dan `enableDnsSupport` harus diatur ke `true`. Untuk melihat dan memodifikasi atribut ini, buka konsol VPC di. [https://console.aws.amazon.com/vpc/](https://console.aws.amazon.com/vpc/) Untuk informasi selengkapnya, lihat [Menggunakan DNS dengan VPC Anda](https://docs.aws.amazon.com/vpc/latest/userguide/vpc-dns.html). Juga, Anda dapat menggunakan AWS CLI dan memanggil [modify-vpc-attribute](https://docs.aws.amazon.com/cli/latest/reference/ec2/modify-vpc-attribute.html)perintah untuk mengkonfigurasi atribut jaringan VPC. **catatan** Jika Anda menggunakan Route 53, konfirmasi bahwa konfigurasi Anda tidak menimpa atribut jaringan DNS. # Menyiapkan enkripsi di AWS Glue Alur kerja contoh berikut menyoroti opsi untuk mengkonfigurasi ketika Anda menggunakan enkripsi dengan AWS Glue. Contoh menunjukkan penggunaan kunci spesifik AWS Key Management Service (AWS KMS), tetapi Anda dapat memilih pengaturan lain berdasarkan kebutuhan khusus Anda. Alur kerja ini hanya menyoroti opsi yang berkaitan dengan enkripsi saat menyiapkan AWS Glue. 1. Jika pengguna konsol AWS Glue tidak menggunakan kebijakan izin yang mengizinkan semua operasi API AWS Glue (misalnya, `"glue:*"`), maka konfirmasikan bahwa tindakan berikut diizinkan: + `"glue:GetDataCatalogEncryptionSettings"` + `"glue:PutDataCatalogEncryptionSettings"` + `"glue:CreateSecurityConfiguration"` + `"glue:GetSecurityConfiguration"` + `"glue:GetSecurityConfigurations"` + `"glue:DeleteSecurityConfiguration"` 1. Setiap klien yang mengakses atau menulis ke katalog terenkripsi—yaitu, pengguna konsol, crawler, tugas, atau titik akhir pengembangan—memerlukan izin berikut. 1. Setiap pengguna atau peran yang mengakses kata sandi koneksi terenkripsi memerlukan izin berikut. 1. Peran dari setiap tugas extract, transform, and load (ETL) yang menulis data terenkripsi ke Amazon S3 membutuhkan izin berikut. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": { "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:Encrypt", "kms:GenerateDataKey" ], "Resource": "arn:aws:kms:us-east-1:111122223333:key/key-id" } } ``` ------ 1. Setiap pekerjaan ETL atau crawler yang menulis Log CloudWatch Amazon terenkripsi memerlukan izin berikut dalam kebijakan kunci dan IAM. Dalam kebijakan utama (bukan kebijakan IAM): ``` { "Effect": "Allow", "Principal": { "Service": "logs.region.amazonaws.com" }, "Action": [ "kms:Encrypt*", "kms:Decrypt*", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:Describe*" ], "Resource": "" } ``` Untuk informasi selengkapnya tentang kebijakan kunci, lihat [Menggunakan Kebijakan Kunci di AWS KMS](https://docs.aws.amazon.com/kms/latest/developerguide/key-policies.html) dalam *Panduan Developer AWS Key Management Service *. Dalam kebijakan IAM lampirkan `logs:AssociateKmsKey` izin: ``` { "Effect": "Allow", "Principal": { "Service": "logs.region.amazonaws.com" }, "Action": [ "logs:AssociateKmsKey" ], "Resource": "" } ``` 1. Setiap tugas ETL yang menggunakan bookmark tugas terenkripsi memerlukan izin berikut. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": { "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:Encrypt" ], "Resource": "arn:aws:kms:us-east-1:111122223333:key/*" } } ``` ------ 1. Pada konsol AWS Glue, pilih **Pengaturan** dalam panel navigasi. 1. Pada halaman **Pengaturan katalog data**, enkripsi Katalog Data Anda dengan memilih **Enkripsi metadata**. Opsi ini mengenkripsi semua objek dalam Katalog Data dengan AWS KMS kunci yang Anda pilih. 1. Untuk **kunci AWS KMS **, pilih **aws/glue**. Anda juga dapat memilih AWS KMS kunci yang Anda buat. **penting** AWS Gluehanya mendukung kunci master pelanggan simetris (CMKs). **Kunci AWS KMS ** hanya menampilkan kunci simetris saja. Namun, jika Anda **memilih Pilih ARN AWS KMS kunci**, konsol memungkinkan Anda memasukkan ARN untuk semua jenis kunci. Pastikan Anda memasukkan hanya ARNs untuk tombol simetris. Ketika enkripsi diaktifkan, klien yang mengakses Katalog Data harus memiliki izin AWS KMS . 1. Di panel navigasi, pilih **Konfigurasi keamanan**. Konfigurasi keamanan adalah seperangkat properti keamanan yang dapat digunakan untuk mengkonfigurasi proses AWS Glue. Lalu pilih **Tambahkan konfigurasi keamanan**. Dalam konfigurasi, pilih salah satu opsi berikut ini: 1. Pilih **Enkripsi S3**. Untuk **Mode enkripsi**, pilih **SSE-KMS**. Untuk **kunci AWS KMS **, pilih **aws/s3** (memastikan bahwa pengguna memiliki izin untuk menggunakan kunci ini). Ini memungkinkan data yang ditulis oleh pekerjaan ke Amazon S3 untuk menggunakan kunci yang AWS dikelola AWS Glue AWS KMS . 1. Pilih **enkripsi CloudWatch log**, dan pilih CMK. (Pastikan bahwa pengguna memiliki izin untuk menggunakan kunci ini). Untuk informasi selengkapnya, lihat [Mengenkripsi Data Log di CloudWatch Log Menggunakan AWS KMS](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/encrypt-log-data-kms.html) dalam *Panduan AWS Key Management Service Pengembang*. **penting** AWS Gluehanya mendukung kunci master pelanggan simetris (CMKs). **Kunci AWS KMS ** hanya menampilkan kunci simetris saja. Namun, jika Anda **memilih Pilih ARN AWS KMS kunci**, konsol memungkinkan Anda memasukkan ARN untuk semua jenis kunci. Pastikan Anda memasukkan hanya ARNs untuk tombol simetris. 1. Pilih **Properti lanjutan**, dan pilih **Enkripsi bookmark tugas**. Untuk **kunci AWS KMS **, pilih **aws/glue** (memastikan bahwa pengguna memiliki izin untuk menggunakan kunci ini). Ini memungkinkan enkripsi bookmark pekerjaan yang ditulis ke Amazon S3 dengan AWS Glue AWS KMS kuncinya. 1. Di panel navigasi, pilih **Koneksi**. 1. Pilih **Tambahkan koneksi** untuk membuat koneksi ke penyimpanan data Java Database Connectivity (JDBC) yang merupakan target dari tugas ETL Anda. 1. Untuk menerapkan itu, enkripsi Secure Sockets Layer (SSL) digunakan, pilih **Wajibkan koneksi SSL**, dan uji koneksi Anda. 1. Di panel navigasi, pilih **Tugas**. 1. Pilih **Tambahkan tugas** untuk membuat tugas yang mengubah data. 1. Dalam definisi tugas, pilih konfigurasi keamanan yang Anda buat. 1. Pada konsol AWS Glue, jalankan tugas Anda sesuai permintaan. Verifikasi bahwa data Amazon S3 apa pun yang ditulis oleh pekerjaan, CloudWatch Log yang ditulis oleh pekerjaan, dan bookmark pekerjaan semuanya dienkripsi. # Menyiapkan jaringan untuk pengembangan AWS Glue *Untuk menjalankan skrip ekstrak, transformasi, dan muat (ETL)AWS Glue, Anda dapat mengembangkan dan menguji skrip Anda menggunakan titik akhir pengembangan.* Titik akhir pengembangan tidak didukung untuk digunakan dengan tugas AWS Glue versi 2.0. Untuk versi 2.0 dan yang lebih baru, metode pengembangan yang disukai adalah menggunakan Jupyter Notebook dengan salah satu kernel. AWS Glue Untuk informasi selengkapnya, lihat [Memulai dengan sesi AWS Glue interaktif](interactive-sessions.md). ## Menyiapkan jaringan Anda untuk titik akhir pengembangan Ketika Anda mengatur titik akhir, Anda menentukan virtual private cloud (VPC), subnet, dan grup keamanan. **catatan** Pastikan Anda mengatur lingkungan DNS Anda untuk AWS Glue. Untuk informasi selengkapnya, lihat [Menyiapkan DNS di VPC Anda](set-up-vpc-dns.md). Untuk mengaktifkan AWS Glue agar mengakses sumber daya yang diperlukan, tambahkan baris dalam tabel rute subnet Anda untuk meng-associate daftar prefiks untuk Amazon S3 ke VPC endpoint. ID daftar prefiks diperlukan untuk membuat aturan grup keamanan keluar yang memungkinkan lalu lintas dari VPC untuk mengakses layanan AWS melalui sebuah VPC endpoint. Untuk memudahkan menyambung ke server notebook yang dikaitkan dengan titik akhir pengembangan ini, dari mesin lokal Anda, tambahkan baris ke tabel rute untuk menambahkan ID gateway internet. Untuk informasi lebih lanjut, lihat [VPC endpoint](https://docs.aws.amazon.com/vpc/latest/userguide/vpc-endpoints.html). Memperbarui tabel rute subnet agar menjadi mirip dengan Daftar Tabel berikut: **** | Destinasi | Target | | --- | --- | | 10.0.0.0/16 | lokal | | pl-id untuk Amazon S3 | vpce-id | | 0.0.0.0/0 | igw-xxxx | Untuk mengaktifkan AWS Glue untuk berkomunikasi antara komponen-komponennya, tentukan grup keamanan dengan aturan inbound self-referencing untuk semua port TCP. Dengan membuat aturan self-referencing, Anda dapat membatasi sumber ke grup keamanan yang sama di VPC, dan ia tidak terbuka untuk semua jaringan. Grup keamanan default untuk VPC Anda mungkin sudah memiliki aturan self-referencing inbound untuk semua lalu lintas. **Untuk menyiapkan grup keamanan** 1. Masuk ke Konsol Manajemen AWS dan buka konsol Amazon EC2 di. [https://console.aws.amazon.com/ec2/](https://console.aws.amazon.com/ec2/) 1. Di panel navigasi sebelah kiri, pilih **Grup Keamanan**. 1. Pilih grup keamanan yang sudah ada dari daftar, atau **Buat Grup Keamanan** untuk digunakan dengan titik akhir pengembangan. 1. Di panel grup keamanan, arahkan ke tab **Inbound**. 1. Tambahkan aturan self-referencing untuk mengizinkan komponen AWS Glue untuk berkomunikasi. Secara khusus, tambahkan atau konfirmasi bahwa ada aturan **Jenis** `All TCP`, **Protokol** adalah `TCP`, **Rentang Port** mencakup semua port, dan yang **Sumber** adalah nama grup keamanan yang sama seperti **ID Grup**. Aturan inbound terlihat serupa dengan ini: **** [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/start-development-endpoint.html) Berikut ini adalah contoh aturan self-referencing inbound: ![\[Gambar menunjukkan contoh aturan self-referencing inbound.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/SetupSecurityGroup-Start.png) 1. Menambahkan aturan untuk lalu lintas outbound juga. Buka lalu lintas keluar ke semua port, atau membuat aturan self-referencing di mana **Jenis** `All TCP`, **Protokol** adalah `TCP`, **Rentang Port** mencakup semua port, dan yang **Sumber** adalah nama grup keamanan yang sama seperti **ID Grup**. Aturan outbound terlihat mirip dengan salah satu aturan ini: **** [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/start-development-endpoint.html) ## Menyiapkan Amazon EC2 untuk server notebook Dengan titik akhir pengembangan, Anda dapat membuat server notebook untuk menguji skrip ETL Anda dengan notebook Jupyter. Untuk mengaktifkan komunikasi ke notebook Anda, tentukan grup keamanan dengan aturan masuk untuk HTTPS (port 443) dan SSH (port 22). Pastikan bahwa sumber aturan adalah 0.0.0.0/0 atau alamat IP dari mesin yang terhubung ke notebook. **Untuk menyiapkan grup keamanan** 1. Masuk ke Konsol Manajemen AWS dan buka konsol Amazon EC2 di. [https://console.aws.amazon.com/ec2/](https://console.aws.amazon.com/ec2/) 1. Di panel navigasi sebelah kiri, pilih **Grup Keamanan**. 1. Pilih grup keamanan yang sudah ada dari daftar, atau **Buat Grup Keamanan** untuk digunakan dengan server notebook. Grup keamanan yang dikaitkan dengan titik akhir pengembangan Anda juga digunakan untuk menciptakan server notebook Anda. 1. Di panel grup keamanan, arahkan ke tab **Inbound**. 1. Tambahkan aturan inbound yang mirip dengan ini: **** [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/start-development-endpoint.html) Berikut ini adalah contoh aturan inbound untuk grup keamanan: ![\[Gambar yang menunjukkan contoh aturan inbound untuk grup keamanan.\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/SetupSecurityGroupNotebook-Start.png)