Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Membuat danau data dari AWS CloudTrail sumber
Tutorial ini memandu Anda melalui tindakan yang harus diambil pada konsol Lake Formation untuk membuat dan memuat data lake pertama Anda dari AWS CloudTrail sumber.
**Langkah-langkah tingkat tinggi untuk membuat danau data**
1. Daftarkan jalur Amazon Simple Storage Service (Amazon S3) sebagai data lake.
1. Berikan izin Lake Formation untuk menulis ke Katalog Data dan ke lokasi Amazon S3 di data lake.
1. Buat database untuk mengatur tabel metadata dalam Katalog Data.
1. Gunakan cetak biru untuk membuat alur kerja. Jalankan alur kerja untuk menyerap data dari sumber data.
1. Siapkan izin Lake Formation Anda untuk memungkinkan orang lain mengelola data di Katalog Data dan data lake.
1. Siapkan Amazon Athena untuk menanyakan data yang Anda impor ke danau data Amazon S3 Anda.
1. Untuk beberapa jenis penyimpanan data, siapkan Amazon Redshift Spectrum untuk menanyakan data yang Anda impor ke data lake Amazon S3 Anda.
**Topics**
+ [Audiens yang dituju](#cloudtrail-tut-personas)
+ [Prasyarat](#cloudtrail-tut-prereqs)
+ [Langkah 1: Buat pengguna analis data](#cloudtrail-tut-create-lf-user)
+ [Langkah 2: Tambahkan izin untuk membaca AWS CloudTrail log ke peran alur kerja](#cloudtrail-tut-grant-cloudtrail)
+ [Langkah 3: Buat bucket Amazon S3 untuk data lake](#cloudtrail-tut-create-bucket)
+ [Langkah 4: Daftarkan jalur Amazon S3](#cloudtrail-tut-register)
+ [Langkah 5: Berikan izin lokasi data](#cloudtrail-tut-data-location)
+ [Langkah 6: Buat database di Katalog Data](#cloudtrail-tut-create-db)
+ [Langkah 7: Berikan izin data](#cloudtrail-tut-data-permissions)
+ [Langkah 8: Gunakan cetak biru untuk membuat alur kerja](#cloudtrail-tut-create-workflow)
+ [Langkah 9: Jalankan alur kerja](#cloudtrail-tut-run-workflow)
+ [Langkah 10: Berikan SELECT pada tabel](#cloudtrail-tut-grant-table)
+ [Langkah 11: Kueri data lake Menggunakan Amazon Athena](#cloudtrail-tut-query)
## Audiens yang dituju
Tabel berikut mencantumkan peran yang digunakan dalam tutorial ini untuk membuat danau data.
**Audiens yang dituju**
| Peran | Deskripsi |
| --- | --- |
| Administrator IAM | Memiliki kebijakan AWS terkelola:AdministratorAccess. Dapat membuat peran IAM dan bucket Amazon S3. |
| Administrator danau data | Pengguna yang dapat mengakses katalog data, membuat database, dan memberikan izin Lake Formation kepada pengguna lain. Memiliki izin IAM lebih sedikit daripada administrator IAM, tetapi cukup untuk mengelola data lake. |
| Analis data | Pengguna yang dapat menjalankan kueri terhadap data lake. Hanya memiliki izin yang cukup untuk menjalankan kueri. |
| Peran alur kerja | Berperan dengan kebijakan IAM yang diperlukan untuk menjalankan alur kerja. Untuk informasi selengkapnya, lihat [(Opsional) Buat peran IAM untuk alur kerja](initial-lf-config.md#iam-create-blueprint-role). |
## Prasyarat
Sebelum Anda memulai:
+ Pastikan bahwa Anda telah menyelesaikan tugas di[Mengatur AWS Lake Formation](initial-lf-config.md).
+ Ketahui lokasi CloudTrail log Anda.
+ Athena mengharuskan persona analis data untuk membuat bucket Amazon S3 untuk menyimpan hasil kueri sebelum menggunakan Athena.
Keakraban dengan AWS Identity and Access Management (IAM) diasumsikan. Untuk informasi tentang IAM, lihat [Panduan Pengguna IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html).
## Langkah 1: Buat pengguna analis data
Pengguna ini memiliki set izin minimum untuk menanyakan data lake.
1. Buka konsol IAM di [https://console.aws.amazon.com/iam](https://console.aws.amazon.com/iam). Masuk sebagai pengguna administrator yang Anda buat [Buat pengguna dengan akses administratif](getting-started-setup.md#create-an-admin) atau sebagai pengguna dengan kebijakan `AdministratorAccess` AWS terkelola.
1. Buat pengguna bernama `datalake_user` dengan pengaturan berikut:
+ Aktifkan Konsol Manajemen AWS akses.
+ Tetapkan kata sandi dan tidak memerlukan pengaturan ulang kata sandi.
+ Lampirkan kebijakan `AmazonAthenaFullAccess` AWS terkelola.
+ Lampirkan kebijakan inline berikut. Sebutkan kebijakan `DatalakeUserBasic`.
```
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"lakeformation:GetDataAccess",
"glue:GetTable",
"glue:GetTables",
"glue:SearchTables",
"glue:GetDatabase",
"glue:GetDatabases",
"glue:GetPartitions",
"lakeformation:GetResourceLFTags",
"lakeformation:ListLFTags",
"lakeformation:GetLFTag",
"lakeformation:SearchTablesByLFTags",
"lakeformation:SearchDatabasesByLFTags"
],
"Resource": "*"
}
]
}
```
## Langkah 2: Tambahkan izin untuk membaca AWS CloudTrail log ke peran alur kerja
1. Lampirkan kebijakan inline berikut ke peran`LakeFormationWorkflowRole`. Kebijakan memberikan izin untuk membaca AWS CloudTrail log Anda. Sebutkan kebijakan `DatalakeGetCloudTrail`.
Untuk membuat `LakeFormationWorkflowRole` peran, lihat[(Opsional) Buat peran IAM untuk alur kerja](initial-lf-config.md#iam-create-blueprint-role).
**penting**
Ganti ** dengan lokasi Amazon S3 data Anda CloudTrail .
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "s3:GetObject",
"Resource": ["arn:aws:s3:::/*"]
}
]
}
```
------
1. Verifikasi bahwa ada tiga kebijakan yang melekat pada peran tersebut.
## Langkah 3: Buat bucket Amazon S3 untuk data lake
Buat bucket Amazon S3 yang akan menjadi lokasi root danau data Anda.
1. Buka konsol Amazon S3 di [https://console.aws.amazon.com/s3/](https://console.aws.amazon.com/s3/)dan masuk sebagai pengguna administrator yang Anda buat. [Buat pengguna dengan akses administratif](getting-started-setup.md#create-an-admin)
1. Pilih **Buat ember**, dan buka wizard untuk membuat bucket bernama`-datalake-cloudtrail`, di ** mana nama awal dan belakang pertama Anda. Sebagai contoh: `jdoe-datalake-cloudtrail`.
Untuk petunjuk mendetail tentang cara membuat bucket Amazon S3, lihat [Membuat](https://docs.aws.amazon.com/AmazonS3/latest/user-guide/create-bucket.html) bucket.
## Langkah 4: Daftarkan jalur Amazon S3
Daftarkan jalur Amazon S3 sebagai lokasi root danau data Anda.
1. Buka konsol Lake Formation di [https://console.aws.amazon.com/lakeformation/](https://console.aws.amazon.com/lakeformation/). Masuk sebagai administrator danau data.
1. Di panel navigasi, di bawah **Daftar dan konsumsi**, pilih Lokasi **danau data**.
1. Pilih **Daftar lokasi** dan kemudian **Jelajahi**.
1. Pilih `-datalake-cloudtrail` bucket yang Anda buat sebelumnya, terima peran IAM default`AWSServiceRoleForLakeFormationDataAccess`, lalu pilih **Daftar lokasi**.
Untuk informasi selengkapnya tentang mendaftarkan lokasi, lihat[Menambahkan lokasi Amazon S3 ke danau data Anda](register-data-lake.md).
## Langkah 5: Berikan izin lokasi data
Prinsipal harus memiliki *izin lokasi data pada lokasi* data lake untuk membuat tabel Katalog Data atau database yang mengarah ke lokasi tersebut. Anda harus memberikan izin lokasi data ke peran IAM untuk alur kerja sehingga alur kerja dapat menulis ke tujuan konsumsi data.
1. Di panel navigasi, di bawah **Izin**, pilih Lokasi **data**.
1. Pilih **Hibah**, dan di kotak dialog **Hibah izin**, buat pilihan ini:
1. Untuk **pengguna dan peran IAM**, pilih`LakeFormationWorkflowRole`.
1. Untuk **lokasi Penyimpanan**, pilih `-datalake-cloudtrail` bucket Anda.
1. Pilih**Izin**.
Untuk informasi selengkapnya tentang izin lokasi data, lihat[Underlying data access control](access-control-underlying-data.md#data-location-permissions).
## Langkah 6: Buat database di Katalog Data
Tabel metadata dalam Katalog Data Lake Formation disimpan dalam database.
1. Di panel navigasi, di bawah **Katalog data**, pilih **Database**.
1. Pilih **Buat database**, dan di bawah **rincian Database**, masukkan nama`lakeformation_cloudtrail`.
1. Biarkan bidang lainnya kosong, dan pilih **Buat database**.
## Langkah 7: Berikan izin data
Anda harus memberikan izin untuk membuat tabel metadata di Katalog Data. Karena alur kerja akan berjalan dengan peran`LakeFormationWorkflowRole`, Anda harus memberikan izin ini ke peran tersebut.
1. Di konsol Lake Formation, di panel navigasi, di bawah **Katalog data**, pilih **Database**.
1. Pilih `lakeformation_cloudtrail` database, lalu, dari daftar drop-down **Tindakan**, pilih **Hibah** di bawah judul Izin.
1. Di kotak dialog **Berikan izin data**, buat pilihan ini:
1. Di bawah **Prinsipal**, untuk **pengguna dan peran IAM**, pilih. `LakeFormationWorkflowRole`
1. Di bawah **LF-tag atau sumber katalog, pilih Sumber daya Katalog** **Data Bernama**.
1. Untuk **Database**, Anda harus melihat bahwa `lakeformation_cloudtrail` database sudah ditambahkan.
1. Di bawah **Izin database**, pilih **Buat tabel**, **Ubah**, dan **Jatuhkan**, dan hapus **Super** jika dipilih.
1. Pilih**Izin**.
Untuk informasi selengkapnya tentang pemberian izin Lake Formation, lihat. [Mengelola izin Lake Formation](managing-permissions.md)
## Langkah 8: Gunakan cetak biru untuk membuat alur kerja
Untuk membaca CloudTrail log, memahami strukturnya, membuat tabel yang sesuai di Katalog Data, kita perlu menyiapkan alur kerja yang terdiri dari AWS Glue crawler, pekerjaan, pemicu, dan alur kerja. Cetak biru Lake Formation menyederhanakan proses ini.
Alur kerja menghasilkan pekerjaan, crawler, dan pemicu yang menemukan dan menelan data ke dalam data lake Anda. Anda membuat alur kerja berdasarkan salah satu cetak biru Lake Formation yang telah ditentukan sebelumnya.
1. **Di konsol Lake Formation, di panel navigasi, pilih **Blueprints** di bawah **Tertelan**, lalu pilih Gunakan cetak biru.**
1. Pada halaman **Gunakan cetak biru, di bawah Jenis cetak** **biru**, pilih. **AWS CloudTrail**
1. Di bawah **Impor sumber**, pilih CloudTrail sumber dan tanggal mulai.
1. Di bawah **target Impor**, tentukan parameter ini:
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/lake-formation/latest/dg/getting-started-cloudtrail-tutorial.html)
1. Untuk frekuensi impor, pilih **Jalankan sesuai permintaan**.
1. Di bawah **opsi Impor**, tentukan parameter ini:
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/lake-formation/latest/dg/getting-started-cloudtrail-tutorial.html)
1. Pilih **Buat**, dan tunggu konsol melaporkan bahwa alur kerja berhasil dibuat.
**Tip**
Apakah Anda mendapatkan pesan kesalahan berikut?
`User: arn:aws:iam:::user/ is not authorized to perform: iam:PassRole on resource:arn:aws:iam:::role/LakeFormationWorkflowRole...`
Jika demikian, periksa apakah Anda mengganti ** dalam kebijakan inline untuk pengguna administrator data lake dengan nomor AWS akun yang valid.
## Langkah 9: Jalankan alur kerja
Karena Anda menentukan bahwa alur kerjanya run-on-demand, Anda harus memulai alur kerja secara manual.
+ **Pada halaman **Blueprints**, pilih alur kerja, dan pada menu **Tindakan `lakeformationcloudtrailtest`**, pilih Mulai.**
Saat alur kerja berjalan, Anda dapat melihat kemajuannya di kolom **Status Last run**. Pilih tombol refresh sesekali.
**Status berubah dari **RUNNING**, ke **Discovering**, ke **Importing**, ke COMPLETED.**
Saat alur kerja selesai:
+ Katalog Data akan memiliki tabel metadata baru.
+ CloudTrail Log Anda akan tertelan ke dalam danau data.
Jika alur kerja gagal, lakukan hal berikut:
1. Pilih alur kerja, dan pada menu **Tindakan**, pilih **Lihat grafik**.
Alur kerja terbuka di AWS Glue konsol.
1. Pastikan bahwa alur kerja sudah dipilih, dan pilih tab **Riwayat**.
1. Di bawah **Riwayat**, pilih proses terbaru dan pilih **Lihat detail jalankan**.
1. Pilih job atau crawler yang gagal dalam grafik dinamis (runtime), dan tinjau pesan galatnya. Node yang gagal berwarna merah atau kuning.
## Langkah 10: Berikan SELECT pada tabel
Anda harus memberikan `SELECT` izin pada tabel Katalog Data baru sehingga analis data dapat melakukan kueri data yang ditunjukkan tabel.
**catatan**
Alur kerja secara otomatis memberikan `SELECT` izin pada tabel yang dibuatnya kepada pengguna yang menjalankannya. Karena administrator data lake menjalankan alur kerja ini, Anda harus memberikan `SELECT` kepada analis data.
1. Di konsol Lake Formation, di panel navigasi, di bawah **Katalog data**, pilih **Database**.
1. Pilih `lakeformation_cloudtrail` database, lalu, dari daftar drop-down **Tindakan**, pilih **Hibah** di bawah judul Izin.
1. Di kotak dialog **Berikan izin data**, buat pilihan ini:
1. Di bawah **Prinsipal**, untuk **pengguna dan peran IAM**, pilih. `datalake_user`
1. Di bawah **LF-tag atau sumber katalog**, pilih Sumber daya **katalog data bernama**.
1. Untuk **Database**, `lakeformation_cloudtrail` database harus sudah dipilih.
1. Untuk **Tabel**, pilih`cloudtrailtest-cloudtrail`.
1. Di bawah **Izin tabel dan kolom**, pilih **Pilih**.
1. Pilih**Izin**.
**Langkah selanjutnya dilakukan sebagai analis data.**
## Langkah 11: Kueri data lake Menggunakan Amazon Athena
Gunakan Amazon Athena konsol untuk menanyakan CloudTrail data di danau data Anda.
1. Buka konsol Athena di [https://console.aws.amazon.com/athena/](https://console.aws.amazon.com/athena/home)dan masuk sebagai analis data, pengguna. `datalake_user`
1. Jika perlu, pilih **Mulai** untuk melanjutkan ke editor kueri Athena.
1. Untuk **Sumber Data**, pilih **AwsDataCatalog**.
1. Untuk **Database**, pilih`lakeformation_cloudtrail`.
Daftar **Tabel** terisi.
1. **Pada menu overflow (3 titik disusun secara horizontal) di samping tabel, pilih **tabel Pratinjau `cloudtrailtest-cloudtrail`**, lalu pilih Jalankan.**
Kueri berjalan dan menampilkan 10 baris data.
Jika Anda belum pernah menggunakan Athena sebelumnya, Anda harus terlebih dahulu mengonfigurasi lokasi Amazon S3 di konsol Athena untuk menyimpan hasil kueri. `datalake_user`Harus memiliki izin yang diperlukan untuk mengakses bucket Amazon S3 yang Anda pilih.
**catatan**
Sekarang setelah Anda menyelesaikan tutorial, berikan izin data dan izin lokasi data ke kepala sekolah di organisasi Anda.