Streaming data ke tabel dengan Amazon Data Firehose

1. Buka konsol IAM di https://console.aws.amazon.com/iam/.

2. Di panel navigasi kiri, pilih Kebijakan

3. Pilih Buat kebijakan, lalu pilih JSON di editor kebijakan.

4. Tambahkan kebijakan inline berikut yang memberikan izin ke semua database dan tabel di katalog data Anda. Jika mau, Anda dapat memberikan izin hanya untuk tabel dan database tertentu. Untuk menggunakan kebijakan ini, ganti user input placeholders dengan informasi Anda sendiri.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "S3TableAccessViaGlueFederation",
         "Effect": "Allow",
         "Action": [
           "glue:GetTable",
           "glue:GetDatabase",
           "glue:UpdateTable"
         ],
         "Resource": [
           "arn:aws:glue:region:account-id:catalog/s3tablescatalog/*",
           "arn:aws:glue:region:account-id:catalog/s3tablescatalog",
           "arn:aws:glue:region:account-id:catalog",
           "arn:aws:glue:region:account-id:database/*",
           "arn:aws:glue:region:account-id:table/*/*"
         ]
       },
       {
         "Sid": "S3DeliveryErrorBucketPermission",
         "Effect": "Allow",
         "Action": [
           "s3:AbortMultipartUpload",
           "s3:GetBucketLocation",
           "s3:GetObject",
           "s3:ListBucket",
           "s3:ListBucketMultipartUploads",
           "s3:PutObject"
         ],
         "Resource": [
           "arn:aws:s3:::error delivery bucket",
           "arn:aws:s3:::error delivery bucket/*"
         ]
       },
       {
         "Sid": "RequiredWhenUsingKinesisDataStreamsAsSource",
         "Effect": "Allow",
         "Action": [
           "kinesis:DescribeStream",
           "kinesis:GetShardIterator",
           "kinesis:GetRecords",
           "kinesis:ListShards"
         ],
         "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
       },
       {
         "Sid": "RequiredWhenDoingMetadataReadsANDDataAndMetadataWriteViaLakeformation",
         "Effect": "Allow",
         "Action": [
           "lakeformation:GetDataAccess"
         ],
         "Resource": "*"
       },
       {
         "Sid": "RequiredWhenUsingKMSEncryptionForS3ErrorBucketDelivery",
         "Effect": "Allow",
         "Action": [
           "kms:Decrypt",
           "kms:GenerateDataKey"
         ],
         "Resource": [
           "arn:aws:kms:region:account-id:key/KMS-key-id"
         ],
         "Condition": {
           "StringEquals": {
             "kms:ViaService": "s3.region.amazonaws.com"
           },
           "StringLike": {
             "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::error delivery bucket/prefix*"
           }
         }
       },
       {
         "Sid": "LoggingInCloudWatch",
         "Effect": "Allow",
         "Action": [
           "logs:PutLogEvents"
         ],
         "Resource": [
           "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
         ]
       },
       {
         "Sid": "RequiredWhenAttachingLambdaToFirehose",
         "Effect": "Allow",
         "Action": [
           "lambda:InvokeFunction",
           "lambda:GetFunctionConfiguration"
         ],
         "Resource": [
           "arn:aws:lambda:region:account-id:function:function-name:function-version"
         ]
       }
     ]
   }

   Kebijakan ini memiliki pernyataan yang memungkinkan akses ke Kinesis Data Streams, menjalankan fungsi Lambda dan akses ke kunci. AWS KMS Jika Anda tidak menggunakan salah satu sumber daya ini, Anda dapat menghapus pernyataan masing-masing.

   Jika pencatatan kesalahan diaktifkan, Firehose juga mengirimkan kesalahan pengiriman data ke grup CloudWatch log dan aliran Anda. Untuk ini, Anda harus mengonfigurasi grup log dan nama aliran log. Untuk nama grup log dan aliran log, lihat Memantau Amazon Data Firehose Menggunakan CloudWatch Log.

5. Setelah Anda membuat kebijakan, buat peran IAM dengan AWS layanan sebagai jenis entitas Tepercaya.

6. Untuk Service atau use case, pilih Kinesis. Untuk kasus Penggunaan pilih Kinesis Firehose.

7. Pilih Berikutnya, lalu pilih kebijakan yang Anda buat sebelumnya.

8. Beri nama peran Anda. Tinjau detail peran Anda, dan pilih Buat peran. Peran tersebut akan memiliki kebijakan kepercayaan berikut.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sts:AssumeRole"
               ],
               "Principal": {
                   "Service": [
                       "firehose.amazonaws.com"
                   ]
               }
           }
       ]
   }

Untuk mengatur aliran Firehose ke tabel S3 (Konsol)

1. Buka konsol Firehose di. https://console.aws.amazon.com/firehose/

2. Pilih Buat aliran Firehose.

3. Untuk Sumber, pilih salah satu sumber berikut:

   • Amazon Kinesis Data Streams

   • Amazon MSK

   • Langsung PUT

4. Untuk Tujuan, pilih Apache IcebergTabel.

5. Masukkan nama aliran Firehose.

6. Konfigurasikan pengaturan Sumber Anda.

7. Untuk pengaturan Tujuan, pilih Akun saat ini untuk melakukan streaming ke tabel di akun Anda atau Akun silang untuk tabel di akun lain.

   • Untuk tabel di akun saat ini, pilih katalog Tabel S3 Anda dari tarik-turun Katalog.

   • Untuk tabel di akun Lintas, masukkan ARN Katalog dari katalog yang ingin Anda streaming di akun lain.

8. Konfigurasikan nama database dan tabel menggunakan konfigurasi Kunci Unik, JSONQuery ekspresi, atau dalam fungsi Lambda. Untuk informasi selengkapnya, lihat Rutekan catatan masuk ke satu tabel Gunung Es dan Rute catatan masuk ke tabel Gunung Es yang berbeda di Panduan Pengembang Firehose Data Amazon.

9. Di bawah Pengaturan Backup, tentukan bucket cadangan S3.

10. Untuk peran IAM yang ada di bawah Pengaturan lanjutan, pilih peran IAM yang Anda buat untuk Firehose.

11. Pilih Buat aliran Firehose.