Streamen von Daten an Tabellen mit Amazon Data Firehose

1. Öffnen Sie unter https://console.aws.amazon.com/iam/ die IAM-Konsole.

2. Wählen Sie im linken Navigationsbereich Richtlinien aus.

3. Wählen Sie im Richtlinien-Editor Richtlinie erstellen und JSON aus.

4. Fügen Sie die folgende Inline-Richtlinie hinzu, die Berechtigungen für alle Datenbanken und Tabellen in Ihrem Datenkatalog erteilt. Wenn Sie möchten, können Sie nur bestimmten Tabellen und Datenbanken Berechtigungen erteilen. Wenn Sie diese Richtlinie verwenden möchten, ersetzen Sie user input placeholders durch eigene Informationen.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "S3TableAccessViaGlueFederation",
         "Effect": "Allow",
         "Action": [
           "glue:GetTable",
           "glue:GetDatabase",
           "glue:UpdateTable"
         ],
         "Resource": [
           "arn:aws:glue:region:account-id:catalog/s3tablescatalog/*",
           "arn:aws:glue:region:account-id:catalog/s3tablescatalog",
           "arn:aws:glue:region:account-id:catalog",
           "arn:aws:glue:region:account-id:database/*",
           "arn:aws:glue:region:account-id:table/*/*"
         ]
       },
       {
         "Sid": "S3DeliveryErrorBucketPermission",
         "Effect": "Allow",
         "Action": [
           "s3:AbortMultipartUpload",
           "s3:GetBucketLocation",
           "s3:GetObject",
           "s3:ListBucket",
           "s3:ListBucketMultipartUploads",
           "s3:PutObject"
         ],
         "Resource": [
           "arn:aws:s3:::error delivery bucket",
           "arn:aws:s3:::error delivery bucket/*"
         ]
       },
       {
         "Sid": "RequiredWhenUsingKinesisDataStreamsAsSource",
         "Effect": "Allow",
         "Action": [
           "kinesis:DescribeStream",
           "kinesis:GetShardIterator",
           "kinesis:GetRecords",
           "kinesis:ListShards"
         ],
         "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
       },
       {
         "Sid": "RequiredWhenDoingMetadataReadsANDDataAndMetadataWriteViaLakeformation",
         "Effect": "Allow",
         "Action": [
           "lakeformation:GetDataAccess"
         ],
         "Resource": "*"
       },
       {
         "Sid": "RequiredWhenUsingKMSEncryptionForS3ErrorBucketDelivery",
         "Effect": "Allow",
         "Action": [
           "kms:Decrypt",
           "kms:GenerateDataKey"
         ],
         "Resource": [
           "arn:aws:kms:region:account-id:key/KMS-key-id"
         ],
         "Condition": {
           "StringEquals": {
             "kms:ViaService": "s3.region.amazonaws.com"
           },
           "StringLike": {
             "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::error delivery bucket/prefix*"
           }
         }
       },
       {
         "Sid": "LoggingInCloudWatch",
         "Effect": "Allow",
         "Action": [
           "logs:PutLogEvents"
         ],
         "Resource": [
           "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
         ]
       },
       {
         "Sid": "RequiredWhenAttachingLambdaToFirehose",
         "Effect": "Allow",
         "Action": [
           "lambda:InvokeFunction",
           "lambda:GetFunctionConfiguration"
         ],
         "Resource": [
           "arn:aws:lambda:region:account-id:function:function-name:function-version"
         ]
       }
     ]
   }

   Diese Richtlinie enthält Anweisungen, die den Zugriff auf Kinesis Data Streams, das Aufrufen von Lambda-Funktionen und den Zugriff auf Schlüssel ermöglichen. AWS KMS Wenn Sie keine dieser Ressourcen verwenden, können Sie die entsprechenden Anweisungen entfernen.

   Wenn die Fehlerprotokollierung aktiviert ist, sendet Firehose auch Datenübermittlungsfehler an Ihre CloudWatch Protokollgruppe und Ihre Streams. Dazu müssen Sie Namen für Protokollgruppen und Protokoll-Streams konfigurieren. Informationen zu Protokollgruppen- und Protokollstreamnamen finden Sie unter Überwachen von Amazon Data Firehose mithilfe von CloudWatch Protokollen.

5. Nachdem Sie die Richtlinie erstellt haben, erstellen Sie eine IAM-Rolle und wählen als vertrauenswürdigen Entitätstyp AWS -Service aus.

6. Wählen Sie für Service or use case (Service oder Anwendungsfall) die Option Kinesis aus. Wählen Sie für Use case (Anwendungsfall) die Option Kinesis Firehose aus.

7. Wählen Sie Next (Weiter) und dann die zuvor erstellte Richtlinie aus.

8. Geben Sie Ihrer Rolle einen Namen. Prüfen Sie die Rollendetails und wählen Sie Create Role (Rolle erstellen). Die Rolle wird die folgende Vertrauensrichtlinie haben.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sts:AssumeRole"
               ],
               "Principal": {
                   "Service": [
                       "firehose.amazonaws.com"
                   ]
               }
           }
       ]
   }

So richten Sie einen Firehose-Stream für S3 Tables ein (Konsole)

1. Öffnen Sie die Firehose-Konsole unter https://console.aws.amazon.com/firehose/.

2. Wählen Sie Create Firehose stream (Firehose-Stream erstellen) aus.

3. Wählen Sie unter Source (Quelle) eine der folgenden Quellen aus:

   • Amazon Kinesis Data Streams

   • Amazon MSK

   • Direkt PUT

4. Wählen Sie als Ziel die Option Apache IcebergTabellen aus.

5. Geben Sie einen Namen für den Firehose-Stream ein.

6. Konfigurieren Sie Ihre Source settings (Quelleneinstellungen).

7. Wählen Sie unter Zieleinstellungen die Option Girokonto aus, um zu Tabellen in Ihrem Konto zu streamen, oder Kontoübergreifend für Tabellen in einem anderen Konto.

   • Wählen Sie für Tabellen im Girokonto Ihren S3 Tables-Katalog aus der Dropdownliste Katalog aus.

   • Geben Sie für Tabellen in einem Cross-account den Katalog-ARN des Katalogs, in den Sie streamen möchten, in einem anderen Konto ein.

8. Konfigurieren Sie Datenbank- und Tabellennamen mithilfe von Unique Key-Konfigurationen, JSONQuery Ausdrücken oder in einer Lambda-Funktion. Weitere Informationen finden Sie unter Eingehende Datensätze an eine einzelne Iceberg-Tabelle weiterleiten und Eingehende Datensätze an verschiedene Iceberg-Tabellen weiterleiten im Amazon Data Firehose Developer Guide.

9. Geben Sie unter Backup settings (Backup-Einstellungen) einen S3-Backup-Bucket an.

10. Wählen Sie für Existing IAM roles (Vorhandene IAM-Rollen) unter Advanced settings (Erweiterte Einstellungen) die IAM-Rolle aus, die Sie für Firehose erstellt haben.

11. Wählen Sie Create Firehose stream (Firehose-Stream erstellen) aus.