Diffusion de données vers des tables avec Amazon Data Firehose

1. Ouvrez la console IAM à l'adresse https://console.aws.amazon.com/iam/.

2. Dans le volet de navigation de gauche, choisissez Politiques.

3. Choisissez Créer une politique, puis JSON dans l’éditeur de politique.

4. Ajoutez la politique en ligne suivante qui accorde des autorisations à toutes les bases de données et tables de votre catalogue de données. Si vous le souhaitez, vous pouvez accorder des autorisations à des tables et à des bases de données spécifiques uniquement. Pour utiliser cette politique, remplacez user input placeholders par vos propres informations.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "S3TableAccessViaGlueFederation",
         "Effect": "Allow",
         "Action": [
           "glue:GetTable",
           "glue:GetDatabase",
           "glue:UpdateTable"
         ],
         "Resource": [
           "arn:aws:glue:region:account-id:catalog/s3tablescatalog/*",
           "arn:aws:glue:region:account-id:catalog/s3tablescatalog",
           "arn:aws:glue:region:account-id:catalog",
           "arn:aws:glue:region:account-id:database/*",
           "arn:aws:glue:region:account-id:table/*/*"
         ]
       },
       {
         "Sid": "S3DeliveryErrorBucketPermission",
         "Effect": "Allow",
         "Action": [
           "s3:AbortMultipartUpload",
           "s3:GetBucketLocation",
           "s3:GetObject",
           "s3:ListBucket",
           "s3:ListBucketMultipartUploads",
           "s3:PutObject"
         ],
         "Resource": [
           "arn:aws:s3:::error delivery bucket",
           "arn:aws:s3:::error delivery bucket/*"
         ]
       },
       {
         "Sid": "RequiredWhenUsingKinesisDataStreamsAsSource",
         "Effect": "Allow",
         "Action": [
           "kinesis:DescribeStream",
           "kinesis:GetShardIterator",
           "kinesis:GetRecords",
           "kinesis:ListShards"
         ],
         "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
       },
       {
         "Sid": "RequiredWhenDoingMetadataReadsANDDataAndMetadataWriteViaLakeformation",
         "Effect": "Allow",
         "Action": [
           "lakeformation:GetDataAccess"
         ],
         "Resource": "*"
       },
       {
         "Sid": "RequiredWhenUsingKMSEncryptionForS3ErrorBucketDelivery",
         "Effect": "Allow",
         "Action": [
           "kms:Decrypt",
           "kms:GenerateDataKey"
         ],
         "Resource": [
           "arn:aws:kms:region:account-id:key/KMS-key-id"
         ],
         "Condition": {
           "StringEquals": {
             "kms:ViaService": "s3.region.amazonaws.com"
           },
           "StringLike": {
             "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::error delivery bucket/prefix*"
           }
         }
       },
       {
         "Sid": "LoggingInCloudWatch",
         "Effect": "Allow",
         "Action": [
           "logs:PutLogEvents"
         ],
         "Resource": [
           "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
         ]
       },
       {
         "Sid": "RequiredWhenAttachingLambdaToFirehose",
         "Effect": "Allow",
         "Action": [
           "lambda:InvokeFunction",
           "lambda:GetFunctionConfiguration"
         ],
         "Resource": [
           "arn:aws:lambda:region:account-id:function:function-name:function-version"
         ]
       }
     ]
   }

   Cette politique contient des déclarations qui autorisent l'accès à Kinesis Data Streams, l'invocation des fonctions Lambda et l'accès aux clés. AWS KMS Si vous n’utilisez aucune de ces ressources, vous pouvez supprimer les instructions correspondantes.

   Si la journalisation des erreurs est activée, Firehose envoie également des erreurs de livraison de données à votre groupe de CloudWatch journaux et à vos flux. Pour cela, vous devez configurer les noms des flux de journaux et du groupe de journaux. Pour les noms des groupes de journaux et des flux de journaux, consultez Monitor Amazon Data Firehose Using CloudWatch Logs.

5. Une fois que vous avez créé cette politique, créez un rôle IAM avec Service AWS comme Type d’entité approuvée.

6. Pour Service ou cas d’utilisation, choisissez Kinesis. Pour Cas d’utilisation, choisissez Kinesis Firehose.

7. Choisissez Suivant, puis sélectionnez la politique que vous avez créée précédemment.

8. Donnez un nom à votre rôle. Passez en revue les détails de votre rôle, puis choisissez Créer un rôle. Ce rôle sera doté de la politique d’approbation suivante.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sts:AssumeRole"
               ],
               "Principal": {
                   "Service": [
                       "firehose.amazonaws.com"
                   ]
               }
           }
       ]
   }

Pour configurer un flux Firehose vers les tables S3 (console)

1. Ouvrez la console Firehose à l'adresse. https://console.aws.amazon.com/firehose/

2. Choisissez Créer un flux Firehose.

3. Pour Source, choisissez l’une des sources suivantes :

   • Amazon Kinesis Data Streams

   • Amazon MSK

   • Directement PUT

4. Pour Destination, choisissez Apache IcebergTables.

5. Entrez un nom pour Nom du flux Firehose.

6. Configurez vos Paramètres sources.

7. Pour les paramètres de destination, choisissez Compte courant pour diffuser sur les tables de votre compte ou Compte croisé pour les tables d'un autre compte.

   • Pour les tables du compte courant, sélectionnez votre catalogue de tables S3 dans la liste déroulante Catalogue.

   • Pour les tables d'un compte multicompte, entrez l'ARN du catalogue vers lequel vous souhaitez diffuser des données sur un autre compte.

8. Configurez les noms de base de données et de tables à l'aide d'une configuration de clé unique, d' JSONQuery expressions ou d'une fonction Lambda. Pour plus d'informations, reportez-vous aux sections Router les enregistrements entrants vers une seule table Iceberg et Router les enregistrements entrants vers différentes tables Iceberg du manuel Amazon Data Firehose Developer Guide.

9. Sous Paramètres de sauvegarde, spécifiez un compartiment de sauvegarde S3.

10. Pour Rôles IAM existants, sous Paramètres avancés, sélectionnez le rôle IAM que vous avez créé pour Firehose.

11. Choisissez Créer un flux Firehose.