View a markdown version of this page

Création d'une diffusion par table en streaming - Amazon Kinesis Data Streams
Utilisation de Console de gestion AWSUtilisation de AWS CLI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création d'une diffusion par table en streaming

Créez une diffusion qui envoie en continu des enregistrements depuis un flux Amazon Kinesis Data Streams vers une table de streaming sur Apache Iceberg soutenue par un compartiment de tables S3. Vous pouvez créer une livraison à l'aide du Console de gestion AWS ou du AWS CLI. Lorsque vous créez une livraison, Amazon Kinesis Data Streams crée la table Iceberg de destination dans le compartiment de tables que vous spécifiez.

Note

Avant de créer une diffusion, remplissez les conditions requises décrites dansCommencer à utiliser les tables de streaming, notamment, le rôle d'exécution du service IAM décrit dans. Autorisations IAM pour la fourniture de données La diffusion d'une table de streaming nécessite un AWS Glue schéma dans Schema Registry et une file d'attente de lettres mortes.

Utilisation de Console de gestion AWS

  1. Ouvrez la console Kinesis à https://console.aws.amazon.com/kinesis l'adresse.

  2. Dans le volet de navigation, choisissez Tables de diffusion, puis choisissez Créer une table de diffusion.

  3. Étape 1 : Configuration de la source Dans Détails de livraison, saisissez un nom de livraison. Les caractères acceptés sont les lettres majuscules et minuscules, les chiffres, les traits de soulignement, les tirets et les points. Pour Source, choisissez le On-Demand flux à partir duquel vous souhaitez diffuser. Seuls On-Demand les streams sont affichés. Choisissez Suivant.

  4. Étape 2 : Configuration de la destination Dans Configuration de la conversion des enregistrements, choisissez un format de conversion des enregistrements  :

    • JSON  : enregistrements JSON validés par rapport à un AWS Glue schéma dans Schema Registry. Fournissez l'ARN du schéma dans le registre Glue Schema.

    • Registre JSON de schéma Glue — Convertissez des enregistrements à l'aide d'un AWS Glue schéma JSON de registre de schémas.

    Pour le registre Glue Schema, spécifiez l'ARN du schéma ou choisissez Parcourir pour en sélectionner un.

  5. Dans Tableau de destination, indiquez où Amazon Kinesis Data Streams crée la table Iceberg :

    • ARN du compartiment de table S3  : l'ARN du compartiment de tables S3. Choisissez Browse S3 pour en sélectionner un.

    • Namespace  : espace de noms du tableau (lettres minuscules, chiffres et traits de soulignement uniquement).

    • Nom de la table  : nom de la table à créer.

    • Nom de colonne  : nom d'un champ date-heure de votre schéma utilisé pour partitionner la table par heure. Le champ doit être un champ de chaîne dont le format date-heure est indiqué dans le schéma.

    • Type de compression  : choisissez ZSTD, Snappy ou None.

    • Actualité des données  : durée maximale de mise en mémoire tampon en secondes avant la livraison des enregistrements (minimum 300, maximum 900).

    Choisissez Suivant.

  6. Étape 3 : Configuration supplémentaire Configurez les éléments suivants, puis choisissez Suivant  :

    • Configuration du chiffrement  : par défaut, les données sont chiffrées avec le chiffrement Amazon S3 par défaut. Pour utiliser une clé gérée par le client, sélectionnez Personnaliser les paramètres de chiffrement (avancés).

    • Accès au service  : pour l'ARN du rôle IAM, choisissez ou créez le rôle IAM qui accorde l'accès à la destination. Choisissez Créer un rôle IAM pour en créer un.

    • File d'attente de lettres mortes  : pour l'URI du compartiment S3, choisissez le compartiment Amazon S3 qui stocke les enregistrements non distribuables. Définissez éventuellement un préfixe de sortie d'erreur de compartiment S3.

    • Livraison du journal  : sélectionnez éventuellement Livrer à Amazon CloudWatch Logs pour enregistrer les diagnostics de livraison.

    • Étiquettes  : ajoutez éventuellement des étiquettes à valeur clé pour identifier et organiser votre livraison.

  7. Étape 4 : Révisez et créez. Vérifiez votre configuration, puis choisissez Créer une table de diffusion. La livraison passe de CREATING à ACTIVE une fois le provisionnement terminé.

Utilisation de AWS CLI

Utilisez la create-channel commande pour créer une diffusion sous forme de table de streaming. Cette configuration nécessite un schéma provenant du AWS Glue Schema Registry et une file d'attente de lettres mortes : 

aws kinesis create-channel \
    --channel-name "my-iceberg-delivery" \
    --service-execution-role-arn "arn:aws:iam::123456789012:role/my-channel-role" \
    --stream-configuration-list '[
        {
            "StreamARN": "arn:aws:kinesis:us-east-1:123456789012:stream/my-stream",
            "RecordConfiguration": {
                "RecordFormatType": "JSON",
                "GSRSchemaARN": "arn:aws:glue:us-east-1:123456789012:schema/my-registry/my-schema"
            }
        }
    ]' \
    --s3-tables-destination-configuration '{
        "DataFreshnessInSeconds": 300,
        "DeadLetterQueueS3Configuration": {
            "BucketARN": "arn:aws:s3:::my-dlq-bucket",
            "ExpectedBucketOwner": "123456789012",
            "ErrorOutputPrefix": "dlq/"
        },
        "S3TablesConfigurationList": [
            {
                "TableBucketARN": "arn:aws:s3tables:us-east-1:123456789012:bucket/my-table-bucket",
                "Namespace": "my_namespace",
                "TableName": "my_table",
                "CompressionType": "ZSTD",
                "PartitionSpec": {
                    "PartitionFields": [
                        {
                            "SourceName": "timestamp",
                            "Transform": "TIME_HOUR"
                        }
                    ]
                }
            }
        ]
    }'

La commande renvoie le canal ARN (ChannelARN). Utilisez-le avec describe-channel pour vérifier que la livraison atteint l'état ACTIF. Consultez Décrire la diffusion d'une table de streaming.

Référence d'API  : voir CreateChannel la référence d'API Amazon Kinesis Data Streams.