View a markdown version of this page

Création d'une livraison Amazon S3 - Amazon Kinesis Data Streams
Utilisation de Console de gestion AWSUtilisation de AWS CLI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création d'une livraison Amazon S3

Créez une diffusion qui envoie des enregistrements depuis un flux Amazon Kinesis Data Streams vers un compartiment Amazon S3 à usage général. Vous pouvez créer une livraison à l'aide du Console de gestion AWS ou du AWS CLI. Les enregistrements sont fournis dans leur format source, regroupés en objets de taille optimale, avec une compression configurable et une structure de clé S3 que vous définissez.

Note

Avant de créer une diffusion, remplissez les conditions requises décrites dansCommencer à utiliser la livraison à usage général S3, notamment, le rôle d'exécution du service IAM décrit dans. Autorisations IAM pour la fourniture de données

Utilisation de Console de gestion AWS

  1. Ouvrez la console Kinesis à https://console.aws.amazon.com/kinesis l'adresse.

  2. Dans le volet de navigation, choisissez Diffusion à usage général S3, puis choisissez Créer une diffusion.

  3. Étape 1 : Configuration de la source Dans Détails de livraison, saisissez un nom de livraison. Pour Source, choisissez le On-Demand flux à partir duquel vous souhaitez diffuser. Seuls On-Demand les streams sont affichés. Choisissez Suivant.

  4. Étape 2 : Configuration de la destination Choisissez un format d'enregistrement (JSON , STRING ou BYTE_ARRAY), puis spécifiez la destination :

    • ARN du compartiment S3  : l'ARN du compartiment Amazon S3 à usage général de destination.

    • Propriétaire attendu du bucket  : Compte AWS identifiant à 12 chiffres du propriétaire attendu du bucket.

    • Type de compression  : choisissez GZIP, ZSTD ou Aucun.

    • Classe de stockage  : choisissez éventuellement une classe de stockage Amazon S3.

    • Modèle de clé de sortie  : définissez éventuellement la structure de clé d'objet Amazon S3. Pour en savoir plus, consultez Modèle de clé de sortie S3 pour la livraison d'Amazon S3.

    • Actualité des données  : durée maximale de mise en mémoire tampon en secondes avant la livraison des enregistrements (minimum 300, maximum 900).

    Choisissez Suivant.

  5. Étape 3 : Configuration supplémentaire Configurez le chiffrement, l'accès aux services (rôle IAM), une file d'attente de lettres mortes facultative, la remise des journaux et les balises. Choisissez Suivant.

  6. Étape 4 : Révisez et créez. Vérifiez votre configuration, puis choisissez Créer une livraison. La livraison passe de CREATING à ACTIVE une fois le provisionnement terminé.

Utilisation de AWS CLI

Utilisez la create-channel commande pour créer une diffusion Amazon S3 qui envoie des enregistrements vers un compartiment Amazon S3 à usage général avec format JSON et compression GZIP : 

aws kinesis create-channel \
    --channel-name "my-s3-delivery" \
    --service-execution-role-arn "arn:aws:iam::123456789012:role/my-channel-role" \
    --stream-configuration-list '[
        {
            "StreamARN": "arn:aws:kinesis:us-east-1:123456789012:stream/my-stream",
            "RecordConfiguration": {
                "RecordFormatType": "JSON"
            }
        }
    ]' \
    --s3-destination-configuration '{
        "DataFreshnessInSeconds": 300,
        "StorageConfiguration": {
            "BucketARN": "arn:aws:s3:::my-destination-bucket",
            "ExpectedBucketOwner": "123456789012",
            "CompressionType": "GZIP",
            "StorageClass": "STANDARD"
        }
    }'

La commande renvoie le canal ARN (ChannelARN). Utilisez-le avec describe-channel pour vérifier que la livraison atteint l'état ACTIF. Consultez Décrire une livraison Amazon S3. Pour personnaliser la structure des clés d'objet Amazon S3, consultezModèle de clé de sortie S3 pour la livraison d'Amazon S3.

Référence d'API  : voir CreateChannel la référence d'API Amazon Kinesis Data Streams.