Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Commencer à utiliser les tables de streaming
Ce didacticiel vous explique comment créer votre première diffusion de table de streaming pour envoyer des enregistrements d'un flux Amazon Kinesis Data Streams vers une table de streaming sur Apache Iceberg, la vérifier et effectuer le nettoyage.
Conditions préalables
Avant de commencer, assurez-vous que les conditions suivantes sont remplies :
Un flux Kinesis Data Streams configuré avec le mode de capacité On-Demand Standard ou On-Demand Advantage.
Rôle d'exécution du service IAM qui autorise Kinesis Data Streams à transmettre des enregistrements à votre destination. Consultez Autorisations IAM pour la fourniture de données.
Schéma enregistré dans AWS Glue Schema Registry.
Un seau de table S3 pour la table Iceberg de destination.
Un compartiment Amazon S3 pour la file d'attente des lettres mortes.
Le AWS CLI fichier installé et configuré, si vous utilisez le AWS CLI.
Étape 1 : Création de la livraison
Créez une diffusion par table de streaming avec le Console de gestion AWS ou le AWS CLI. Pour la procédure complète et toutes les options de configuration, consultezCréation d'une diffusion par table en streaming.
Étape 2 : Vérifier la livraison
Vérifiez que la livraison a atteint l'état ACTIF. Pour la procédure, voirDécrire la diffusion d'une table de streaming.
Étape 3 : Surveiller la livraison
Une fois la diffusion active, surveillez son état à l'aide CloudWatch des métriques Amazon publiées dans l'AWS/Kinesisespace de noms avec les dimensions ChannelName etStreamName. Les métriques de diffusion des tables de streaming sont précédées du préfixe. DeliveryToIceberg Pour obtenir la liste complète des indicateurs, consultezSurveillance de la livraison des données.
Étape 4 : nettoyer
Pour éviter des frais permanents, supprimez les ressources que vous avez créées lorsque vous n'en avez plus besoin. Une livraison active continue de traiter des enregistrements et entraîne des frais de livraison jusqu'à ce que vous la supprimiez, et toutes les données déjà écrites vers votre destination continuent d'entraîner des frais de stockage Amazon S3.
Supprimez la livraison. Consultez Supprimer la diffusion d'une table de streaming.
Si vous n'avez plus besoin du rôle d'exécution du service, par exemple s'il n'est utilisé par aucune autre prestation, supprimez-le. Détachez toute politique gérée par le client, supprimez toute politique en ligne, puis supprimez le rôle à l'aide des commandes IAM
detach-role-policydelete-role-policy, et.delete-rolePour plus de détails, consultez la section Suppression de rôles ou de profils d'instance dans le Guide de l'utilisateur IAM.Si vous n'avez plus besoin du compartiment de table de destination ou du compartiment de file d'attente de lettres mortes, supprimez-les dans Amazon S3 pour ne plus encourir de frais de stockage.
