Qu'est-ce Amazon Data Firehose ? - Amazon Data Firehose

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Qu'est-ce Amazon Data Firehose ?

Amazon Data Firehose est un service entièrement géré qui permet de fournir des données en streaming en temps réel à des destinations telles qu'Amazon Simple Storage Service (Amazon S3), Amazon Redshift, OpenSearch Amazon Serverless, Splunk, Apache Iceberg Tables et tout point de terminaison HTTP personnalisé ou point de terminaison HTTP appartenant à des fournisseurs de services tiers pris en charge, notamment Datadog, LogicMonitor Dynatrace, MongoDB, New Relic, Coralogix et Elastic. OpenSearch Avec Amazon Data Firehose, vous n’avez pas besoin d’écrire d’applications ni de gérer de ressources. Vous configurez vos producteurs de données pour envoyer les données à Amazon Data Firehose, qui délivre automatiquement les données à la destination que vous avez spécifiée. Vous pouvez aussi configurer Amazon Data Firehose pour que vos données soient transformées avant d'être remises.

Pour plus d'informations sur les solutions AWS big data consultez la page Big data sur AWS. Pour en savoir plus sur les solutions de données de diffusion AWS , consultez Qu'est-ce que les données de streaming ?

Apprenez les concepts clés

Lorsque vous démarrez avec Amazon Data Firehose, il est utile de connaître les concepts suivants.

Flux Firehose

L'entité sous-jacente Amazon Data Firehose. Vous utilisez Amazon Data Firehose en créant un flux Firehose et en y envoyant des données. Pour plus d’informations, consultez Tutoriel : Création d'un stream Firehose depuis la console et Envoyer des données vers un flux Firehose.

Enregistrement A

Les données jugés utiles que l'application producteur envoie à un flux Firehose. Un enregistrement peut atteindre 1000 Ko.

Producer des données

Les producteurs envoient des enregistrements aux flux Firehose. Par exemple, un serveur Web qui envoie des données de journal à un flux Firehose est un producteur de données. Vous pouvez aussi configurer votre flux Firehose afin qu'il lise automatiquement les données d'un flux de données Kinesis existant et les charge à leur emplacement de destination. Pour de plus amples informations, veuillez consulter Envoyer des données vers un flux Firehose.

Taille de la mémoire tampon et intervalle entre la mémoire tampon

Amazon Data Firehose met en tampon les données de streaming entrantes à une certaine taille ou pour un certain temps avant de les délivrer à leur emplacement de destination. Buffer Sizeest en MBs et Buffer Interval est en secondes.

Comprendre le flux de données dans Amazon Data Firehose

Pour les destinations Amazon S3, les données de streaming sont délivrées à votre compartiment S3. Si la transformation de données est activée, vous pouvez éventuellement sauvegarder les données source dans un autre compartiment Amazon S3.

Schéma illustrant le flux de données Amazon Data Firehose pour Amazon S3.

Pour les destinations Amazon Redshift, les données de streaming sont d'abord délivrées à votre compartiment S3. Amazon Data Firehose émet ensuite une commande Amazon COPY Redshift pour charger les données de votre compartiment S3 vers votre cluster Amazon Redshift. Si la transformation de données est activée, vous pouvez éventuellement sauvegarder les données source dans un autre compartiment Amazon S3.

Schéma illustrant le flux de données Amazon Data Firehose pour Amazon Redshift.

Pour les destinations de OpenSearch service, les données de streaming sont remises à votre cluster de OpenSearch services et peuvent éventuellement être sauvegardées dans votre compartiment S3 simultanément.

Schéma illustrant le flux de données Amazon Data Firehose pour OpenSearch Service.

Pour les destinations Splunk, les données de streaming sont remises à Splunk et peuvent éventuellement être sauvegardées dans votre compartiment S3 simultanément.

Schéma illustrant le flux de données Amazon Data Firehose pour Splunk.