Was ist Amazon Data Firehose? - Amazon Data Firehose
Lernen Sie wichtige KonzepteDen Datenfluss in Amazon Data Firehose verstehen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Was ist Amazon Data Firehose?

Amazon Data Firehose ist ein vollständig verwalteter Service für die Bereitstellung von Echtzeit- Streaming-Daten an Ziele wie Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon OpenSearch Service, Amazon OpenSearch Serverless, Splunk, Apache Iceberg Tables und alle benutzerdefinierten HTTP-Endpunkte oder HTTP-Endpunkte unterstützter Drittanbieter wie Datadog, Dynatrace, MongoDB, New Relic, Coralogix und Elastic. LogicMonitor Mit Amazon Data Firehose müssen Sie keine Anwendungen schreiben oder Ressourcen verwalten. Sie konfigurieren Ihre Datenproduzenten zum Senden von Daten an Amazon Data Firehose. Die Daten werden dann automatisch an das angegebene Ziel geliefert. Sie können Amazon Data Firehose auch so konfigurieren, dass die Daten vor der Bereitstellung transformiert werden.

Weitere Informationen zu AWS -Big-Data-Lösungen finden Sie unter Big Data auf AWS. Weitere Informationen zu AWS -Streaming-Datenlösungen finden Sie unter Was sind Streaming-Daten?

Lernen Sie wichtige Konzepte

Bei Ihren ersten Schritten mit Amazon Data Firehose ist es hilfreich, wenn Sie folgende Konzepte verstehen.

Firehose-Stream

Die zugrunde liegende Entität von Amazon Data Firehose. Sie verwenden Amazon Data Firehose, indem Sie einen Firehose-Stream und dann Daten an diesen senden. Weitere Informationen erhalten Sie unter Tutorial: Einen Firehose-Stream von der Konsole aus erstellen und Daten an einen Firehose-Stream senden.

Rekord

Die interessanten Daten, die Ihr Datenproduzent an einen Firehose-Stream sendet. Ein Datensatz kann bis zu 1000 KB groß sein.

Datenproduzent

Produzenten senden Platten an Firehose-Streams. Ein Webserver, der Protokolldaten an einen Firehose-Stream sendet, ist beispielsweise ein Datenproduzent. Sie können Ihren Firehose-Stream auch so konfigurieren, dass Daten aus einem bestehenden Kinesis-Datenstrom gelesen und in Bestimmungsorte geladen werden. Weitere Informationen finden Sie unter Daten an einen Firehose-Stream senden.

Puffergröße und Pufferintervall

Amazon Data Firehose puffert die eingehenden Streaming-Daten bis zu einer bestimmten Größe oder für einen bestimmten Zeitraum, bevor sie an Bestimmungsorte weitergegeben werden. Buffer Sizeist drin MBs und Buffer Interval ist in Sekunden.

Den Datenfluss in Amazon Data Firehose verstehen

Für Amazon-S3-Ziele werden die Streaming-Daten in Ihren S3-Bucket geleitet. Wenn die Datentransformation aktiviert ist, können Sie optional Quelldaten in einem anderen Amazon-S3-Bucket sichern.

Ein Diagramm, das den Datenfluss von Amazon Data Firehose für Amazon S3 zeigt.

Für Amazon-Redshift-Ziele werden die Streaming-Daten zuerst in Ihren S3-Bucket geleitet. Amazon Data Firehose gibt dann einen COPY Amazon-Redshift-Befehl zum Laden von Daten aus Ihrem S3-Bucket in Ihren von Amazon Redshift bereitgestellten Cluster oder Ihre Amazon-Redshift-Cluster. Wenn die Datentransformation aktiviert ist, können Sie optional Quelldaten in einem anderen Amazon-S3-Bucket sichern.

Ein Diagramm, das den Datenfluss von Amazon Data Firehose für Amazon Redshift zeigt.

Für OpenSearch Service-Ziele werden die Streaming-Daten an Ihren OpenSearch Service-Cluster gesendet und können gleichzeitig optional in Ihrem S3-Bucket gesichert werden.

Ein Diagramm, das den Datenfluss von Amazon Data Firehose für OpenSearch Service zeigt.

Für Splunk-Ziele werden die Streaming-Daten an Splunk gesendet und können gleichzeitig optional in Ihrem S3-Bucket gesichert werden.

Ein Diagramm, das den Datenfluss von Amazon Data Firehose für Splunk zeigt.