Konfigurieren Sie die Backup-Einstellungen - Amazon Data Firehose
Pufferhinweise konfigurieren

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren Sie die Backup-Einstellungen

Amazon Data Firehose verwendet Amazon S3, um ein Backup aller oder nur der fehlgeschlagenen Daten zu erstellen, die es an dem von Ihnen ausgewählten Ziel bereitzustellen versucht.

Wichtig

  • Backup-Einstellungen werden nur unterstützt, wenn die Quelle für Ihren Firehose-Stream Direct PUT oder Kinesis Data Streams ist.

  • Die Funktion Zero Buffering ist nur für die Anwendungsziele und nicht für das Amazon S3 S3-Backup-Ziel verfügbar.

Sie können die S3-Backup-Einstellungen für Ihren Firehose-Stream angeben, wenn Sie eine der folgenden Optionen getroffen haben.

  • Wenn Sie Amazon S3 als Ziel für Ihren Firehose-Stream festlegen und eine AWS Lambda-Funktion zur Transformation von Datensätzen angeben oder wenn Sie Datensatzformate für Ihren Firehose-Stream konvertieren möchten.

  • Wenn Sie Amazon Redshift als Ziel für Ihren Firehose-Stream festlegen und eine AWS Lambda-Funktion zur Transformation von Datensätzen angeben.

  • Wenn Sie einen der folgenden Dienste als Ziel für Ihren Firehose-Stream festlegen: Amazon OpenSearch Service, Datadog, Dynatrace, HTTP Endpoint,, MongoDB Cloud, New Relic LogicMonitor, Splunk oder Sumo Logic, Snowflake, Apache Iceberg Tables.

Im Folgenden sind die Backup-Einstellungen für Ihren Firehose-Stream aufgeführt.

  • Backup von Quelldatensätzen in Amazon S3 – falls S3 oder Amazon Redshift Ihr ausgewähltes Ziel ist, gibt diese Einstellung an, ob Sie die Quelldatensicherung aktivieren oder deaktiviert lassen möchten. Wenn ein anderer unterstützter Dienst (außer S3 oder Amazon Redshift) als Ihr ausgewähltes Ziel festgelegt ist, gibt diese Einstellung an, ob Sie ein Backup aller Ihre Quelldaten oder nur der fehlgeschlagenen Daten erstellen möchten.

  • S3-Backup-Bucket – das ist der S3 Bucket, in dem Amazon Data Firehose Ihre Daten sichert.

  • S3-Backup-Bucket-Präfix – das ist das Präfix, in dem Amazon Data Firehose Ihre Daten sichert.

  • S3-Backup-Bucket-Fehlerausgabepräfix – alle fehlgeschlagenen Daten werden im Fehlerausgabepräfix dieses S3 Buckets gesichert

  • Pufferhinweise, Komprimierung und Verschlüsselung für Backups — Amazon Data Firehose verwendet Amazon S3, um alle oder nur fehlgeschlagene Daten zu sichern, die versucht werden, an das von Ihnen gewählte Ziel zu liefern. Amazon Data Firehose puffert eingehende Daten (sichert sie), bevor diese in Amazon S3 bereitgestellt werden. Sie können eine Puffergröße von 1—128 MiBs und ein Pufferintervall von 60—900 Sekunden wählen. Die Bedingung, die zuerst erfüllt ist, löst eine Datenbereitstellung an Amazon S3 aus. Wenn Sie Datentransformation aktiviert haben, gilt das Pufferintervall ab dem Zeitpunkt, an dem Amazon Data Firehose transformierte Daten empfängt, bis zum Zeitpunkt der Datenbereitstellung für Amazon S3. Wenn die Datenübermittlung an das Ziel langsamer als das Schreiben von Daten auf den Firehose-Stream ist, steigert Amazon Data Firehose die Puffergröße dynamisch, um aufzuholen. Diese Aktion stellt sicher, dass alle Daten ans Ziel übermittelt werden.

  • S3-Komprimierung — wählen Sie GZIP-, Snappy-, Zip- oder Hadoop-Compatible Snappy-Datenkomprimierung oder keine Datenkomprimierung. Snappy-, Zip- und Hadoop-kompatible Snappy-Komprimierung ist für Firehose-Streams mit Amazon Redshift als Ziel nicht verfügbar.

  • S3-Dateierweiterungsformat (optional) — Geben Sie ein Dateierweiterungsformat für Objekte an, die an den Amazon S3 S3-Ziel-Bucket geliefert werden. Wenn Sie diese Funktion aktivieren, überschreibt die angegebene Dateierweiterung die Standarddateierweiterungen, die durch Funktionen zur Datenformatkonvertierung oder S3-Komprimierung wie .parquet oder .gz hinzugefügt wurden. Vergewissern Sie sich, dass Sie die richtige Dateierweiterung konfiguriert haben, wenn Sie diese Funktion mit Datenformatkonvertierung oder S3-Komprimierung verwenden. Die Dateierweiterung muss mit einem Punkt (.) beginnen und kann die zulässigen Zeichen enthalten: 0-9a-z! -_.*' (). Die Dateierweiterung darf 128 Zeichen nicht überschreiten.

  • Firehose unterstützt die serverseitige Amazon S3-Verschlüsselung mit AWS Key Management Service (SSE-KMS) zur Verschlüsselung von gelieferten Daten in Amazon S3. Sie können wählen, ob Sie den im Ziel-S3-Bucket angegebenen Standardverschlüsselungstyp verwenden oder mit einem Schlüssel aus der Liste der Schlüssel verschlüsseln möchten, die Sie besitzen. AWS KMS Wenn Sie die Daten mit AWS KMS Schlüsseln verschlüsseln, können Sie entweder den AWS verwalteten Standardschlüssel (aws/s3) oder einen vom Kunden verwalteten Schlüssel verwenden. Weitere Informationen finden Sie unter Schutz von Daten mithilfe serverseitiger Verschlüsselung mit AWS KMS-verwalteten Schlüsseln (SSE-KMS).

Pufferhinweise konfigurieren

Amazon Data Firehose puffert eingehende Streaming-Daten im Speicher auf eine bestimmte Größe (Puffergröße) und für einen bestimmten Zeitraum (Pufferintervall), bevor sie an die angegebenen Ziele gesendet werden. Sie würden Pufferhinweise verwenden, wenn Sie Dateien mit optimaler Größe an Amazon S3 senden und eine bessere Leistung von Datenverarbeitungsanwendungen erzielen oder die Firehose-Zustellungsrate an die Zielgeschwindigkeit anpassen möchten.

Sie können die Puffergröße und das Pufferintervall beim Erstellen neuer Firehose-Streams konfigurieren oder die Puffergröße und das Pufferintervall für Ihre vorhandenen Firehose aktualisieren. Die Puffergröße wird in Sekunden gemessen MBs und das Pufferintervall wird in Sekunden gemessen. Wenn Sie jedoch für einen dieser beiden Parameter einen Wert angeben, müssen Sie auch für den anderen Parameter einen Wert angeben. Die erste Pufferbedingung, die erfüllt ist, veranlasst Firehose, die Daten zu liefern. Wenn Sie die Pufferwerte nicht konfigurieren, werden die Standardwerte verwendet.

Sie können Firehose-Pufferhinweise über AWS Management Console AWS Command Line Interface, oder konfigurieren. AWS SDKs Für bestehende Streams können Sie die Pufferhinweise mit einem Wert neu konfigurieren, der Ihren Anwendungsfällen entspricht, indem Sie die Option Bearbeiten in der Konsole oder die API verwenden. UpdateDestination Für neue Streams können Sie Pufferhinweise als Teil der Erstellung neuer Streams mithilfe der Konsole oder der API konfigurieren. CreateDeliveryStream Um die Puffergröße anzupassen, legen Sie SizeInMBs und IntervalInSeconds in den zielspezifischen DestinationConfiguration Parameter der CreateDeliveryStreamUpdateDestinationOR-API fest.

Anmerkung

  • Pufferhinweise werden auf Shard- oder Partitionsebene angewendet, während Pufferhinweise für dynamische Partitionierungen auf Stream- oder Themenebene angewendet werden.

  • Um geringeren Latenzen bei Echtzeit-Anwendungsfällen gerecht zu werden, können Sie einen Hinweis ohne Pufferintervall verwenden. Wenn Sie das Pufferintervall auf Null Sekunden konfigurieren, puffert Firehose keine Daten und liefert Daten innerhalb weniger Sekunden. Bevor Sie die Pufferhinweise auf einen niedrigeren Wert ändern, erkundigen Sie sich beim Anbieter nach den empfohlenen Pufferhinweisen von Firehose für deren Ziele.

  • Die Funktion Zero Buffering ist nur für die Anwendungsziele und nicht für das Amazon S3 S3-Backup-Ziel verfügbar.

  • Die Funktion Zero Buffering ist für dynamische Partitionierung nicht verfügbar.

  • Firehose verwendet mehrteiligen Upload für das S3-Ziel, wenn Sie ein Pufferzeitintervall von weniger als 60 Sekunden konfigurieren, um geringere Latenzen zu bieten. Aufgrund des mehrteiligen Uploads für das S3-Ziel werden Sie einen gewissen Anstieg der PUT S3-API-Kosten feststellen, wenn Sie ein Pufferzeitintervall von weniger als 60 Sekunden wählen.

Die Bereiche und Standardwerte für zielspezifische Pufferhinweise finden Sie in der folgenden Tabelle:

Ziel Puffergröße in MB (Standard in Klammern) Pufferintervall in Sekunden (Standard in Klammern)
Amazon S3 1-128 (5) 0-900 (300)
Apache-Iceberg-Tabellen 1-128 (5) 0-900 (300)
Amazon Redshift 1-128 (5) 0-900 (300)
OpenSearch Serverlos 1-100 (5) 0-900 (300)
OpenSearch 1-100 (5) 0-900 (300)
Splunk 1-5 (5) 0-60 (60)
Datadog 1—4 (4) 0-900 (60)
Coralogix 1-64 (6) 0-900 (60)
Dynatrace 1-64 (5) 0-900 (60)
Elastisch 1 0-900 (60)
Honeycomb 1-64 (15) 0-900 (60)
HTTP-Endpunkt 1-64 (5) 0-900 (60)
LogicMonitor 1-64 (5) 0-900 (60)
Logik 1-64 (5) 0-900 (60)
MongoDB 1-16 (5) 0-900 (60)
Neues Relikt 1-64 (5) 0-900 (60)
SumoLogic 1-64 (1) 0-900 (60)
Splunk Observability Cloud 1-64 (1) 0-900 (60)
Snowflake 1-128 (1) 0 bis 900 (0)