Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Aktivieren Sie die Konvertierung des Datensatzformats
Wenn Sie die Konvertierung von Datensatzformaten aktivieren, können Sie Ihr Amazon Data Firehose-Ziel nicht auf Amazon OpenSearch Service, Amazon Redshift oder Splunk festlegen. Wenn die Formatkonvertierung aktiviert ist, ist Amazon S3 das einzige Ziel, das Sie für Ihren Firehose-Stream verwenden können. Der folgende Abschnitt zeigt, wie Sie die Konvertierung von Datensatzformaten aus Konsolen- und Firehose-API-Vorgängen aktivieren. Ein Beispiel für die Einrichtung der Konvertierung von Datensatzformaten mit CloudFormation finden Sie unter AWS:::DataFirehose: DeliveryStream.
Aktivieren Sie die Konvertierung des Datensatzformats von der Konsole aus
Sie können die Datenformatkonvertierung auf der Konsole aktivieren, wenn Sie einen Firehose-Stream erstellen oder aktualisieren. Wenn die Datenformatkonvertierung aktiviert ist, ist Amazon S3 das einzige Ziel, das Sie für den Firehose-Stream konfigurieren können. Außerdem wird beim Aktivieren einer Formatkonvertierung die Amazon-S3-Komprimierung deaktiviert. Die Snappy-Komprimierung erfolgt jedoch automatisch als Teil des Konvertierungsvorgangs. Das Framing-Format für Snappy, das Amazon Data Firehose in diesem Fall verwendet, ist mit Hadoop kompatibel. Das bedeutet, dass Sie die Ergebnisse der Snappy-Komprimierung verwenden und für diese Daten Abfragen in Athena ausführen können. Informationen zum Snappy-Framing-Format, auf das Hadoop angewiesen ist, finden Sie unter .java. BlockCompressorStream
Um die Datenformatkonvertierung für einen Firehose-Datenstream zu aktivieren
-
Melden Sie sich bei der AWS-Managementkonsole an und öffnen Sie die Amazon Data Firehose-Konsole unter https://console.aws.amazon.com/firehose/
. -
Wählen Sie einen Firehose-Stream aus, der aktualisiert werden soll, oder erstellen Sie einen neuen Firehose-Stream, indem Sie die Schritte unter befolgen. Tutorial: Einen Firehose-Stream von der Konsole aus erstellen
-
Setzen Sie unter Convert record format (Datensatzformat konvertieren) die Option Record format conversion (Datensatzformat-Konvertierung) auf Enabled (Aktiviert).
-
Wählen Sie die Option aus, die Sie hinzufügen möchten. Weitere Informationen zu den beiden Optionen finden Sie unter Apache Parquet
und Apache ORC . -
Wählen Sie eine AWS Glue Tabelle aus, um ein Schema für Ihre Quelldatensätze anzugeben. Legen Sie die Region, Datenbank, Tabelle und Tabellenversion fest.
Verwalten Sie die Konvertierung des Datensatzformats über die Firehose-API
Wenn Sie möchten, dass Amazon Data Firehose das Format Ihrer Eingabedaten von JSON nach Parquet oder ORC konvertiert, geben Sie das optionale DataFormatConversionConfigurationElement in ExtendedS3 oder in ExtendedS3 DestinationConfiguration an. DestinationUpdate Wenn Sie angeben, gelten die folgenden Einschränkungen. DataFormatConversionConfiguration
-
BufferingHintsIn können Sie keinen Wert unter 64 festlegen
SizeInMBs, wenn Sie die Konvertierung des Datensatzformats aktivieren. Wenn Formatkonvertierung nicht aktiviert ist, lautet der Standardwert 5. Bei Aktivierung wird der Wert 128. -
Sie müssen in ExtendedS3 DestinationConfiguration oder
CompressionFormatin ExtendedS3 auf einstellen. DestinationUpdateUNCOMPRESSEDDer Standardwert für denCompressionFormatbeträgtUNCOMPRESSED. Daher können Sie es in ExtendedS3 auch unspezifiziert lassen. DestinationConfiguration Die Daten werden als Teil der Serialisierungsprozesses dennoch komprimiert. Dazu wird standardmäßig die Snappy-Komprimierung verwendet. Das Framing-Format für Snappy, das Amazon Data Firehose in diesem Fall verwendet, ist mit Hadoop kompatibel. Das bedeutet, dass Sie die Ergebnisse der Snappy-Komprimierung verwenden und für diese Daten Abfragen in Athena ausführen können. Informationen zum Snappy-Framing-Format, auf das Hadoop angewiesen ist, finden Sie unter .java. BlockCompressorStreamWenn Sie den Serializer konfigurieren, können Sie andere Arten der Komprimierung auswählen.
