Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Abilita la conversione del formato di registrazione
Se abiliti la conversione del formato di record, non puoi impostare la destinazione Amazon Data Firehose come Amazon OpenSearch Service, Amazon Redshift o Splunk. Con la conversione del formato abilitata, Amazon S3 è l'unica destinazione che puoi usare per il tuo stream Firehose. La sezione seguente mostra come abilitare la conversione del formato di registrazione dalle operazioni della console e dell'API Firehose. Per un esempio di come impostare la conversione del formato di record con CloudFormation, vedi AWS:::DataFirehose: DeliveryStream.
Abilita la conversione del formato di registrazione dalla console
È possibile abilitare la conversione del formato dei dati sulla console quando si crea o si aggiorna uno stream Firehose. Con la conversione del formato dei dati abilitata, Amazon S3 è l'unica destinazione che puoi configurare per lo stream Firehose. Inoltre, la compressione Amazon S3 viene disabilitata quando abiliti la conversione del formato. Tuttavia, la compressione Snappy si verifica automaticamente come parte del processo di conversione. Il formato di framing per Snappy utilizzato da Amazon Data Firehose in questo caso è compatibile con Hadoop. Ciò significa che puoi utilizzare i risultati della compressione Snappy ed eseguire query su questi dati in Athena. Per il formato di framing Snappy su cui si basa Hadoop, consulta .java. BlockCompressorStream
Per abilitare la conversione del formato dei dati per un flusso di dati Firehose
-
Accedi a e apri Console di gestione AWS la console Amazon Data Firehose all'indirizzo. https://console.aws.amazon.com/firehose/
-
Scegli uno stream Firehose da aggiornare o crea un nuovo stream Firehose seguendo la procedura riportata di seguito. Tutorial: Creare uno stream Firehose dalla console
-
In Convert record format (Converti formato record), impostare Record format conversion (Conversione formato record) su Enabled (Abilitata).
-
Scegliere il formato di output desiderato. Per ulteriori informazioni sulle due opzioni, consulta Apache Parquet
e Apache ORC . -
Scegliete una AWS Glue tabella per specificare uno schema per i record di origine. Impostare la regione, il database, la tabella e la versione della tabella.
Gestione della conversione del formato di record dall'API Firehose
Se desideri che Amazon Data Firehose converta il formato dei dati di input da JSON a Parquet o ORC, specifica l'DataFormatConversionConfigurationelemento opzionale in ExtendeDS3 o DestinationConfigurationExtendeDS3. DestinationUpdate Se lo specifichi, si applicano le seguenti restrizioni. DataFormatConversionConfiguration
-
In BufferingHints, non è possibile impostare un valore inferiore
SizeInMBsa 64 se si abilita la conversione del formato di record. Inoltre, se la conversione del formato non è abilitata, il valore predefinito è 5. Se la abiliti, il valore diventa 128. -
È necessario impostare
CompressionFormatin ExtendedS3 DestinationConfiguration o in ExtendeDS3 su. DestinationUpdateUNCOMPRESSEDIl valore predefinito perCompressionFormatèUNCOMPRESSED. Pertanto, puoi anche lasciarlo non specificato in ExtendeDS3. DestinationConfiguration I dati vengono ancora compressi come parte del processo di serializzazione, utilizzando la compressione Snappy per impostazione predefinita. Il formato di framing per Snappy utilizzato da Amazon Data Firehose in questo caso è compatibile con Hadoop. Ciò significa che puoi utilizzare i risultati della compressione Snappy ed eseguire query su questi dati in Athena. Per il formato di framing Snappy su cui si basa Hadoop, consulta .java. BlockCompressorStreamQuando configuri il serializzatore, puoi scegliere altri tipi di compressione.
