Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Habilitar la conversión del formato de registros
Si habilitas la conversión de formatos de registro, no podrás configurar el destino de Amazon Data Firehose como Amazon OpenSearch Service, Amazon Redshift o Splunk. Una vez habilitada la conversión de formatos, Amazon S3 es el único destino que se puede utilizar para el flujo de Firehose. En la siguiente sección, se muestra cómo habilitar la conversión del formato de registros desde la consola y desde las operaciones de la API de Firehose. Para ver un ejemplo de cómo configurar la conversión de formatos de registro con CloudFormation, consulte AWS::: DataFirehose. DeliveryStream
Habilitar la conversión de formatos de registros desde la consola
Puede habilitar la conversión del formato de datos en la consola al crear o actualizar un flujo de Firehose. Una vez habilitada la conversión de formatos de datos, Amazon S3 es el único destino que se puede configurar para el flujo de Firehose. Además, la compresión de Amazon S3 se deshabilita al habilitar la conversión de formatos. Sin embargo, la compresión Snappy se realiza automáticamente como parte del proceso de conversión. El formato de trama de Snappy que Amazon Data Firehose utiliza en este caso es compatible con Hadoop. Esto significa que puede utilizar los resultados de la compresión de Snappy y ejecutar consultas con estos datos en Athena. Para ver el formato de encuadre Snappy en el que se basa Hadoop, consulte .java. BlockCompressorStream
Habilitación de la conversión del formato de datos de un flujo de datos de Firehose
-
Inicie sesión en y abra la consola Amazon Data Firehose en. Consola de administración de AWShttps://console.aws.amazon.com/firehose/
-
Elija un flujo de Firehose que desee actualizar o cree uno nuevo siguiendo los pasos descritos en Tutorial: Crear un flujo de Firehose desde la consola.
-
En Convert record format (Convertir formato de registro), establezca Record format conversion (Conversión del formato de registro) en Enabled (Habilitado).
-
Elija el formato de salida que desea utilizar. Para obtener más información acerca de las dos opciones, consulte Apache Parquet
y Apache ORC . -
Elija una AWS Glue tabla para especificar un esquema para sus registros fuente. Establezca la región, la base de datos, la tabla y la versión de la tabla.
Gestión de la conversión de formatos de registro desde la API de Firehose
Si desea que Amazon Data Firehose convierta el formato de los datos de entrada de JSON a Parquet u ORC, especifique el DataFormatConversionConfigurationelemento opcional en ExtendedS3 o en ExtendedS3 DestinationConfiguration. DestinationUpdate Si lo especifica, se aplicarán las siguientes restricciones. DataFormatConversionConfiguration
-
En BufferingHints, no puede establecer un valor inferior
SizeInMBsa 64 si habilita la conversión al formato de registro. Además, si la conversión de formato no está habilitada, el valor predeterminado es 5. El valor pasa a ser 128 cuando se habilita. -
Debe establecer
CompressionFormaten ExtendeDS3 DestinationConfiguration o en ExtendeDS3 para. DestinationUpdateUNCOMPRESSEDEl valor predeterminado deCompressionFormatesUNCOMPRESSED. Por lo tanto, también puede dejarlo sin especificar en ExtendedS3. DestinationConfiguration Los datos se siguen comprimiendo como parte del proceso de serialización utilizando la compresión Snappy de forma predeterminada. El formato de trama de Snappy que Amazon Data Firehose utiliza en este caso es compatible con Hadoop. Esto significa que puede utilizar los resultados de la compresión de Snappy y ejecutar consultas con estos datos en Athena. Para ver el formato de encuadre Snappy en el que se basa Hadoop, consulte .java. BlockCompressorStreamAl configurar el serializador, puede elegir otros tipos de compresión.
