Activer la conversion du format d'enregistrement - Amazon Data Firehose
Activer la conversion du format d'enregistrement depuis la consoleGérez la conversion des formats d'enregistrement depuis l'API Firehose

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Activer la conversion du format d'enregistrement

Si vous activez la conversion du format d'enregistrement, vous ne pouvez pas définir votre destination Amazon Data Firehose comme Amazon OpenSearch Service, Amazon Redshift ou Splunk. Lorsque la conversion de format est activée, Amazon S3 est la seule destination que vous pouvez utiliser pour votre flux Firehose. La section suivante explique comment activer la conversion du format d'enregistrement à partir de la console et des opérations de l'API Firehose. Pour un exemple de configuration de la conversion de format d'enregistrement avec CloudFormation, voir AWS: : DataFirehose : : DeliveryStream.

Activer la conversion du format d'enregistrement depuis la console

Vous pouvez activer la conversion des formats de données sur la console lorsque vous créez ou mettez à jour un flux Firehose. Lorsque la conversion des formats de données est activée, Amazon S3 est la seule destination que vous pouvez configurer pour le flux Firehose. De plus, la compression Amazon S3 est désactivée lorsque vous activez la conversion de format. Toutefois, la compression Snappy se fait automatiquement dans le cadre du processus de conversion. Le format de cadrage pour Snappy utilisé par Amazon Data Firehose dans ce cas est compatible avec Hadoop. Cela signifie que vous pouvez utiliser les résultats de la compression Snappy et exécuter des requêtes sur ces données dans Athena. Pour le format de cadrage Snappy sur lequel repose Hadoop, consultez .java. BlockCompressorStream

Pour activer la conversion des formats de données pour un flux Firehose

  1. Connectez-vous à la AWS Management Console console Amazon Data Firehose et ouvrez-la à l'adresse. https://console.aws.amazon.com/firehose/

  2. Choisissez un stream Firehose à mettre à jour ou créez un nouveau stream Firehose en suivant les étapes décrites dans. Tutoriel : Création d'un stream Firehose depuis la console

  3. Sous Convert record format (Convertir le format d'enregistrement), définissez Record format conversion (Conversion du format d'enregistrement) sur Enabled (Activé).

  4. Choisissez le format de sortie souhaité. Pour plus d'informations sur les deux options, consultez Apache Parquet et Apache ORC.

  5. Choisissez une AWS Glue table pour spécifier un schéma pour vos enregistrements sources. Définissez la région, la base de données, la table et la version de la table.

Gérez la conversion des formats d'enregistrement depuis l'API Firehose

Si vous souhaitez qu'Amazon Data Firehose convertisse le format de vos données d'entrée de JSON en Parquet ou ORC, spécifiez l'DataFormatConversionConfigurationélément facultatif dans ExtendedS3 ou ExtendedS3 DestinationConfiguration. DestinationUpdate Si vous le spécifiez DataFormatConversionConfiguration, les restrictions suivantes s'appliquent.