Habilitar a conversão de formato do registro - Amazon Data Firehose
Habilitação da conversão de formato do registro a partir do consoleGerenciamento da conversão do formato de registro da API do Firehose

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Habilitar a conversão de formato do registro

Se você habilitar a conversão do formato de registro, não poderá definir o destino do Amazon Data Firehose como Amazon OpenSearch Service, Amazon Redshift ou Splunk. Com a conversão de formato habilitada, o Amazon S3 é o único destino que pode ser usado para o fluxo do Firehose. A seção a seguir mostra como ativar a conversão do formato de registro nas operações do console e da API do Firehose. Para obter um exemplo de como configurar a conversão do formato de registro com CloudFormation, consulte AWS::DataFirehose:: DeliveryStream.

Habilitação da conversão de formato do registro a partir do console

É possível habilitar a conversão de formato de dados no console ao criar ou atualizar um fluxo do Firehose. Com a conversão de formato de dados habilitada, o Amazon S3 é o único destino que pode ser configurado para o fluxo do Firehose. Além disso, a compactação do Amazon S3 será desabilitada quando você habilitar a conversão de formato. No entanto, a compactação Snappy ocorre automaticamente como parte do processo de conversão. OK formato de enquadramento para o Snappy que o Amazon Data Firehose usa nesse caso é compatível com o Hadoop. Isso significa que é possível usar os resultados da compactação Snappy e executar consultas nesses dados no Athena. Para o formato de enquadramento Snappy no qual o Hadoop se baseia, consulte .java. BlockCompressorStream

Para ativar a conversão de formato de dados para um fluxo de dados do Firehose

  1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon Data Firehose em. https://console.aws.amazon.com/firehose/

  2. Selecione um fluxo do Firehose para atualizar ou crie um novo fluxo do Firehose seguindo as etapas em Tutorial: Criação de um fluxo do Firehose a partir do console.

  3. Em Convert record format (Converter formato do registro), defina Record format conversion (Conversão de formato do registro) como Enabled (Habilitado).

  4. Selecione o formato de saída que você deseja. Para obter mais informações sobre as duas opções, consulte Apache Parquet e Apache ORC.

  5. Escolha uma AWS Glue tabela para especificar um esquema para seus registros de origem. Defina a região, o banco de dados, a tabela e a versão da tabela.

Gerenciamento da conversão do formato de registro da API do Firehose

Se você quiser que o Amazon Data Firehose converta o formato dos seus dados de entrada de JSON para Parquet ou ORC, especifique o DataFormatConversionConfigurationelemento opcional em ExtendedS3 ou em ExtendedS3. DestinationConfiguration DestinationUpdate Se você especificar DataFormatConversionConfiguration, as seguintes restrições se aplicam.