Ativar a descompactação em um fluxo do Firehose existente - Amazon Data Firehose

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Ativar a descompactação em um fluxo do Firehose existente

Esta seção contém instruções para habilitar a descompactação dos fluxos atuais do Firehose. Ela abrange dois cenários: fluxos com processamento pelo Lambda desabilitado e fluxos com processamento pelo Lambda já habilitado. As seções a seguir descrevem step-by-step os procedimentos para cada caso, incluindo a criação ou modificação das funções do Lambda, a atualização das configurações do Firehose e as métricas de CloudWatch monitoramento para garantir a implementação bem-sucedida do recurso de descompressão integrado do Firehose.

Habilitação da descompactação quando o processamento do Lambda está desabilitado

Para habilitar a descompactação em um fluxo atual do Firehose com processamento do Lambda desabilitado, é preciso, primeiramente, habilitar o processamento do Lambda. Essa condição só é válida para os fluxos atuais. As etapas a seguir mostram como habilitar a descompactação nos fluxos atuais que não têm o processamento do Lambda habilitado.

  1. Crie uma função do Lambda. Você pode criar uma passagem de registro fictícia ou usar este esquema para criar uma nova função do Lambda.

  2. Atualize o fluxo atual do Firehose para habilitar o processamento do Lambda e usar a função do Lambda que você criou para processamento.

  3. Depois de atualizar o fluxo com a nova função do Lambda, volte ao console do Firehose e habilite a descompactação.

  4. Desabilite o processamento do Lambda que você habilitou na etapa 1. Agora você pode excluir a função criada na etapa 1.

Habilitação da descompactação quando o processamento do Lambda está habilitado

Se você já tiver um fluxo do Firehose com uma função do Lambda, você poderá substituí-la pelo atributo de descompactação do Firehose para realizar a descompactação. Antes de continuar, revise o código da função do Lambda para confirmar se ela só executa a descompactação ou a extração de mensagens. A saída da função do Lambda deve ser semelhante aos exemplos mostrados na Fig. 1 ou na Fig. 2. Se a saída for semelhante, será possível substituir a função do Lambda usando as etapas a seguir.

  1. Substitua sua função do Lambda atual por este esquema. A nova função do Lambda do esquema detecta automaticamente se os dados recebidos estão compactados ou descompactados. Ela só executará a descompactação se os dados de entrada estiverem compactados.

  2. Ative a descompactação usando a opção integrada do Firehose para descompactação.

  3. Ative CloudWatch as métricas para seu stream do Firehose, caso ainda não esteja ativado. Monitore a métrica CloudWatchProcessorLambda_IncomingCompressedData e espere até que ela mude para zero. Isso confirma que todos os dados de entrada enviados para sua função do Lambda estão descompactados e que a função do Lambda não é mais necessária.

  4. Remova a transformação de dados do Lambda, pois você não precisará mais dela para descompactar seu fluxo.