As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Noções básicas sobre entrega de dados no Amazon Data Firehose
Quando você envia dados para o seu fluxo do Firehose, eles são automaticamente entregues no destino escolhido. A tabela a seguir explica a entrega de dados para destinos diferentes.
| Destino | Detalhes |
|---|---|
| Amazon S3 |
Para a entrega de dados ao Amazon S3, o Firehose concatena vários registros de entrada com base na configuração do armazenamento em buffer do seu fluxo do Firehose. Depois, entrega os ao Amazon S3; como um objeto do S3;. Por padrão, o Firehose concatena dados sem nenhum delimitador. Se quiser ter novos delimitadores de linha entre os registros, eles podem ser adicionados ativando o atributo na configuração do console Firehose ou no parâmetro da API. A entrega de dados entre o Firehose e o destino do Amazon S3 é criptografada com TLS (HTTPS). |
| Amazon Redshift |
Para entrega de dados ao Amazon Redshift, o Firehose primeiro entrega os dados recebidos ao bucket do S3 no formato descrito anteriormente. Depois, o Firehose emite um comando COPY do Amazon Redshift para carregar os dados do bucket do S3 no cluster provisionado do Amazon Redshift ou no grupo de trabalho Amazon Redshift sem servidor. Certifique-se de que, após o Amazon Data Firehose concatenar vários registros recebidos em um objeto do Amazon S3, o objeto do Amazon S3 possa ser copiado para o cluster provisionado do Amazon Redshift ou para o grupo de trabalho do Amazon Redshift sem servidor. Para obter mais informações, consulte Parâmetros de formato de dados do comando COPY do Amazon Redshift. |
| Amazon OpenSearch Service e OpenSearch sem servidor | Para a entrega de dados ao OpenSearch Service e o OpenSearch sem servidor, o Amazon Data Firehose armazena os registros de entrada no buffer de acordo com a configuração do seu fluxo do Firehose. Depois, ele gera uma solicitação em massa do OpenSearch Service ou do OpenSearch Sem Servidor para indexar vários registros no cluster do OpenSearch Service ou na coleção do OpenSearch Sem Servidor. Certifique-se de que o registro esteja codificado em UTF-8 e reduzido a um objeto JSON de linha única antes de enviá-lo para o Amazon Data Firehose. Além disso, a opção rest.action.multi.allow_explicit_index do cluster do OpenSearch Service precisa ser definida como verdadeira (padrão) para aceitar solicitações em massa com um índice explícito definido por registro. Para obter mais informações, consulte OpenSearch Service Configure Advanced Options no Amazon OpenSearch Service Developer Guide. |
| Splunk |
Para a entrega de dados ao Splunk, o Amazon Data Firehose concatena os bytes enviados por você. Se você quer delimitadores em seus dados, como um caractere de nova linha, deve inseri-los. Certifique-se de que o Splunk é configurado para analisar quaisquer delimitadores. Para redirecionar os dados que foram entregues ao bucket de erros do S3 (backup do S3) de volta ao Splunk, siga as etapas mencionadas na Documentação do Splunk |
| Endpoint de HTTP | Para entrega de dados a um endpoint de HTTP de propriedade de um provedor de serviços terceirizado com suporte, é possível usar o serviço Amazon Lambda integrado para criar uma função para transformar os registros recebidos no formato que é esperado ela integração do provedor de serviços. Entre em contato com o provedor de serviços terceirizado cujo endpoint de HTTP você escolheu como destino para saber mais sobre o formato de registro que ele aceita. |
| Snowflake |
Para entrega de dados ao Snowflake, o Amazon Data Firehose armazena internamente os dados em buffer por um segundo e usa as operações da API de streaming do Snowflake para inserir dados no Snowflake. Por padrão, os registros que você insere são liberados e confirmados na tabela do Snowflake a cada segundo. Depois de fazer a chamada de inserção, o Firehose emite uma métrica do CloudWatch que mede quanto tempo levou para os dados serem confirmados no Snowflake. Atualmente, o Firehose oferece suporte a apenas um único item JSON como carga útil de registro, e não oferece suporte a matrizes JSON. Certifique-se de que sua carga útil de entrada seja um objeto JSON válido e esteja bem formada, sem aspas duplas, aspas ou caracteres de escape adicionais. |
Cada destino do Firehose tem sua própria frequência de entrega de dados. Para obter mais informações, consulte Configuração de sugestões de armazenamento em buffer.
Registros duplicados
O Amazon Data Firehose usa semântica de "pelo menos uma vez" para entrega de dados. Em algumas circunstâncias, como quando o tempo limite para entrega de dados é atingido, as novas tentativas de entrega feitas pelo Amazon Data Firehose poderão introduzir duplicatas se a solicitação de entrega de dados original acabar sendo atendida. Isso se aplica a todos os tipos de destino com suporte no Amazon Data Firehose, exceto os destinos do Amazon S3, as tabelas do Apache Iceberg e os destinos do Snowflake.
Tópicos
