Trabalhando com tabelas Apache Iceberg usando o Amazon Data Firehose - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Trabalhando com tabelas Apache Iceberg usando o Amazon Data Firehose

O Amazon Data Firehose é um serviço sem servidor e sem código para fornecer fluxos de dados de mais de 20 fontes, como logs AWS WAF , Amazon Logs, Amazon Kinesis AWS IoT Data Streams e Amazon CloudWatch Managed Streaming for Apache Kafka (Amazon MSK) para destinos como Amazon S3, Amazon Redshift, Snowflake e Splunk.

Você pode usar o Firehose para entregar diretamente dados de streaming às tabelas do Apache Iceberg no Amazon S3. Usando o Firehose, você pode rotear registros de um único stream para diferentes tabelas do Apache Iceberg e aplicar automaticamente operações de inserção, atualização e exclusão aos registros nas tabelas. O Firehose garante a entrega exata nas mesas Iceberg. Esse atributo requer o uso do AWS Glue Data Catalog.

O Firehose também pode entregar dados de streaming diretamente às tabelas do Amazon S3. Essas tabelas fornecem armazenamento otimizado para cargas de trabalho de análise em grande escala e incluem recursos que melhoram continuamente o desempenho das consultas e reduzem os custos de armazenamento de dados tabulares.

Para obter informações sobre como configurar um stream do Firehose para entregar dados às tabelas do Apache Iceberg, consulte Configurar o stream do Firehose na documentação do Firehose.