Entrega de dados às tabelas do Apache Iceberg com o Amazon Data Firehose
O Apache Iceberg é um formato de tabela de código aberto de alta performance para realizar análises de big data. O Apache Iceberg traz a confiabilidade e a simplicidade das tabelas SQL para os data lakes do Amazon S3 e possibilita que mecanismos de analytics de código aberto como Spark, Flink, Trino, Hive e Impala trabalhem simultaneamente com os mesmos dados. Para obter mais informações, consulte Apache Iceberg
É possível usar o Firehose para entregar dados de fluxo diretamente às tabelas do Apache Iceberg no Amazon S3. As tabelas do Apache Iceberg podem ser autogerenciadas no Amazon S3 ou hospedadas nas tabelas do Amazon S3. Nas tabelas autogerenciadas do Iceberg, você gerencia todas as otimizações da tabela, como compactação e expiração de snapshots. As Tabelas do Amazon S3 fornecem armazenamento otimizado para workloads de analytics em grande escala, com atributos que melhoram continuamente a performance das consultas e reduzem os custos de armazenamento de dados tabulares. Para ter mais informações sobre as Tabelas do Amazon S3, consulte Tabelas do Amazon S3.
Esse atributo permite rotear registros de um único fluxo para tabelas diferentes do Apache Iceberg. Você pode aplicar automaticamente as operações de inserção, atualização e exclusão aos registros nessas tabelas. Ele também suporta controle refinado de acesso a dados em tabelas do Apache Iceberg no Amazon S3 com AWS Lake Formation. É possível especificar controles de acesso de modo centralizado no AWS Lake Formation e fornecer permissões mais granulares em termos de tabelas e colunas para o Firehose.
