Visualizar configurações em nível de tabela automatizadas - AWS Glue

Visualizar configurações em nível de tabela automatizadas

Quando a coleta de estatísticas em nível de catálogo está habilitada, sempre que uma tabela do Apache Hive ou uma tabela do Apache Iceberg é criada ou atualizada por meio das APIs CreateTable ou UpdateTable via AWS Management Console, SDK ou Crawler do AWS Glue, uma configuração em nível de tabela equivalente é criada para essa tabela.

As tabelas com a geração automática de estatísticas habilitada devem seguir uma das seguintes propriedades:

  • Usar um InputSerdeLibrary que comece com org.apache.hadoop e em que TableType seja igual a EXTERNAL_TABLE

  • Usar um InputSerdeLibrary que comece com com.amazon.ion e em que TableType seja igual a EXTERNAL_TABLE

  • Conter table_type: "ICEBERG" em sua estrutura de parâmetros.

Após criar ou atualizar uma tabela, você poderá verificar os detalhes da tabela para confirmar a geração de estatísticas. Statistics generation summary mostra a propriedade Schedule definida como AUTO e o valor de Statistics configuration é Inherited from catalog. Qualquer configuração de tabela com a configuração a seguir seria acionada automaticamente pelo Glue internamente.

Uma imagem de uma tabela do Hive com coleta de estatísticas em nível de catálogo foi aplicada e as estatísticas foram coletadas.