Otimizar a performance das consultas de tabelas de metadados

Como o S3 Metadata é baseado no formato de tabela Apache Iceberg, você pode otimizar a performance e o custo das consultas a tabelas de metadados usando intervalos de tempo específicos.

Por exemplo, a consulta SQL a seguir fornece o nível de sensibilidade de novos objetos em um bucket de uso geral do S3:

SELECT key, object_tags['SensitivityLevel'] 
FROM aws_s3_metadata.my_metadata_table
WHERE record_type = 'CREATE'
GROUP BY object_tags['SensitivityLevel']

Essa consulta examina toda a tabela de metadados, podendo levar muito tempo para ser executada. Para melhorar a performance, você pode incluir a coluna record_timestamp para enfocar um intervalo de tempo específico. Aqui está uma versão atualizada da consulta anterior que analisa novos objetos do mês passado:

SELECT key, object_tags['SensitivityLevel'] 
FROM aws_s3_metadata.my_metadata_table
WHERE record_type = 'CREATE'
AND record_timestamp > (CURRENT_TIMESTAMP – interval '1' month)
GROUP BY object_tags['SensitivityLevel']