Optimisation des performances des requêtes des tables de métadonnées

Comme les métadonnées S3 sont basées sur le format de table Apache Iceberg, vous pouvez optimiser les performances et le coût des requêtes de vos tables de métadonnées en utilisant des plages de temps spécifiques.

Par exemple, la requête SQL suivante indique le niveau de sensibilité des nouveaux objets d’un compartiment S3 à usage général :

SELECT key, object_tags['SensitivityLevel'] 
FROM aws_s3_metadata.my_metadata_table
WHERE record_type = 'CREATE'
GROUP BY object_tags['SensitivityLevel']

Cette requête analyse l’ensemble de la table de métadonnées. Son exécution peut donc prendre beaucoup de temps. Pour améliorer les performances, vous pouvez inclure la colonne record_timestamp pour vous concentrer sur une plage de temps spécifique. Voici une version mise à jour de la requête précédente qui examine les nouveaux objets du mois dernier :

SELECT key, object_tags['SensitivityLevel'] 
FROM aws_s3_metadata.my_metadata_table
WHERE record_type = 'CREATE'
AND record_timestamp > (CURRENT_TIMESTAMP – interval '1' month)
GROUP BY object_tags['SensitivityLevel']