Optimisation des performances des requêtes des tables de métadonnées

Les métadonnées S3 étant basées sur le format de Apache Iceberg table, vous pouvez optimiser les performances et le coût de vos requêtes de table de journal en utilisant des plages de temps spécifiques.

Par exemple, la requête SQL suivante indique le niveau de sensibilité des nouveaux objets d’un compartiment S3 à usage général :

SELECT key, object_tags['SensitivityLevel'] 
FROM "b_general-purpose-bucket-name"."journal"
WHERE record_type = 'CREATE'
GROUP BY object_tags['SensitivityLevel']

Cette requête analyse l'intégralité de la table du journal, ce qui peut prendre un certain temps à s'exécuter. Pour améliorer les performances, vous pouvez inclure la colonne record_timestamp pour vous concentrer sur une plage de temps spécifique. Nous vous recommandons également d'utiliser le nom de table complet, que vous pouvez trouver dans la console Amazon S3 sur la page de détails de configuration des métadonnées de l'onglet Métadonnées du compartiment à usage général. Voici une version mise à jour de la requête précédente qui examine les nouveaux objets du mois dernier :

SELECT key, object_tags['SensitivityLevel'] 
FROM b_general-purpose-bucket-name"."aws-s3.b_general-purpose-bucket-name.journal"
WHERE record_type = 'CREATE'
AND record_timestamp > (CURRENT_TIMESTAMP – interval '1' month)
GROUP BY object_tags['SensitivityLevel']

Pour améliorer les performances des requêtes sur les tables d'inventaire, assurez-vous de n'interroger que les colonnes minimales dont vous avez besoin.