Ottimizzazione delle prestazioni delle query sulle tabelle di metadati

Poiché S3 Metadata si basa sul formato Apache Iceberg tabellare, puoi ottimizzare le prestazioni e i costi delle query nelle tabelle del journal utilizzando intervalli di tempo specifici.

Ad esempio, la seguente query SQL fornisce il livello di sensibilità dei nuovi oggetti in un bucket per uso generico S3:

SELECT key, object_tags['SensitivityLevel'] 
FROM "b_general-purpose-bucket-name"."journal"
WHERE record_type = 'CREATE'
GROUP BY object_tags['SensitivityLevel']

Questa query analizza l'intera tabella del diario, l'esecuzione potrebbe richiedere molto tempo. Per migliorare le prestazioni, è possibile includere la colonna record_timestamp per concentrarsi su un intervallo di tempo specifico. Ti consigliamo inoltre di utilizzare il nome di tabella completo, che puoi trovare nella console Amazon S3 nella pagina dei dettagli di configurazione dei metadati nella scheda Metadati del bucket generico. Ecco una versione aggiornata della precedente query che analizza i nuovi oggetti dell'ultimo mese:

SELECT key, object_tags['SensitivityLevel'] 
FROM b_general-purpose-bucket-name"."aws-s3.b_general-purpose-bucket-name.journal"
WHERE record_type = 'CREATE'
AND record_timestamp > (CURRENT_TIMESTAMP – interval '1' month)
GROUP BY object_tags['SensitivityLevel']

Per migliorare le prestazioni delle query sulle tabelle di inventario, assicurati di eseguire le query solo sulle colonne minime di cui hai bisogno.