Ottimizzatori di tabelle a livello di catalogo
Con una configurazione unica del catalogo, puoi impostare ottimizzatori automatici come la compattazione, la conservazione degli snapshot e l'eliminazione dei file orfani per tutte le tabelle Apache Iceberg nuove e aggiornate di AWS Glue Data Catalog. Le configurazioni degli ottimizzatori a livello di catalogo consentono di applicare impostazioni di ottimizzazione coerenti su tutte le tabelle all'interno di un catalogo, eliminando la necessità di configurare gli ottimizzatori singolarmente per ogni tabella.
Gli amministratori di Data Lake possono configurare gli ottimizzatori di tabelle selezionando il catalogo predefinito nella console Lake Formation e abilitando gli ottimizzatori utilizzando l'opzione Table optimization. Quando si creano nuove tabelle o si aggiornano le tabelle esistenti nel Catalogo dati, questo esegue automaticamente le ottimizzazioni delle tabelle per ridurre il carico operativo.
Se hai configurato l'ottimizzazione a livello di tabella o se hai precedentemente eliminato le impostazioni di ottimizzazione per una tabella, tali impostazioni specifiche della tabella hanno la precedenza sulle impostazioni predefinite del catalogo. Se un parametro di configurazione non è definito né a livello di tabella né di catalogo, verrà applicato il valore della proprietà della tabella Iceberg. Questa impostazione è applicabile all'ottimizzatore per la conservazione degli snapshot e l'eliminazione dei file orfani.
Quando si abilitano gli ottimizzatori a livello di catalogo, considerare quanto segue:
-
Quando si configurano le impostazioni di ottimizzazione al momento della creazione del catalogo e successivamente si disabilitano le ottimizzazioni tramite una richiesta di aggiornamento del catalogo, l'operazione viene eseguita a cascata su tutte le tabelle all'interno del catalogo.
-
Se sono già stati configurati degli ottimizzatori per una determinata tabella, l'operazione di disabilitazione a livello di catalogo non avrà alcun impatto su questa tabella.
-
Quando si disabilitano gli ottimizzatori a livello di catalogo, le tabelle con configurazioni di ottimizzazione esistenti manterranno le relative impostazioni specifiche e non verranno alterate dalla modifica a livello di catalogo. Tuttavia, le tabelle senza le proprie configurazioni di ottimizzazione erediteranno lo stato di disabilitazione dal livello di catalogo.
-
Poiché gli ottimizzatori per la conservazione degli snapshot e l'eliminazione dei file orfani possono essere basate sulla pianificazione, gli aggiornamenti introdurranno un ritardo casuale all'inizio della pianificazione. In questo modo, ogni ottimizzatore si avvia in un momento leggermente diverso dagli altri, così da suddividere il carico e ridurre la probabilità di superare i limiti di servizio.
Argomenti
