Interroga le tabelle Delta Lake di Linux Foundation - Amazon Athena

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Interroga le tabelle Delta Lake di Linux Foundation

Delta Lake di Linux Foundation è un formato di tabella per la Big data/analisi. Puoi utilizzare Amazon Athena per leggere direttamente le tabelle Delta Lake archiviate in Amazon S3 senza dover generare file di manifesto o eseguire l'istruzione MSCK REPAIR.

Il formato Delta Lake archivia i valori minimi e massimi per colonna di ogni file di dati. L'implementazione di Athena utilizza queste informazioni per consentire di saltare i file sui predicati per non considerare i file indesiderati.

Considerazioni e limitazioni

L'assistenza di Delta Lake ad Athena ha le seguenti considerazioni e limitazioni:

  • Solo tabelle con AWS Glue catalogo: il supporto nativo di Delta Lake è supportato solo tramite tabelle registrate con. AWS Glue Se hai una tabella Delta Lake registrata con un altro metastore, puoi comunque conservarla e trattarla come metastore principale. Poiché i metadati Delta Lake sono archiviati nel file system (ad esempio, in Amazon S3) anziché nel metastore, Athena richiede solo la AWS Glue proprietà location in per leggere le tabelle Delta Lake.

  • Solo motore V3: le query Delta Lake sono supportate solo sulla versione 3 del motore Athena. È necessario assicurarsi che il gruppo di lavoro creato sia configurato per l'utilizzo della versione 3 del motore Athena.

  • Supporto per le query temporali non disponibile: non è disponibile alcun supporto per le query che utilizzano le funzionalità temporali di Delta Lake.

  • Sola lettura: le istruzioni DML di scrittura come UPDATE, INSERT o DELETE non sono supportate.

  • Supporto di Lake Formation: l'integrazione di Lake Formation non è disponibile per tabelle Delta Lake con il relativo schema sincronizzato con AWS Glue. Per ulteriori informazioni, consulta Utilizzo AWS Lake Formation con Amazon Athena e Configurazione delle autorizzazioni per una tabella Delta Lake nella Guida per gli AWS Lake Formation sviluppatori.

  • Supporto DDL limitato: sono supportate le seguenti istruzioni DDL: CREATE EXTERNAL TABLE, SHOW COLUMNS, SHOW TBLPROPERTIES, SHOW PARTITIONS, SHOW CREATE TABLE e DESCRIBE. Per informazioni sull'utilizzo dell'istruzione CREATE EXTERNAL TABLE, consulta la sezione Inizia a usare le tabelle Delta Lake.

  • Ignorare gli oggetti Amazon Glacier non è supportato: se gli oggetti nella tabella Delta Lake di Linux Foundation si trovano in una classe di storage Amazon Glacier, read_restored_glacier_objects l'impostazione della proprietà della tabella su non ha alcun effetto. false

    Ad esempio, supponiamo di emettere il seguente comando:

    ALTER TABLE table_name SET TBLPROPERTIES ('read_restored_glacier_objects' = 'false')

    Per le tabelle Iceberg e Delta Lake, il comando produce l'errore Chiave delle proprietà della tabella non supportata: read_restored_glacier_objects. Per le tabelle Hudi, il ALTER TABLE comando non produce errori, ma gli oggetti Amazon Glacier non vengono ancora ignorati. L'esecuzione delle query SELECT dopo il comando ALTER TABLE continuerà a restituire tutti gli oggetti.

  • Tabelle crittografate: Athena non supporta la lettura nativa di tabelle Delta Lake crittografate CSE-KMS. Ciò include le istruzioni SELECT e le istruzioni DDL.

Versionamento di Delta Lake e Athena

Athena non utilizza le versioni elencate nella documentazione di Delta Lake. Per determinare se i tuoi tavoli Delta Lake sono compatibili con Athena, considera le due caratteristiche seguenti:

  • Versione Reader: ogni tavolo Delta Lake ha una versione Reader. Attualmente, si tratta di un numero compreso tra 1 e 3. Le interrogazioni che includono una tabella con una versione di lettura non supportata da Athena avranno esito negativo.

  • Caratteristiche della tabella: ogni tavolo Delta Lake può anche dichiarare una serie di funzionalità. reader/writer Poiché il supporto di Athena per Delta Lake è di sola lettura, la compatibilità delle funzionalità di table writer non si applica. Tuttavia, le interrogazioni su tabelle con funzionalità di lettura delle tabelle non supportate avranno esito negativo.

La tabella seguente mostra le versioni del lettore Delta Lake e le funzionalità del lettore da tavolo Delta Lake supportate da Athena.

Tipo di query Versioni di lettura supportate Funzionalità di lettura supportate
DQL (istruzioni SELECT) <= 3 Mappatura delle colonne, timestampNTZ , vettori di cancellazione
DDL <= 1 Non applicabile. Le funzionalità del lettore possono essere dichiarate solo su tabelle con una versione del lettore pari o superiore a 2.

Per creare una tabella Delta Lake in Athena con una versione del lettore superiore a 1, vedi. Sincronizza i metadati di Delta Lake