Connettore Amazon Athena DynamoDB

Il connettore Amazon Athena DynamoDB consente ad Amazon Athena di comunicare con DynamoDB in modo da poter eseguire query sulle tabelle con SQL. Operazioni di scrittura come INSERT INTO non sono supportate.

Questo connettore può essere registrato con il Catalogo Dati Glue Data come catalogo federato. Supporta i controlli di accesso ai dati definiti in Lake Formation a livello di catalogo, database, tabella, colonna, riga e tag. Questo connettore utilizza Glue Connections per centralizzare le proprietà di configurazione in Glue.

Se hai abilitato Lake Formation nel tuo account, il ruolo IAM per il connettore Lambda federato Athena che hai implementato nel file AWS Serverless Application Repository deve avere accesso in lettura in Lake Formation per il AWS Glue Data Catalog.

Prerequisiti

Limitazioni

Se migri le tue connessioni DynamoDB a Catalogo Glue e Lake Formation, verranno riconosciuti solo i nomi minuscoli di tabelle e colonne.

Parametri

Utilizzare i parametri illustrati in questa sezione per configurare il connettore DynamoDB.

aws glue describe-connection-type --connection-type DYNAMODB

Configurazione di database e tabelle in AWS Glue

Poiché la capacità integrata di inferenza dello schema del connettore è limitata, potresti voler utilizzare AWS Glue per i metadati. Per eseguire questa operazione, devi disporre di un database e una tabella in AWS Glue. Per abilitarli all'uso con DynamoDB, è necessario modificarne le proprietà.

Autorizzazioni richieste

Consulta la sezione Policies del file athena-dynamodb.yaml per i dettagli completi delle policy IAM richieste da questo connettore. L'elenco che segue riporta un riepilogo delle autorizzazioni richieste.

Prestazioni

Il connettore DynamoDB per Athena supporta le scansioni in parallelo e tenta di eseguire il pushdown dei predicati come parte delle query DynamoDB. Un predicato hash key con valori X distinti genera X chiamate di query a DynamoDB. Tutti gli altri scenari di predicato danno come risultato un numero Y di chiamate di scansione, dove Y viene determinato euristicamente in base alla dimensione della tabella e alla velocità di trasmissione effettiva allocata. Tuttavia, la selezione di un sottoinsieme di colonne comporta un runtime di esecuzione delle query più lungo.

Viene eseguito il pushdown delle clausole LIMIT e dei predicati semplici, il che può ridurre la quantità di dati scansionati e, di conseguenza, il runtime di esecuzione delle query.

Clausole LIMIT

Una dichiarazione LIMIT N riduce la quantità di dati analizzati dalla query. Con il pushdown LIMIT N, il connettore restituisce solo le righe N ad Athena.

Predicati

Un predicato è un'espressione nella clausola WHERE di una query SQL che valuta a un valore booleano e filtra le righe in base a più condizioni. Per migliorare le funzionalità e ridurre la quantità di dati scansionati, il connettore Athena DynamoDB può combinare queste espressioni e inviarle direttamente a DynamoDB.

I seguenti operatori del connettore DynamoDB di Athena supportano il pushdown dei predicati:

Esempio di pushdown combinato

Per le funzionalità di esecuzione di query avanzate, combina i tipi di pushdown, come nell'esempio seguente:

SELECT *
FROM my_table
WHERE col_a > 10 and col_b < 10
LIMIT 10

Per un articolo sull'utilizzo del pushdown del predicato per migliorare le prestazioni nelle query federate, incluso DynamoDB, consulta Come migliorare le query federate con il pushdown del predicato in Amazon Athena nel Blog sui Big Data diAWS.

Query passthrough

Il connettore DynamoDB supporta le query passthrough e utilizza la sintassi PartiQL. L'operazione dell'API GetItem di DynamoDB non è supportata. Per informazioni sull'interrogazione di DynamoDB utilizzando PartiQL, consulta Istruzioni selezionate PartiQL per DynamoDB nella Guida per sviluppatori Amazon DynamoDB.

Per utilizzare le query passthrough con DynamoDB, utilizzare la seguente sintassi:

SELECT * FROM TABLE(
        system.query(
            query => 'query_string'
        ))

Il seguente esempio di query passthrough DynamoDB utilizza PartiQL per restituire un elenco di dispositivi Fire TV Stick che hanno una proprietà DateWatched successiva al 24/12/22.

SELECT * FROM TABLE(
        system.query(
           query => 'SELECT Devices 
                       FROM WatchList 
                       WHERE Devices.FireStick.DateWatched[0] > '12/24/22''
        ))

Risoluzione dei problemi

Filtri multipli su una colonna con chiave di ordinamento

Messaggio di errore: KeyConditionExpressions deve contenere solo una condizione per chiave

Causa: questo problema può verificarsi nella versione 3 del motore Athena nelle query che hanno un filtro con limite sia inferiore sia superiore su una colonna con chiave di ordinamento DynamoDB. Poiché DynamoDB non supporta più di una condizione di filtro su una chiave di ordinamento, quando il connettore tenta di inviare una query a cui sono applicate entrambe le condizioni, viene generato un errore.

Soluzione: aggiorna il connettore alla versione 2023.11.1 o successiva. Per istruzioni sull'aggiornamento di un connettore, consulta Aggiornare un connettore di origine dati.

Costi

I costi di utilizzo del connettore dipendono dalle risorse AWS sottostanti utilizzate. Dato che le query che utilizzano le scansioni possono consumare un numero elevato di unità di capacità di lettura (RCU), consulta attentamente le informazioni sui prezzi di Amazon DynamoDB.

Risorse aggiuntive