Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Interroga i file con SQL utilizzando Amazon Athena

I sistemi aziendali producono spesso output basati su file (esportazioni di log, estrazioni di transazioni, istantanee di inventario, trasferimenti di file tra sistemi) che vengono trasferiti su una condivisione di file NFS o SMB.

Con un punto di accesso Amazon S3 collegato al volume FSx for ONTAP, Amazon Athena interroga i file sul posto. Le tue applicazioni e i tuoi utenti continuano a scrivere sul volume tramite NFS o SMB come hanno sempre fatto, e gli analisti eseguono SQL standard su tali dati attraverso il punto di accesso. Poiché un volume FSx for ONTAP è accessibile simultaneamente tramite NFS, SMB e l'API Amazon S3, lo stesso file può essere prodotto da un protocollo e utilizzato da un altro senza una copia.

In questo tutorial, carichi un set di dati di esempio sul tuo volume FSx for ONTAP tramite un punto di accesso Amazon S3, lo registri in e lo interroghi con Amazon AWS Glue Data Catalog Athena.

Prerequisiti

Prima di iniziare, assicurati di disporre di:

Fase 1: Caricare dati di esempio sul volume FSx for ONTAP

Questo tutorial utilizza i Trip Record Data della NYC Taxi and Limousine Commission (TLC), un set di dati sui viaggi in taxi a New York disponibile al pubblico. I dati sono in formato Apache Parquet, un formato colonnare su cui Athena può interrogare in modo efficiente.

Scarica i dati di un mese di viaggi in taxi giallo e caricali sul tuo volume FSx for ONTAP tramite il punto di accesso Amazon S3.

$ curl -O https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2024-01.parquet

Caricate il file sul volume FSx for ONTAP utilizzando l'alias del punto di accesso. Sostituiscilo my-ap-alias-ext-s3alias con l'alias del punto di accesso.

$ aws s3 cp yellow_tripdata_2024-01.parquet \
    s3://my-ap-alias-ext-s3alias/taxi-data/yellow_tripdata_2024-01.parquet

Verifica che il file sia accessibile tramite il punto di accesso.

$ aws s3 ls s3://my-ap-alias-ext-s3alias/taxi-data/
2024-01-23 02:18:13   49961641 yellow_tripdata_2024-01.parquet

Fase 2: Creare un database nel AWS Glue Data Catalog

Crea un database nel file AWS Glue Data Catalog per contenere i metadati della tabella. È possibile creare il database utilizzando la AWS Glue console, l'editor di query Athena o il. AWS CLI

AWS Glue console

Editor di query Athena o AWS CLI

$ aws athena start-query-execution \
    --query-string "CREATE DATABASE IF NOT EXISTS fsxn_taxi_demo" \
    --work-group primary

Fase 3: Registrare i dati nel AWS Glue Data Catalog

Puoi registrare i tuoi dati utilizzando un AWS Glue crawler (consigliato) o un'CREATE EXTERNAL TABLEistruzione manuale in Athena.

Opzione A: utilizza un AWS Glue crawler (consigliato)

Un AWS Glue crawler rileva automaticamente lo schema dei dati e crea una tabella in. AWS Glue Data Catalog Questo è l'approccio consigliato perché il crawler deduce i tipi di colonna corretti dai metadati del file Parquet.

Opzione B: crea una tabella manualmente in Athena

Se conosci già lo schema dei tuoi dati, puoi creare la tabella direttamente in Athena utilizzando un'CREATE EXTERNAL TABLEistruzione. Usa l'alias del punto di accesso nella clausola. LOCATION

CREATE EXTERNAL TABLE fsxn_taxi_demo.yellow_taxi_trips (
    VendorID bigint,
    tpep_pickup_datetime timestamp,
    tpep_dropoff_datetime timestamp,
    passenger_count bigint,
    trip_distance double,
    RatecodeID bigint,
    store_and_fwd_flag string,
    PULocationID bigint,
    DOLocationID bigint,
    payment_type bigint,
    fare_amount double,
    extra double,
    mta_tax double,
    tip_amount double,
    tolls_amount double,
    improvement_surcharge double,
    total_amount double,
    congestion_surcharge double,
    Airport_fee double
)
STORED AS PARQUET
LOCATION 's3://my-ap-alias-ext-s3alias/taxi-data/'

Passaggio 4: interroga i dati

Apri l'editor di query Athena o utilizzalo AWS CLI per eseguire query SQL sui tuoi dati FSx for ONTAP. Gli esempi seguenti utilizzano la tabella creata dal crawler (). AWS Glue taxi_data Se avete creato la tabella manualmente, taxi_data sostituitela con. yellow_taxi_trips

Conta i viaggi totali e calcola le medie

SELECT
    COUNT(*) AS total_trips,
    ROUND(AVG(trip_distance), 2) AS avg_distance_miles,
    ROUND(AVG(total_amount), 2) AS avg_total_usd,
    ROUND(AVG(passenger_count), 1) AS avg_passengers
FROM fsxn_taxi_demo.taxi_data

Output di esempio:

Trova gli orari di ritiro più trafficati

SELECT
    HOUR(tpep_pickup_datetime) AS pickup_hour,
    COUNT(*) AS trip_count,
    ROUND(AVG(total_amount), 2) AS avg_fare
FROM fsxn_taxi_demo.taxi_data
GROUP BY HOUR(tpep_pickup_datetime)
ORDER BY trip_count DESC
LIMIT 5

Trova i punti di ritiro con il fatturato più elevato

SELECT
    PULocationID AS pickup_location,
    COUNT(*) AS trip_count,
    ROUND(SUM(total_amount), 2) AS total_revenue
FROM fsxn_taxi_demo.taxi_data
GROUP BY PULocationID
ORDER BY total_revenue DESC
LIMIT 10

Considerazioni

Eliminazione

Per evitare addebiti continui, elimina le risorse che hai creato in questo tutorial.