Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Interrogez des fichiers avec SQL à l'aide d'Amazon Athena

Les systèmes d'entreprise produisent fréquemment des résultats basés sur des fichiers (exportations de journaux, extraits de transactions, instantanés d'inventaire, suppressions de fichiers entre systèmes) qui aboutissent sur un partage de fichiers NFS ou SMB.

Avec un point d'accès Amazon S3 connecté au volume FSx for ONTAP, Amazon Athena interroge les fichiers en place. Vos applications et vos utilisateurs continuent d'écrire sur le volume via NFS ou SMB comme ils l'ont toujours fait, et les analystes exécutent du SQL standard sur ces données via le point d'accès. Comme un volume FSx for ONTAP est accessible simultanément via NFS, SMB et l'API Amazon S3, le même fichier peut être produit par un protocole et consommé par un autre sans copie.

Dans ce didacticiel, vous allez télécharger un exemple de jeu de données sur votre volume FSx for ONTAP via un point d'accès Amazon S3, l'enregistrer dans le et l' AWS Glue Data Catalog interroger auprès d'Amazon Athena.

Conditions préalables

Avant de commencer, assurez-vous de disposer des éléments suivants :

Étape 1 : télécharger des exemples de données sur votre volume FSx for ONTAP

Ce didacticiel utilise les données d'enregistrement des trajets de la NYC Taxi and Limousine Commission (TLC), un ensemble de données accessible au public sur les trajets en taxi à New York. Les données sont au format Apache Parquet, un format en colonnes qu'Athena peut interroger efficacement.

Téléchargez un mois de données de trajets en taxi jaunes et chargez-les sur votre volume FSx for ONTAP via le point d'accès Amazon S3.

$ curl -O https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2024-01.parquet

Téléchargez le fichier sur votre volume FSx for ONTAP à l'aide de l'alias du point d'accès. my-ap-alias-ext-s3aliasRemplacez-le par l'alias de votre point d'accès.

$ aws s3 cp yellow_tripdata_2024-01.parquet \
    s3://my-ap-alias-ext-s3alias/taxi-data/yellow_tripdata_2024-01.parquet

Vérifiez que le fichier est accessible via le point d'accès.

$ aws s3 ls s3://my-ap-alias-ext-s3alias/taxi-data/
2024-01-23 02:18:13   49961641 yellow_tripdata_2024-01.parquet

Étape 2 : créer une base de données dans AWS Glue Data Catalog

Créez une base de données dans le AWS Glue Data Catalog pour contenir les métadonnées de la table. Vous pouvez créer la base de données à l'aide de la AWS Glue console, de l'éditeur de requêtes Athena ou du. AWS CLI

AWS Glue console

éditeur de requêtes Athena ou AWS CLI

$ aws athena start-query-execution \
    --query-string "CREATE DATABASE IF NOT EXISTS fsxn_taxi_demo" \
    --work-group primary

Étape 3 : Enregistrez les données dans le AWS Glue Data Catalog

Vous pouvez enregistrer vos données à l'aide d'un AWS Glue robot d'exploration (recommandé) ou d'une CREATE EXTERNAL TABLE instruction manuelle dans Athena.

Option A : utiliser un AWS Glue robot d'exploration (recommandé)

Un AWS Glue robot d'exploration découvre automatiquement le schéma de vos données et crée une table dans le AWS Glue Data Catalog. Il s'agit de l'approche recommandée car le robot d'exploration déduit les types de colonnes corrects à partir des métadonnées du fichier Parquet.

Option B : créer une table manuellement dans Athena

Si vous connaissez déjà le schéma de vos données, vous pouvez créer la table directement dans Athena à l'aide d'une CREATE EXTERNAL TABLE instruction. Utilisez l'alias du point d'accès dans la LOCATION clause.

CREATE EXTERNAL TABLE fsxn_taxi_demo.yellow_taxi_trips (
    VendorID bigint,
    tpep_pickup_datetime timestamp,
    tpep_dropoff_datetime timestamp,
    passenger_count bigint,
    trip_distance double,
    RatecodeID bigint,
    store_and_fwd_flag string,
    PULocationID bigint,
    DOLocationID bigint,
    payment_type bigint,
    fare_amount double,
    extra double,
    mta_tax double,
    tip_amount double,
    tolls_amount double,
    improvement_surcharge double,
    total_amount double,
    congestion_surcharge double,
    Airport_fee double
)
STORED AS PARQUET
LOCATION 's3://my-ap-alias-ext-s3alias/taxi-data/'

Étape 4 : Interrogez vos données

Ouvrez l'éditeur de requêtes Athena ou utilisez-le AWS CLI pour exécuter des requêtes SQL sur vos données FSx for ONTAP. Les exemples suivants utilisent la table créée par le AWS Glue robot (taxi_data). Si vous avez créé le tableau manuellement, remplacez-le taxi_data paryellow_taxi_trips.

Comptez le nombre total de voyages et calculez les moyennes

SELECT
    COUNT(*) AS total_trips,
    ROUND(AVG(trip_distance), 2) AS avg_distance_miles,
    ROUND(AVG(total_amount), 2) AS avg_total_usd,
    ROUND(AVG(passenger_count), 1) AS avg_passengers
FROM fsxn_taxi_demo.taxi_data

Exemple de sortie :

Trouvez les heures de ramassage les plus chargées

SELECT
    HOUR(tpep_pickup_datetime) AS pickup_hour,
    COUNT(*) AS trip_count,
    ROUND(AVG(total_amount), 2) AS avg_fare
FROM fsxn_taxi_demo.taxi_data
GROUP BY HOUR(tpep_pickup_datetime)
ORDER BY trip_count DESC
LIMIT 5

Trouvez les points de collecte les plus rentables

SELECT
    PULocationID AS pickup_location,
    COUNT(*) AS trip_count,
    ROUND(SUM(total_amount), 2) AS total_revenue
FROM fsxn_taxi_demo.taxi_data
GROUP BY PULocationID
ORDER BY total_revenue DESC
LIMIT 10

Considérations

Nettoyage

Pour éviter des frais récurrents, supprimez les ressources que vous avez créées dans ce didacticiel.