Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Consulte archivos con SQL mediante Amazon Athena

Los sistemas empresariales suelen producir resultados basados en archivos (exportaciones de registros, extractos de transacciones, instantáneas de inventario, transferencias de archivos entre sistemas) que llegan a un recurso compartido de archivos NFS o SMB.

Con un punto de acceso Amazon S3 conectado al volumen FSx for ONTAP, Amazon Athena consulta los archivos existentes. Sus aplicaciones y sus usuarios siguen escribiendo en el volumen a través de NFS o SMB como siempre lo han hecho, y los analistas utilizan el SQL estándar para comparar esos datos a través del punto de acceso. Como se puede acceder simultáneamente a un volumen de FSx for ONTAP a través de NFS, SMB y la API de Amazon S3, un protocolo puede generar el mismo archivo y consumirlo otro sin necesidad de copiarlo.

En este tutorial, cargará un conjunto de datos de muestra en su volumen de FSx for ONTAP a través de un punto de acceso de Amazon S3, lo registrará en y lo AWS Glue Data Catalog consultará con Amazon Athena.

Requisitos previos

Antes de empezar, asegúrese de que tiene lo siguiente:

Paso 1: Cargue datos de muestra en su FSx para el volumen ONTAP

Este tutorial utiliza los datos del registro de viajes de la Comisión de Taxis y Limusinas de la Ciudad de Nueva York (TLC), un conjunto de datos de acceso público sobre los viajes en taxi en la ciudad de Nueva York. Los datos están en formato Apache Parquet, un formato de columnas que Athena puede consultar de forma eficaz.

Descarga los datos de un mes de viajes en taxi amarillos y súbelos a tu volumen de FSx for ONTAP a través del punto de acceso Amazon S3.

$ curl -O https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2024-01.parquet

Cargue el archivo en su volumen FSx for ONTAP utilizando el alias del punto de acceso. my-ap-alias-ext-s3aliasSustitúyalo por el alias de tu punto de acceso.

$ aws s3 cp yellow_tripdata_2024-01.parquet \
    s3://my-ap-alias-ext-s3alias/taxi-data/yellow_tripdata_2024-01.parquet

Compruebe que se puede acceder al archivo a través del punto de acceso.

$ aws s3 ls s3://my-ap-alias-ext-s3alias/taxi-data/
2024-01-23 02:18:13   49961641 yellow_tripdata_2024-01.parquet

Paso 2: Cree una base de datos en el AWS Glue Data Catalog

Cree una base de datos en la AWS Glue Data Catalog que se guarden los metadatos de la tabla. Puede crear la base de datos mediante la AWS Glue consola, el editor de consultas de Athena o el. AWS CLI

AWS Glue console

editor de consultas Athena o AWS CLI

$ aws athena start-query-execution \
    --query-string "CREATE DATABASE IF NOT EXISTS fsxn_taxi_demo" \
    --work-group primary

Paso 3: Registre los datos en el AWS Glue Data Catalog

Puede registrar sus datos mediante un AWS Glue rastreador (recomendado) o una CREATE EXTERNAL TABLE declaración manual en Athena.

Opción A: utilizar un AWS Glue rastreador (recomendado)

Un AWS Glue rastreador descubre automáticamente el esquema de los datos y crea una tabla en el. AWS Glue Data Catalog Este es el enfoque recomendado porque el rastreador deduce los tipos de columnas correctos a partir de los metadatos del archivo Parquet.

Opción B: crear una tabla manualmente en Athena

Si ya conoce el esquema de sus datos, puede crear la tabla directamente en Athena mediante una CREATE EXTERNAL TABLE sentencia. Utilice el alias del punto de acceso de la LOCATION cláusula.

CREATE EXTERNAL TABLE fsxn_taxi_demo.yellow_taxi_trips (
    VendorID bigint,
    tpep_pickup_datetime timestamp,
    tpep_dropoff_datetime timestamp,
    passenger_count bigint,
    trip_distance double,
    RatecodeID bigint,
    store_and_fwd_flag string,
    PULocationID bigint,
    DOLocationID bigint,
    payment_type bigint,
    fare_amount double,
    extra double,
    mta_tax double,
    tip_amount double,
    tolls_amount double,
    improvement_surcharge double,
    total_amount double,
    congestion_surcharge double,
    Airport_fee double
)
STORED AS PARQUET
LOCATION 's3://my-ap-alias-ext-s3alias/taxi-data/'

Paso 4: consulta tus datos

Abra el editor de consultas de Athena o utilícelo AWS CLI para ejecutar consultas SQL en sus datos de FSx para ONTAP. Los siguientes ejemplos utilizan la tabla creada por el AWS Glue rastreador (). taxi_data Si creó la tabla manualmente, sustitúyala portaxi_data. yellow_taxi_trips

Cuente el total de viajes y calcule los promedios

SELECT
    COUNT(*) AS total_trips,
    ROUND(AVG(trip_distance), 2) AS avg_distance_miles,
    ROUND(AVG(total_amount), 2) AS avg_total_usd,
    ROUND(AVG(passenger_count), 1) AS avg_passengers
FROM fsxn_taxi_demo.taxi_data

Ejemplo de código de salida:

Encuentra las horas de recogida más concurridas

SELECT
    HOUR(tpep_pickup_datetime) AS pickup_hour,
    COUNT(*) AS trip_count,
    ROUND(AVG(total_amount), 2) AS avg_fare
FROM fsxn_taxi_demo.taxi_data
GROUP BY HOUR(tpep_pickup_datetime)
ORDER BY trip_count DESC
LIMIT 5

Encuentra los puntos de recogida con mayores ingresos

SELECT
    PULocationID AS pickup_location,
    COUNT(*) AS trip_count,
    ROUND(SUM(total_amount), 2) AS total_revenue
FROM fsxn_taxi_demo.taxi_data
GROUP BY PULocationID
ORDER BY total_revenue DESC
LIMIT 10

Consideraciones

Limpieza

Para evitar cargos continuos, elimine los recursos que creó en este tutorial.