As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Consulte arquivos com SQL usando o Amazon Athena

Os sistemas corporativos geralmente produzem resultados baseados em arquivos — exportações de registros, extrações de transações, instantâneos de inventário, descartes de arquivos entre sistemas — que chegam a um compartilhamento de arquivos NFS ou SMB.

Com um ponto de acesso Amazon S3 conectado ao volume FSx for ONTAP, o Amazon Athena consulta os arquivos no local. Seus aplicativos e usuários continuam gravando no volume via NFS ou SMB da maneira que sempre fizeram, e os analistas executam o SQL padrão com base nesses dados por meio do ponto de acesso. Como um volume FSx for ONTAP pode ser acessado simultaneamente por NFS, SMB e pela API do Amazon S3, o mesmo arquivo pode ser produzido por um protocolo e consumido por outro sem uma cópia.

Neste tutorial, você carrega um conjunto de dados de amostra em seu volume FSx for ONTAP por meio de um ponto de acesso do Amazon S3, registra-o no e o consulta com AWS Glue Data Catalog o Amazon Athena.

Pré-requisitos

Antes de começar, você deve ter o seguinte:

Etapa 1: Carregar dados de amostra para seu volume FSx for ONTAP

Este tutorial usa os dados de registro de viagens da Comissão de Táxis e Limusines (TLC) de Nova York, um conjunto de dados publicamente disponível de viagens de táxi na cidade de Nova York. Os dados estão no formato Apache Parquet, um formato colunar que o Athena pode consultar com eficiência.

Faça o download de um mês de dados amarelos da viagem de táxi e carregue-os em seu volume FSx for ONTAP por meio do ponto de acesso Amazon S3.

$ curl -O https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2024-01.parquet

Faça o upload do arquivo para o volume FSx for ONTAP usando o alias do ponto de acesso. my-ap-alias-ext-s3aliasSubstitua pelo alias do seu ponto de acesso.

$ aws s3 cp yellow_tripdata_2024-01.parquet \
    s3://my-ap-alias-ext-s3alias/taxi-data/yellow_tripdata_2024-01.parquet

Verifique se o arquivo está acessível por meio do ponto de acesso.

$ aws s3 ls s3://my-ap-alias-ext-s3alias/taxi-data/
2024-01-23 02:18:13   49961641 yellow_tripdata_2024-01.parquet

Etapa 2: Criar um banco de dados no AWS Glue Data Catalog

Crie um banco de dados no AWS Glue Data Catalog para armazenar os metadados da tabela. Você pode criar o banco de dados usando o AWS Glue console, o editor de consultas Athena ou o. AWS CLI

AWS Glue console

Editor de consultas Athena ou AWS CLI

$ aws athena start-query-execution \
    --query-string "CREATE DATABASE IF NOT EXISTS fsxn_taxi_demo" \
    --work-group primary

Etapa 3: registrar os dados no AWS Glue Data Catalog

Você pode registrar seus dados usando um AWS Glue rastreador (recomendado) ou uma CREATE EXTERNAL TABLE instrução manual no Athena.

Opção A: use um AWS Glue rastreador (recomendado)

Um AWS Glue rastreador descobre automaticamente o esquema dos seus dados e cria uma tabela no. AWS Glue Data Catalog Essa é a abordagem recomendada porque o rastreador infere os tipos de coluna corretos dos metadados do arquivo Parquet.

Opção B: criar uma tabela manualmente no Athena

Se você já conhece o esquema dos seus dados, pode criar a tabela diretamente no Athena usando CREATE EXTERNAL TABLE uma instrução. Use o alias do ponto de acesso na LOCATION cláusula.

CREATE EXTERNAL TABLE fsxn_taxi_demo.yellow_taxi_trips (
    VendorID bigint,
    tpep_pickup_datetime timestamp,
    tpep_dropoff_datetime timestamp,
    passenger_count bigint,
    trip_distance double,
    RatecodeID bigint,
    store_and_fwd_flag string,
    PULocationID bigint,
    DOLocationID bigint,
    payment_type bigint,
    fare_amount double,
    extra double,
    mta_tax double,
    tip_amount double,
    tolls_amount double,
    improvement_surcharge double,
    total_amount double,
    congestion_surcharge double,
    Airport_fee double
)
STORED AS PARQUET
LOCATION 's3://my-ap-alias-ext-s3alias/taxi-data/'

Etapa 4: consulte seus dados

Abra o editor de consultas Athena ou use o AWS CLI para executar consultas SQL em seus dados FSx for ONTAP. Os exemplos a seguir usam a tabela criada pelo AWS Glue crawler ()taxi_data. Se você criou a tabela manualmente, taxi_data substitua poryellow_taxi_trips.

Conte o total de viagens e calcule as médias

SELECT
    COUNT(*) AS total_trips,
    ROUND(AVG(trip_distance), 2) AS avg_distance_miles,
    ROUND(AVG(total_amount), 2) AS avg_total_usd,
    ROUND(AVG(passenger_count), 1) AS avg_passengers
FROM fsxn_taxi_demo.taxi_data

Resultado do exemplo:

Encontre os horários de coleta mais movimentados

SELECT
    HOUR(tpep_pickup_datetime) AS pickup_hour,
    COUNT(*) AS trip_count,
    ROUND(AVG(total_amount), 2) AS avg_fare
FROM fsxn_taxi_demo.taxi_data
GROUP BY HOUR(tpep_pickup_datetime)
ORDER BY trip_count DESC
LIMIT 5

Encontre os locais de coleta com maior receita

SELECT
    PULocationID AS pickup_location,
    COUNT(*) AS trip_count,
    ROUND(SUM(total_amount), 2) AS total_revenue
FROM fsxn_taxi_demo.taxi_data
GROUP BY PULocationID
ORDER BY total_revenue DESC
LIMIT 10

Considerações

Limpeza

Para evitar cobranças contínuas, exclua os recursos que você criou neste tutorial.