Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kueri file dengan SQL menggunakan Amazon Athena

Sistem perusahaan sering menghasilkan output berbasis file - ekspor log, ekstrak transaksi, snapshot inventaris, penurunan file antar sistem - yang mendarat di berbagi file NFS atau SMB.

Dengan jalur akses Amazon S3 yang dilampirkan ke FSx untuk volume ONTAP, Amazon Athena menanyakan file di tempatnya. Aplikasi dan pengguna Anda terus menulis ke volume melalui NFS atau SMB seperti yang selalu mereka miliki, dan analis menjalankan SQL standar terhadap data tersebut melalui titik akses. Karena fsX untuk volume ONTAP dapat diakses secara bersamaan melalui NFS, SMB, dan Amazon S3 API, file yang sama dapat diproduksi oleh satu protokol dan dikonsumsi oleh protokol lain tanpa salinan.

Dalam tutorial ini, Anda mengunggah kumpulan data sampel ke FSx Anda untuk volume ONTAP melalui jalur akses Amazon S3, mendaftarkannya di, dan menanyakannya AWS Glue Data Catalog dengan Amazon Athena.

Prasyarat

Sebelum Anda mulai, pastikan Anda memiliki yang berikut:

Langkah 1: Unggah data sampel ke FSx Anda untuk volume ONTAP

Tutorial ini menggunakan Data Rekam Perjalanan NYC Taxi and Limousine Commission (TLC), kumpulan data perjalanan taksi yang tersedia untuk umum di New York City. Data dalam format Apache Parquet, format kolumnar yang Athena dapat kueri secara efisien.

Unduh satu bulan data perjalanan taksi kuning dan unggah ke FSx Anda untuk volume ONTAP melalui jalur akses Amazon S3.

$ curl -O https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2024-01.parquet

Unggah file ke FSx Anda untuk volume ONTAP menggunakan alias titik akses. Ganti my-ap-alias-ext-s3alias dengan alias titik akses Anda.

$ aws s3 cp yellow_tripdata_2024-01.parquet \
    s3://my-ap-alias-ext-s3alias/taxi-data/yellow_tripdata_2024-01.parquet

Verifikasi file dapat diakses melalui jalur akses.

$ aws s3 ls s3://my-ap-alias-ext-s3alias/taxi-data/
2024-01-23 02:18:13   49961641 yellow_tripdata_2024-01.parquet

Langkah 2: Buat database di AWS Glue Data Catalog

Buat database di AWS Glue Data Catalog untuk menahan metadata tabel. Anda dapat membuat database menggunakan AWS Glue konsol, editor kueri Athena, atau file. AWS CLI

AWS Glue konsol

Editor kueri Athena atau AWS CLI

$ aws athena start-query-execution \
    --query-string "CREATE DATABASE IF NOT EXISTS fsxn_taxi_demo" \
    --work-group primary

Langkah 3: Daftarkan data di AWS Glue Data Catalog

Anda dapat mendaftarkan data menggunakan AWS Glue crawler (disarankan) atau CREATE EXTERNAL TABLE pernyataan manual di Athena.

Opsi A: Gunakan AWS Glue crawler (disarankan)

AWS Glue Crawler secara otomatis menemukan skema data Anda dan membuat tabel di file. AWS Glue Data Catalog Ini adalah pendekatan yang disarankan karena crawler menyimpulkan jenis kolom yang benar dari metadata file Parket.

Opsi B: Buat tabel secara manual di Athena

Jika Anda sudah mengetahui skema data Anda, Anda dapat membuat tabel langsung di Athena menggunakan CREATE EXTERNAL TABLE pernyataan. Gunakan alias titik akses dalam LOCATION klausa.

CREATE EXTERNAL TABLE fsxn_taxi_demo.yellow_taxi_trips (
    VendorID bigint,
    tpep_pickup_datetime timestamp,
    tpep_dropoff_datetime timestamp,
    passenger_count bigint,
    trip_distance double,
    RatecodeID bigint,
    store_and_fwd_flag string,
    PULocationID bigint,
    DOLocationID bigint,
    payment_type bigint,
    fare_amount double,
    extra double,
    mta_tax double,
    tip_amount double,
    tolls_amount double,
    improvement_surcharge double,
    total_amount double,
    congestion_surcharge double,
    Airport_fee double
)
STORED AS PARQUET
LOCATION 's3://my-ap-alias-ext-s3alias/taxi-data/'

Langkah 4: Kueri data Anda

Buka editor kueri Athena atau gunakan AWS CLI untuk menjalankan kueri SQL terhadap FSx Anda untuk data ONTAP. Contoh berikut menggunakan tabel yang dibuat oleh AWS Glue crawler (taxi_data). Jika Anda membuat tabel secara manual, ganti taxi_data denganyellow_taxi_trips.

Hitung total perjalanan dan hitung rata-rata

SELECT
    COUNT(*) AS total_trips,
    ROUND(AVG(trip_distance), 2) AS avg_distance_miles,
    ROUND(AVG(total_amount), 2) AS avg_total_usd,
    ROUND(AVG(passenger_count), 1) AS avg_passengers
FROM fsxn_taxi_demo.taxi_data

Contoh output:

Temukan jam penjemputan tersibuk

SELECT
    HOUR(tpep_pickup_datetime) AS pickup_hour,
    COUNT(*) AS trip_count,
    ROUND(AVG(total_amount), 2) AS avg_fare
FROM fsxn_taxi_demo.taxi_data
GROUP BY HOUR(tpep_pickup_datetime)
ORDER BY trip_count DESC
LIMIT 5

Temukan lokasi pengambilan pendapatan tertinggi

SELECT
    PULocationID AS pickup_location,
    COUNT(*) AS trip_count,
    ROUND(SUM(total_amount), 2) AS total_revenue
FROM fsxn_taxi_demo.taxi_data
GROUP BY PULocationID
ORDER BY total_revenue DESC
LIMIT 10

Pertimbangan-pertimbangan

Bersihkan

Untuk menghindari biaya yang sedang berlangsung, hapus sumber daya yang Anda buat dalam tutorial ini.