本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Amazon Athena 查詢具有 SQL 的檔案

企業系統經常產生以檔案為基礎的輸出：日誌匯出、交易擷取、庫存快照、系統間檔案捨棄，這些輸出會落在 NFS 或 SMB 檔案共享上。

將 Amazon S3 存取點連接到 FSx for ONTAP 磁碟區後，Amazon Athena 會查詢檔案就位。您的應用程式和使用者會繼續像以往一樣透過 NFS 或 SMB 寫入磁碟區，而分析師會透過存取點針對該資料執行標準 SQL。由於 FSx for ONTAP 磁碟區可透過 NFS、SMB 和 Amazon S3 API 同時存取，因此一個通訊協定可以產生相同的檔案，而另一個無需複製即可使用。

在本教學課程中，您會透過 Amazon S3 存取點將範例資料集上傳至 FSx for ONTAP 磁碟區，在 中註冊 AWS Glue Data Catalog，然後向 Amazon Athena 查詢。

先決條件

開始前，請確定您具有下列項目：

步驟 1：將範例資料上傳至 FSx for ONTAP 磁碟區

本教學課程使用 NYC Taxi and Limousine Commission (TLC) Trip Record Data，這是紐約市可公開取得的計程車行程資料集。資料採用 Apache Parquet 格式，這是 Athena 可以有效率地查詢的單欄格式。

下載一個月的黃色計程車行程資料，並透過 Amazon S3 存取點將其上傳至 FSx for ONTAP 磁碟區。

$ curl -O https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2024-01.parquet

使用存取點別名將檔案上傳至 FSx for ONTAP 磁碟區。my-ap-alias-ext-s3alias 將 取代為您的存取點別名。

$ aws s3 cp yellow_tripdata_2024-01.parquet \
    s3://my-ap-alias-ext-s3alias/taxi-data/yellow_tripdata_2024-01.parquet

確認檔案可透過存取點存取。

$ aws s3 ls s3://my-ap-alias-ext-s3alias/taxi-data/
2024-01-23 02:18:13   49961641 yellow_tripdata_2024-01.parquet

步驟 2：在 中建立資料庫 AWS Glue Data Catalog

在 中建立資料庫 AWS Glue Data Catalog 以保留資料表中繼資料。您可以使用 AWS Glue 主控台、Athena 查詢編輯器或 建立資料庫 AWS CLI。

AWS Glue 主控台

Athena 查詢編輯器或 AWS CLI

$ aws athena start-query-execution \
    --query-string "CREATE DATABASE IF NOT EXISTS fsxn_taxi_demo" \
    --work-group primary

步驟 3：在 中註冊資料 AWS Glue Data Catalog

您可以使用 AWS Glue 爬蟲程式 （建議） 或 Athena 中的手動CREATE EXTERNAL TABLE陳述式來註冊資料。

選項 A：使用 AWS Glue 爬蟲程式 （建議）

AWS Glue 爬蟲程式會自動探索資料的結構描述，並在 中建立資料表 AWS Glue Data Catalog。這是建議的方法，因為爬蟲程式會從 Parquet 檔案中繼資料推斷正確的資料欄類型。

選項 B：在 Athena 中手動建立資料表

如果您已經知道資料的結構描述，可以使用 CREATE EXTERNAL TABLE陳述式直接在 Athena 中建立資料表。在 LOCATION子句中使用存取點別名。

CREATE EXTERNAL TABLE fsxn_taxi_demo.yellow_taxi_trips (
    VendorID bigint,
    tpep_pickup_datetime timestamp,
    tpep_dropoff_datetime timestamp,
    passenger_count bigint,
    trip_distance double,
    RatecodeID bigint,
    store_and_fwd_flag string,
    PULocationID bigint,
    DOLocationID bigint,
    payment_type bigint,
    fare_amount double,
    extra double,
    mta_tax double,
    tip_amount double,
    tolls_amount double,
    improvement_surcharge double,
    total_amount double,
    congestion_surcharge double,
    Airport_fee double
)
STORED AS PARQUET
LOCATION 's3://my-ap-alias-ext-s3alias/taxi-data/'

步驟 4：查詢您的資料

開啟 Athena 查詢編輯器或使用 AWS CLI 針對 FSx for ONTAP 資料執行 SQL 查詢。下列範例使用 AWS Glue 爬蟲程式建立的資料表 (taxi_data)。如果您手動建立資料表，請將 取代taxi_data為 yellow_taxi_trips。

計算總行程數並計算平均值

SELECT
    COUNT(*) AS total_trips,
    ROUND(AVG(trip_distance), 2) AS avg_distance_miles,
    ROUND(AVG(total_amount), 2) AS avg_total_usd,
    ROUND(AVG(passenger_count), 1) AS avg_passengers
FROM fsxn_taxi_demo.taxi_data

輸出範例：

尋找最忙碌的收件時間

SELECT
    HOUR(tpep_pickup_datetime) AS pickup_hour,
    COUNT(*) AS trip_count,
    ROUND(AVG(total_amount), 2) AS avg_fare
FROM fsxn_taxi_demo.taxi_data
GROUP BY HOUR(tpep_pickup_datetime)
ORDER BY trip_count DESC
LIMIT 5

尋找收入最高的收件地點

SELECT
    PULocationID AS pickup_location,
    COUNT(*) AS trip_count,
    ROUND(SUM(total_amount), 2) AS total_revenue
FROM fsxn_taxi_demo.taxi_data
GROUP BY PULocationID
ORDER BY total_revenue DESC
LIMIT 10

考量事項

清除

若要避免持續收費，請刪除您在本教學課程中建立的資源。