翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Athena を使用して SQL でファイルをクエリする

エンタープライズシステムは、NFS または SMB ファイル共有に向かうログエクスポート、トランザクション抽出、インベントリスナップショット、システム間ファイルドロップなどのファイルベースの出力を頻繁に生成します。

Amazon S3 アクセスポイントを FSx for ONTAP ボリュームにアタッチすると、Amazon Athena は所定のファイルにクエリを実行します。アプリケーションとユーザーは、常に NFS または SMB 経由でボリュームに書き込んでおり、アナリストはアクセスポイントを介してそのデータに対して標準 SQL を実行します。FSx for ONTAP ボリュームには NFS、SMB、Amazon S3 API から同時にアクセスできるため、同じファイルを 1 つのプロトコルで生成し、コピーなしで別のプロトコルで使用できます。

このチュートリアルでは、Amazon S3 アクセスポイントを介して FSx for ONTAP ボリュームにサンプルデータセットをアップロードし、 に登録して AWS Glue Data Catalog、Amazon Athena でクエリを実行します。

前提条件

作業を開始する前に、次の項目があることを確認します。

ステップ 1: サンプルデータを FSx for ONTAP ボリュームにアップロードする

このチュートリアルでは、ニューヨーク市のタクシー旅行の公開データセットである NYC Taxi and Limousine Commission (TLC) Trip Record Data を使用します。データは、Athena が効率的にクエリできる列形式である Apache Parquet 形式です。

1 か月分の黄色のタクシー旅行データをダウンロードし、Amazon S3 アクセスポイントを介して FSx for ONTAP ボリュームにアップロードします。

$ curl -O https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2024-01.parquet

アクセスポイントエイリアスを使用して、FSx for ONTAP ボリュームにファイルをアップロードします。をアクセスポイントエイリアスmy-ap-alias-ext-s3aliasに置き換えます。

$ aws s3 cp yellow_tripdata_2024-01.parquet \
    s3://my-ap-alias-ext-s3alias/taxi-data/yellow_tripdata_2024-01.parquet

アクセスポイントを介してファイルにアクセスできることを確認します。

$ aws s3 ls s3://my-ap-alias-ext-s3alias/taxi-data/
2024-01-23 02:18:13   49961641 yellow_tripdata_2024-01.parquet

ステップ 2: でデータベースを作成する AWS Glue Data Catalog

テーブルメタデータを保持するデータベース AWS Glue Data Catalog を に作成します。 AWS Glue コンソール、Athena クエリエディタ、または を使用してデータベースを作成できます AWS CLI。

AWS Glue console

Athena クエリエディタまたは AWS CLI

$ aws athena start-query-execution \
    --query-string "CREATE DATABASE IF NOT EXISTS fsxn_taxi_demo" \
    --work-group primary

ステップ 3: にデータを登録する AWS Glue Data Catalog

Athena では AWS Glue 、クローラ (推奨) または手動CREATE EXTERNAL TABLEステートメントを使用してデータを登録できます。

オプション A: AWS Glue クローラを使用する (推奨)

AWS Glue クローラはデータのスキーマを自動的に検出し、 にテーブルを作成します AWS Glue Data Catalog。クローラは Parquet ファイルメタデータから正しい列タイプを推測するため、これは推奨されるアプローチです。

オプション B: Athena でテーブルを手動で作成する

データのスキーマが既にわかっている場合は、 CREATE EXTERNAL TABLEステートメントを使用して Athena でテーブルを直接作成できます。LOCATION 句でアクセスポイントエイリアスを使用します。

CREATE EXTERNAL TABLE fsxn_taxi_demo.yellow_taxi_trips (
    VendorID bigint,
    tpep_pickup_datetime timestamp,
    tpep_dropoff_datetime timestamp,
    passenger_count bigint,
    trip_distance double,
    RatecodeID bigint,
    store_and_fwd_flag string,
    PULocationID bigint,
    DOLocationID bigint,
    payment_type bigint,
    fare_amount double,
    extra double,
    mta_tax double,
    tip_amount double,
    tolls_amount double,
    improvement_surcharge double,
    total_amount double,
    congestion_surcharge double,
    Airport_fee double
)
STORED AS PARQUET
LOCATION 's3://my-ap-alias-ext-s3alias/taxi-data/'

ステップ 4: データをクエリする

Athena クエリエディタを開くか、 を使用して AWS CLI FSx for ONTAP データに対して SQL クエリを実行します。次の例では、クローラ () AWS Glue によって作成されたテーブルを使用しますtaxi_data。テーブルを手動で作成した場合は、 を taxi_dataに置き換えますyellow_taxi_trips。

合計トリップをカウントし、平均を計算する

SELECT
    COUNT(*) AS total_trips,
    ROUND(AVG(trip_distance), 2) AS avg_distance_miles,
    ROUND(AVG(total_amount), 2) AS avg_total_usd,
    ROUND(AVG(passenger_count), 1) AS avg_passengers
FROM fsxn_taxi_demo.taxi_data

出力の例:

最も混雑した集荷時間を検索する

SELECT
    HOUR(tpep_pickup_datetime) AS pickup_hour,
    COUNT(*) AS trip_count,
    ROUND(AVG(total_amount), 2) AS avg_fare
FROM fsxn_taxi_demo.taxi_data
GROUP BY HOUR(tpep_pickup_datetime)
ORDER BY trip_count DESC
LIMIT 5

最も収益の高い集荷場所を見つける

SELECT
    PULocationID AS pickup_location,
    COUNT(*) AS trip_count,
    ROUND(SUM(total_amount), 2) AS total_revenue
FROM fsxn_taxi_demo.taxi_data
GROUP BY PULocationID
ORDER BY total_revenue DESC
LIMIT 10

考慮事項

クリーンアップ

継続的な課金を回避するには、このチュートリアルで作成したリソースを削除します。