本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Amazon Athena 使用 SQL 查询文件

企业系统经常生成基于文件的输出（日志导出、事务提取、清单快照、系统间文件丢弃），这些输出存放在 NFS 或 SMB 文件共享上。

在 FSx for ONTAP 卷上连接了 Amazon S3 接入点后，Amazon Athena 会就地查询文件。您的应用程序和用户继续像往常一样通过 NFS 或 SMB 向卷写入数据，分析人员通过接入点对这些数据运行标准 SQL。由于可以通过 NFS、SMB 和 Amazon S3 API 同时访问适用于 ONTAP 卷的 FSx，因此同一个文件可以由一个协议生成，而另一个协议可以使用，而无需副本。

在本教程中，您将通过 Amazon S3 接入点将示例数据集上传到您的 FSx for ONTAP 卷，在中注册该数据集，然后使用 Amazon Athena 进行查询。 AWS Glue Data Catalog

先决条件

在开始之前，请确保您具有以下各项：

步骤 1：将 ONTAP 卷的示例数据上传到您的 FSx

本教程使用纽约市出租车和豪华轿车委员会 (TLC) 旅行记录数据，这是纽约市出租车旅行的公开数据集。数据采用 Apache Parquet 格式，这是一种列式格式，Athena 可以高效地查询该格式。

下载一个月的黄色出租车出行数据，然后通过 Amazon S3 接入点将其上传到您的 FSx 以获取 ONTAP 音量。

$ curl -O https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2024-01.parquet

使用接入点别名将文件上传到您的 FSx for ONTAP 卷。my-ap-alias-ext-s3alias替换为您的接入点别名。

$ aws s3 cp yellow_tripdata_2024-01.parquet \
    s3://my-ap-alias-ext-s3alias/taxi-data/yellow_tripdata_2024-01.parquet

验证文件是否可通过接入点访问。

$ aws s3 ls s3://my-ap-alias-ext-s3alias/taxi-data/
2024-01-23 02:18:13   49961641 yellow_tripdata_2024-01.parquet

步骤 2：在中创建数据库 AWS Glue Data Catalog

在中创建数据库 AWS Glue Data Catalog 以保存表元数据。您可以使用控制 AWS Glue 台、Athena 查询编辑器或. AWS CLI

AWS Glue console

Athena 查询编辑器或 AWS CLI

$ aws athena start-query-execution \
    --query-string "CREATE DATABASE IF NOT EXISTS fsxn_taxi_demo" \
    --work-group primary

步骤 3：将数据注册到 AWS Glue Data Catalog

您可以在 Athena 中使用 AWS Glue 爬虫（推荐）或手动CREATE EXTERNAL TABLE语句注册数据。

选项 A：使用 AWS Glue 爬虫（推荐）

C AWS Glue rawler 会自动发现您的数据架构并在中创建表。 AWS Glue Data Catalog这是推荐的方法，因为爬虫会从 Parquet 文件元数据中推断出正确的列类型。

选项 B：在 Athena 中手动创建表

如果您已经知道数据的架构，则可以使用语句直接在 Athena 中创建表。CREATE EXTERNAL TABLE在LOCATION子句中使用接入点别名。

CREATE EXTERNAL TABLE fsxn_taxi_demo.yellow_taxi_trips (
    VendorID bigint,
    tpep_pickup_datetime timestamp,
    tpep_dropoff_datetime timestamp,
    passenger_count bigint,
    trip_distance double,
    RatecodeID bigint,
    store_and_fwd_flag string,
    PULocationID bigint,
    DOLocationID bigint,
    payment_type bigint,
    fare_amount double,
    extra double,
    mta_tax double,
    tip_amount double,
    tolls_amount double,
    improvement_surcharge double,
    total_amount double,
    congestion_surcharge double,
    Airport_fee double
)
STORED AS PARQUET
LOCATION 's3://my-ap-alias-ext-s3alias/taxi-data/'

第 4 步：查询您的数据

打开 Athena 查询编辑器或使用 AWS CLI 对您的 FSx 运行 SQL 查询，获取 ONTAP 数据。以下示例使用由 AWS Glue Crawler (taxi_data) 创建的表。如果您手动创建了表，请taxi_data替换为yellow_taxi_trips。

计算行程总数并计算平均值

SELECT
    COUNT(*) AS total_trips,
    ROUND(AVG(trip_distance), 2) AS avg_distance_miles,
    ROUND(AVG(total_amount), 2) AS avg_total_usd,
    ROUND(AVG(passenger_count), 1) AS avg_passengers
FROM fsxn_taxi_demo.taxi_data

输出示例：

查找最繁忙的接送时间

SELECT
    HOUR(tpep_pickup_datetime) AS pickup_hour,
    COUNT(*) AS trip_count,
    ROUND(AVG(total_amount), 2) AS avg_fare
FROM fsxn_taxi_demo.taxi_data
GROUP BY HOUR(tpep_pickup_datetime)
ORDER BY trip_count DESC
LIMIT 5

查找收入最高的取货地点

SELECT
    PULocationID AS pickup_location,
    COUNT(*) AS trip_count,
    ROUND(SUM(total_amount), 2) AS total_revenue
FROM fsxn_taxi_demo.taxi_data
GROUP BY PULocationID
ORDER BY total_revenue DESC
LIMIT 10

注意事项

清理

为避免持续收费，请删除您在本教程中创建的资源。