기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Athena를 사용하여 SQL로 파일 쿼리

엔터프라이즈 시스템은 NFS 또는 SMB 파일 공유에 도달하는 로그 내보내기, 트랜잭션 추출, 인벤토리 스냅샷, 시스템 간 파일 삭제 등 파일 기반 출력을 생성하는 경우가 많습니다.

Amazon Athena는 FSx for ONTAP 볼륨에 연결된 Amazon S3 액세스 포인트를 사용하여 파일을 쿼리합니다. FSx 애플리케이션과 사용자는 항상 있는 방식으로 NFS 또는 SMB를 통해 볼륨에 계속 쓰고, 분석가는 액세스 포인트를 통해 해당 데이터에 대해 표준 SQL을 실행합니다. FSx for ONTAP 볼륨은 NFS, SMB 및 Amazon S3 API를 통해 동시에 액세스할 수 있으므로 한 프로토콜에서 동일한 파일을 생성하고 복사본 없이 다른 프로토콜에서 사용할 수 있습니다.

이 자습서에서는 Amazon S3 액세스 포인트를 통해 샘플 데이터 세트를 FSx for ONTAP 볼륨에 업로드 AWS Glue Data Catalog하고에 등록한 다음 Amazon Athena로 쿼리합니다.

사전 조건

시작하기 전에 다음 항목이 준비되었는지 확인합니다.

1단계: FSx for ONTAP 볼륨에 샘플 데이터 업로드

이 자습서에서는 뉴욕시에서 공개적으로 사용 가능한 택시 여행 데이터 세트인 NYC Taxi and Limousine Commission(TLC) 여행 레코드 데이터를 사용합니다. 데이터는 Athena가 효율적으로 쿼리할 수 있는 열 형식인 Apache Parquet 형식입니다.

한 달 분량의 노란색 택시 이동 데이터를 다운로드하여 Amazon S3 액세스 포인트를 통해 FSx for ONTAP 볼륨에 업로드합니다.

$ curl -O https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2024-01.parquet

액세스 포인트 별칭을 사용하여 FSx for ONTAP 볼륨에 파일을 업로드합니다. 를 액세스 포인트 별칭my-ap-alias-ext-s3alias으로 바꿉니다.

$ aws s3 cp yellow_tripdata_2024-01.parquet \
    s3://my-ap-alias-ext-s3alias/taxi-data/yellow_tripdata_2024-01.parquet

액세스 포인트를 통해 파일에 액세스할 수 있는지 확인합니다.

$ aws s3 ls s3://my-ap-alias-ext-s3alias/taxi-data/
2024-01-23 02:18:13   49961641 yellow_tripdata_2024-01.parquet

2단계:에서 데이터베이스 생성 AWS Glue Data Catalog

에서 테이블 메타데이터 AWS Glue Data Catalog 를 보관할 데이터베이스를 생성합니다. AWS Glue 콘솔, Athena 쿼리 편집기 또는를 사용하여 데이터베이스를 생성할 수 있습니다 AWS CLI.

AWS Glue console

Athena 쿼리 편집기 또는 AWS CLI

$ aws athena start-query-execution \
    --query-string "CREATE DATABASE IF NOT EXISTS fsxn_taxi_demo" \
    --work-group primary

3단계:에 데이터 등록 AWS Glue Data Catalog

Athena에서 AWS Glue 크롤러(권장) 또는 수동 CREATE EXTERNAL TABLE 문을 사용하여 데이터를 등록할 수 있습니다.

옵션 A: AWS Glue 크롤러 사용(권장)

AWS Glue 크롤러는 데이터의 스키마를 자동으로 검색하고에 테이블을 생성합니다 AWS Glue Data Catalog. 크롤러가 Parquet 파일 메타데이터에서 올바른 열 유형을 유추하기 때문에 권장되는 접근 방식입니다.

옵션 B: Athena에서 수동으로 테이블 생성

데이터의 스키마를 이미 알고 있는 경우 CREATE EXTERNAL TABLE 문을 사용하여 Athena에서 직접 테이블을 생성할 수 있습니다. LOCATION 절에서 액세스 포인트 별칭을 사용합니다.

CREATE EXTERNAL TABLE fsxn_taxi_demo.yellow_taxi_trips (
    VendorID bigint,
    tpep_pickup_datetime timestamp,
    tpep_dropoff_datetime timestamp,
    passenger_count bigint,
    trip_distance double,
    RatecodeID bigint,
    store_and_fwd_flag string,
    PULocationID bigint,
    DOLocationID bigint,
    payment_type bigint,
    fare_amount double,
    extra double,
    mta_tax double,
    tip_amount double,
    tolls_amount double,
    improvement_surcharge double,
    total_amount double,
    congestion_surcharge double,
    Airport_fee double
)
STORED AS PARQUET
LOCATION 's3://my-ap-alias-ext-s3alias/taxi-data/'

4단계: 데이터 쿼리

Athena 쿼리 편집기를 열거나 AWS CLI 를 사용하여 FSx for ONTAP 데이터에 대해 SQL 쿼리를 실행합니다. 다음 예제에서는 AWS Glue 크롤러()에서 생성한 테이블을 사용합니다taxi_data. 테이블을 수동으로 생성한 경우를 taxi_data로 바꿉니다yellow_taxi_trips.

총 주행 수 계산 및 평균 계산

SELECT
    COUNT(*) AS total_trips,
    ROUND(AVG(trip_distance), 2) AS avg_distance_miles,
    ROUND(AVG(total_amount), 2) AS avg_total_usd,
    ROUND(AVG(passenger_count), 1) AS avg_passengers
FROM fsxn_taxi_demo.taxi_data

출력 예시:

가장 바쁜 픽업 시간 찾기

SELECT
    HOUR(tpep_pickup_datetime) AS pickup_hour,
    COUNT(*) AS trip_count,
    ROUND(AVG(total_amount), 2) AS avg_fare
FROM fsxn_taxi_demo.taxi_data
GROUP BY HOUR(tpep_pickup_datetime)
ORDER BY trip_count DESC
LIMIT 5

가장 높은 수익의 픽업 위치 찾기

SELECT
    PULocationID AS pickup_location,
    COUNT(*) AS trip_count,
    ROUND(SUM(total_amount), 2) AS total_revenue
FROM fsxn_taxi_demo.taxi_data
GROUP BY PULocationID
ORDER BY total_revenue DESC
LIMIT 10

고려 사항

정리

요금이 계속 부과되지 않도록 하려면이 자습서에서 생성한 리소스를 삭제합니다.