データエクスポートの処理 - AWS Data Exports
Amazon Athena の設定Amazon Redshift の設定CUR 2.0 の処理するための推奨 SQL クエリ炭素排出量データのエクスポートを処理するための推奨 SQL クエリ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

データエクスポートの処理

次のセクションでは、データエクスポートの管理について説明します。

Amazon Athena の設定

コストと使用状況レポート (CUR) とは異なり、データエクスポートではエクスポートをクエリするように Athena を設定するための SQL ファイルは提供されていません。データエクスポートには CloudFormation テンプレートを使用するか (オプション 1 を参照)、Athena を手動で設定する必要があります (オプション 2 を参照)。

(オプション 1) CloudFormation テンプレートを使用する: CloudFormation テンプレートとデータエクスポートで Athena を設定する手順を見つけるには、「Cloud Intelligence Dashboards Framework のデータエクスポート」を参照してください。

（オプション 2) AWS Glue クローラを使用して Athena のテーブルとパーティションを構築する： Athena の CUR または炭素排出量データエクスポートを作成するときは、Apache Parquet ファイル形式を使用することをお勧めします。これにより、圧縮と列指向ストレージが改善され、Athena クエリのコストが小さくなります。上書き配信設定は、各月次パーティションに常に各ファイルのコピーが 1 つだけ含まれ、Amazon Athena でクエリを実行するときに重複する行項目が表示されないようにするために必要です。

また AWS 、 Glue クローラで Glue を使用して Athena にデータをロードすることをお勧めします。

Glue クローラを使用して Athena AWS のテーブルとパーティションを構築するには

  1. 次のデータエクスポート配信オプションを使用して、CUR 2.0 または炭素排出量のエクスポートを作成します。

    • 圧縮タイプとファイル形式: Parquet - Parquet

    • ファイルバージョニング: 既存のデータエクスポートファイルを上書きする

  2. Athena で、Trino SQL でノートブックエディタを使用し、作成を選択してAWS 「Glue クローラ」でテーブルを作成します。Glue クローラーワークフローを使用して、Glue クローラーを s3://<bucket-name>/<prefix>/<export-name>/data フォルダで実行するように指定し、指定されたエクスポートのすべての配信済みパーティションを Athena に自動的にロードします。

  3. Glue クローラーが完了したら、Athena を使用して、Glue クローラーによって作成されたテーブルにクエリを記述できます。

Amazon Redshift の設定

Amazon Redshift は、プロビジョンドキャパシティまたはサーバーレスモデルのいずれかでアクセスできるクラウドデータウェアハウスです。Amazon Redshift は、データエクスポートからのデータを処理するための高速なクエリパフォーマンスを提供します。

現在、データエクスポートでは、コストと使用状況レポート (CUR) のようにエクスポートをクエリするように Redshift を設定するための SQL ファイルは提供されていません。ただし、エクスポートをクエリするように Athena を手動で設定することはできます。Redshift には gzip/csv 圧縮とファイル形式を使用することをお勧めします。

Redshift のセットアップの詳細については、「Amazon Redshift 入門ガイド」を参照してください。

CUR 2.0 エクスポートデータを Amazon Athena や Amazon Redshift などのデータ分析ツールにロードした後、コストと使用状況に関するインサイトを得るためにデータを処理できます。 AWS Well-Architected Labs は、CUR の処理に使用できる CUR クエリライブラリを提供します。詳細については、「AWS CUR クエリライブラリ」を参照してください。

SQL クエリに関する次の 2 つの情報に注意してください。

  • Well-Architected Labs の SQL クエリは、データエクスポートのクエリフィールドでは動作しません。データエクスポートは、集計や、これらのクエリで使用されるその他の SQL 構文の一部をサポートしていないためです。

  • Well-Architected Labs の SQL クエリは、列の名前をデフォルト名から変更していない場合にのみ動作します。クエリによっては、ドット演算子を使用して製品列の一部を別の列としてクエリする必要がある場合があります。詳細については、「データクエリ − SQL クエリとテーブル設定」を参照してください。

炭素排出量データのエクスポートを処理するための推奨 SQL クエリ

payer_account_id あたりの総炭素排出量を取得するには：

SELECT payer_account_id, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data" -- change to your table name
GROUP BY payer_account_id
ORDER BY total_emissions DESC;

payer_account_id および product_code あたりの炭素排出量の合計を取得するには：

SELECT payer_account_id, product_code, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data"-- change to your table name
GROUP BY payer_account_id, product_code
ORDER BY total_emissions DESC;

payer_account_id および region_code あたりの総炭素排出量を取得するには：

SELECT payer_account_id, region_code, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data" -- change to your table name
GROUP BY payer_account_id, region_code
ORDER BY total_emissions DESC;