翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Amazon S3 バケットのデータを分散マップで処理する
<a name="sample-dist-map-s3data-process"></a>

このサンプルプロジェクトでは、[*分散マップ状態*](state-map-distributed.md)を使用して大規模なデータを処理する方法を示します。例えば、過去の気象データを分析し、地球上で毎月の平均気温が最も高い気象観測所を特定します。気象データは 12,000 を超える CSV ファイルに記録され、Amazon S3 バケットに保存されています。

このサンプルプロジェクトには、**[分散 S3 コピー NOA データ]** と **[ProcessNOAAData]** という名前の 2 つの*分散マップ状態*が含まれています。**[分散 S3 コピー NOA データ]** は、**[noaa-gsod-pds]** という名前のパブリック Amazon S3 バケット内の CSV ファイルを繰り返し処理し、それらを AWS アカウント の Amazon S3 バケットにコピーします。**[ProcessNOAAData]** はコピーされたファイルを繰り返し処理し、温度分析を実行する Lambda 関数を含めます。

サンプルプロジェクトでは、まず [ListObjectsV2](https://docs.aws.amazon.com/AmazonS3/latest/API/API_ListObjectsV2.html) API アクションを呼び出して Amazon S3 バケットの内容を確認します。この呼び出しに応答して返された[キー](https://docs.aws.amazon.com/AmazonS3/latest/API/API_ListObjectsV2.html#AmazonS3-ListObjectsV2-response-MaxKeys)の数に基づいて、サンプルプロジェクトでは以下のいずれかの判断を行います。
+ キー数が 1 以上の場合、プロジェクトは **[ProcessNOAAData]** ステートに移行します。*この分散マップ状態*には、毎月の平均気温が最も高い気象観測所を検索する **[TemperatureFunction]** という名前の Lambda 関数が含まれています。この関数は、キーとして `year-month` を含む辞書と、値として気象観測所に関する情報を含む辞書を返します。
+ 返されるキー数が 1 を超えない場合、**[Distributed S3 コピーの NOA データ]** ステートにはパブリックバケット **[noaa-gsod-pds]** のすべてのオブジェクトが一覧表示され、個々のオブジェクトはアカウント内の別のバケットに 100 件ずつ繰り返しコピーされます。[インラインマップ](state-map-inline.md)はオブジェクトの反復コピーを実行します。

  すべてのオブジェクトがコピーされると、プロジェクトは **[ProcessNOAAData]** ステートに移行して気象データを処理します。

サンプルプロジェクトは最終的にリデューサー Lambda 関数に移行します。リデューサー関数は **[TemperatureFunction]** 関数によって返された結果を最終的に集計し、結果を Amazon DynamoDB テーブルに書き込みます。

分散マップを使用すると、同時に最大 10,000 件の子ワークフローを並列実行できます。このサンプルプロジェクトでは、**[ProcessNOAAData]** 分散マップの最大同時実行数は 3000 件に設定されており、子ワークフローの並列実行数は 3000 件に制限されています。

このサンプルプロジェクトは、ステートマシン、サポートする AWS リソースを作成し、関連する IAM アクセス許可を構成します。このサンプルプロジェクトについて調べ、分散マップを使用して大規模な並列ワークロードをオーケストレーションしたり、独自のプロジェクトの出発点として使用したりする方法について説明します。

**重要**  
このサンプルプロジェクトは米国東部 (バージニア北部) リージョン限定で利用できます。

## ステップ 1: ステートマシンを作成する
<a name="sample-dist-map-s3data-create"></a>

1. [Step Functions コンソール](https://console.aws.amazon.com/states/home?region=us-east-1#/)を開き、**[ステートマシンの作成]** を選択します。

1. **[テンプレートから作成]** を選択し、関連するスターターテンプレートを見つけます。[**次へ**] を選択して続行します。

1. テンプレートの使用方法を選択します。

   1. **デモの実行** – 読み取り専用のステートマシンを作成します。確認後、ワークフローとすべての関連リソースを作成できます。

   1. **その上に構築する** – 編集可能なワークフロー定義が提供され、内容を確認・カスタマイズし、独自のリソースでデプロイできます (関数やキューなどの関連リソースは自動的には作成**されません**)。

1. **[テンプレートの使用]** を選択して選択を続行します。
**注記**  
*アカウントにデプロイされたサービスには、Standard 料金が適用されます。*

## ステップ 2: デモステートマシンを実行する
<a name="sample-dist-map-s3data-run"></a>

**[デモの実行]** オプションを選択した場合、すべての関連リソースがデプロイされ、実行準備が整います。**[その上に構築する]** オプションを選択した場合は、プレースホルダー値の設定や、カスタムワークフローの実行に必要な追加リソースの作成が必要になることがあります。

1. **[Deploy and run]** (デプロイと実行) を選択します。

1. CloudFormation スタックがデプロイされるのを待ちます。これには最大 10 分かかることがあります。

1. **[実行を開始]** オプションが表示されたら、**[入力]** を確認し、**[実行を開始]** を選択します。

**お疲れ様でした。**  
これで、ステートマシンのデモが実行されます。**グラフビュー**でステートを選択すると、入力、出力、変数、定義、イベントを確認できます。