AWS Glue ジョブスクリプトのローカルでの開発およびテスト

AWS Glue for Spark ジョブスクリプトを開発およびテストする場合、以下のような複数のオプションが用意されています。

ユーザーは、要件に基づいて、上記のオプションのいずれかを選択できます。

コードを記述したくない、あるいは記述する量を減らしたい場合は、AWS Glue Studio のビジュアルエディタが便利です。

ノートブックのインタラクティブな操作を希望する場合は、AWS Glue Studio ノートブックが適しています。詳細については、「AWS Glue Studio および AWS Glue ノートブックによるコードの作成」を参照してください。独自のローカル環境を使用するユーザーには、インタラクティブセッションが適しています。詳細については、「インタラクティブセッションで AWS Glue ジョブを構築する」を参照してください。

開発をローカル/リモートの両方で行いたい場合は、Docker イメージが便利です。これにより、Spark ジョブスクリプト用の AWS Glue の開発とテストを好きな場所で行うことができ、AWS Glue のコストもかかりません。

Docker を使用せずにローカルで開発したい場合は、AWS Glue ETL ライブラリディレクトリをローカルにインストールします。

AWS Glue Studio を使用した開発

AWS Glue Studio のビジュアルエディタは、AWS Glue での抽出、変換、ロード (ETL) ジョブの作成、実行、およびモニタリングを簡単に行うことができるグラフィカルなインターフェイスです。データ変換ワークフローを視覚的に作成し、それらを AWS Glue の Apache Spark ベースのサーバーレス ETL エンジン上でシームレスに実行することができます。ジョブの各ステップでスキーマとデータの結果を調べることができます。詳細については、「AWS Glue Studio ユーザーガイド」を参照してください。

インタラクティブセッションによる開発

インタラクティブセッションでは、お好みの環境からアプリケーションを構築し、そのテストが行えます。詳細については、「インタラクティブセッションで AWS Glue ジョブを構築する」を参照してください。