

# AWS Glue ETL ジョブでのデータレイクフレームワークの使用
<a name="aws-glue-programming-etl-datalake-native-frameworks"></a>

オープンソースのデータレイクフレームワークを使用するいことで、Amazon S3 上に構築されたデータレイクに保存するファイルの増分データ処理を簡素化できます。AWS Glue 3.0 以降で、以下のオープンソースデータレイクフレームワークがサポートされています。
+ Apache Hudi
+ Linux Foundation Delta Lake
+ Apache Iceberg

これらのフレームワークはネイティブにサポートされているので、Amazon S3 に保存するデータに対する読み書きが、一貫性のあるトランザクションにより実行できます。これらのフレームワークを AWS Glue ETLジョブで使用する場合にも、別のコネクタをインストールしたり、追加の構成手順を実行したりする必要はありません。

AWS Glue Data Catalog を介してデータセットを管理していれば、Spark DataFrames を使用してデータレイクテーブルを読み書きする場合に、AWS Glue メソッドを利用できます。また、Spark DataFrame API を使用して、Amazon S3 データを読み書きすることもできます。

このビデオでは、Apache Hudi、Apache Iceberg、Delta Lake の仕組みの基本について学ぶことができます。データレイクにデータを挿入、更新、削除する方法と、これらの各フレームワークの仕組みについて説明します。

[![AWS Videos](http://img.youtube.com/vi/fryfx0Zg7KA/0.jpg)](http://www.youtube.com/watch?v=fryfx0Zg7KA)


**Topics**
+ [制限](aws-glue-programming-etl-datalake-native-frameworks-limitations.md)
+ [AWS Glue での Hudi フレームワークの使用](aws-glue-programming-etl-format-hudi.md)
+ [AWS Glue での Delta Lake フレームワークの使用](aws-glue-programming-etl-format-delta-lake.md)
+ [AWS Glue での Iceberg フレームワークの使用](aws-glue-programming-etl-format-iceberg.md)