での AWS Lake Formation の使用AWS Glue - AWS Lake Formation
トランザクションテーブルタイプのサポートその他のリソース

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

での AWS Lake Formation の使用AWS Glue

データエンジニアや DevOps プロフェッショナルは、Apache Spark の抽出、変換、ロード (ETL) に AWS Glue を使用して Amazon S3 のデータセットを変換し、変換したデータを分析、機械学習、アプリケーション開発のためにデータレイクやデータウェアハウスにロードします。複数のチームが Amazon S3 の同じデータセットにアクセスする場合、それぞれのロールに基づいてアクセス許可を付与および制限することが不可欠です。

AWS Lake Formation は AWS Glue 上に構築されており、これらのサービスは以下のように相互作用します。

  • Lake Formation と AWS Glue は同じ Data Catalog を共有しています。

  • 以下の Lake Formation コンソール機能は、AWS Glue コンソールを呼び出します。

  • Lake Formation のブループリントを使用するときに生成されるワークフローは、AWS Glue ワークフローです。これらのワークフローは、Lake Formation コンソールと AWS Glue コンソールの両方で表示および管理できます。

  • Lake Formation では機械学習変換が提供されており、これらは AWS Glue API 操作上に構築されています。機械学習変換は AWS Glue コンソールで作成し、管理します。詳細については、「AWS Glue デベロッパーガイド」の「機械学習変換」を参照してください。

Lake Formation の細粒度のアクセスコントロールを使用して、既存のデータカタログリソースと Amazon S3 データロケーションを管理できます。

注記

AWS Glue 5.0 以降では、S3 でサポートされている Iceberg テーブルと Hive テーブルに対するきめ細かなアクセスコントロールがサポートされています。この機能を使用すると、AWS Glue for Apache Spark ジョブ内の読み取りクエリのテーブル、行、列、セルレベルのアクセスコントロールを設定できます。

トランザクションテーブルタイプのサポート

Lake Formation アクセス許可を適用すると、Amazon S3 ベースのデータレイク内のトランザクションデータを保護できます。次の表は、AWS Glue と Lake Formation のアクセス許可でサポートされているトランザクションテーブル形式を示しています。Lake Formation は、これらのアクセス許可を AWS Glue オペレーションに適用します。

サポートされるテーブル形式
テーブル形式 説明と許可されるオペレーション AWS Glue でサポートされている Lake Formation 許可

Apache Hudi

増分データ処理とデータパイプラインの開発を簡素化するために使用されるオープンテーブル形式。

例については、「AWS Glue で Hudi フレームワークを使用する」を参照してください。

テーブルレベルのアクセス許可は、Hudi テーブルで利用できます。

詳細については、「制限」を参照してください。

Apache Iceberg

大量のファイルのコレクションをテーブルとして管理するオープンテーブル形式。

例については、「AWS Glue で Iceberg フレームワークを使用する」を参照してください。

AWS Glue バージョン 5.0 以降では、Iceberg テーブルの AWS Glue for Apache Spark ジョブ内の読み取りクエリのテーブル、行、列、セルレベルのアクセスコントロールを設定できます。

詳細については、「制限」を参照してください。

Linux Foundation Delta Lake

Delta Lake は、一般的に Amazon S3 または File system distribuito Hadoop (HDFS) 上に構築される最新のデータレイクアーキテクチャの実装を支援するオープンソースプロジェクトです。

例については、「AWS Glue で Delta Lake フレームワークを使用する」を参照してください。

テーブルレベルのアクセス許可は、Delta Lake テーブルで利用できます。

詳細については、「制限」を参照してください。

その他のリソース

ブログ投稿とリポジトリ