翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS Lake Formation の概要

AWS Lake Formation デベロッパーガイドへようこそ。

AWS Lake Formation は、分析と機械学習用のデータの一元管理、保護、グローバル共有に役立ちます。Lake Formation では、Amazon Simple Storage Service (Amazon S3) 上のデータレイクデータと AWS Glue Data Catalogの関連メタデータに対するきめ細かなアクセスコントロールを管理できます。

Lake Formation は、IAM 許可モデルを補強する独自の許可モデルを提供します。Lake Formation アクセス許可モデルは、リレーショナルデータベース管理システム (RDBMS) と同様のシンプルな許可の付与または取り消しメカニズムを通じて、データレイクに保存されているデータだけでなく、Amazon Redshift データウェアハウス、Amazon DynamoDB データベース、サードパーティーデータソースなどの外部データソースに保存されているデータへのきめ細かなアクセスを可能にします。Lake Formation のアクセス許可を適用するには、Amazon Athena、Amazon Quick Suite、Amazon Redshift Spectrum、Amazon EMR、AWS Glue など、AWS の複数の分析および機械学習サービスにわたって列、行、およびセルレベルのきめ細かなコントロールを使用します。

AWS Glue Data Catalog (データカタログ) の Lake Formation ハイブリッドアクセスモードでは、Amazon S3 と AWS Glue アクションの Lake Formation アクセス許可ポリシーと IAM アクセス許可ポリシーの両方を使用して、カタログ化されたデータに対する保護とアクセスを可能にします。ハイブリッドアクセスモードを使用すると、データ管理者は一度に 1 つのデータレイクのユースケースに絞って、選択的かつ段階的に Lake Formation のアクセス許可をオンボーディングできます。

Lake Formation では、複数の AWS アカウントや AWS 組織にわたってデータを内外で共有したり、データカタログメタデータおよび基盤となるデータへのきめ細かなアクセスを提供する別のアカウントの IAM プリンシパルと直接データを共有したりできます。

Lake Formation の機能

Lake Formation は、データサイロを分解し、異なるタイプの構造化および非構造化データを一元化されたリポジトリに統合するために役立ちます。まず、Amazon S3、またはリレーショナルおよび NoSQL データベース内の既存のデータストアを特定し、データをデータレイクに移動させます。その後、分析のためにデータのクロール、カタログ化、および準備を行います。次に、ユーザーが選択した分析サービス経由でのデータへのセキュアなセルフサービスアクセスをユーザーに提供します。

Lake Formation コンソールを使用して、データカタログにマルチレベルのフェデレーティッドカタログを作成し、Amazon S3 データレイクと Amazon Redshift データウェアハウス間でデータを統合できます。また、Amazon DynamoDB などの運用データベースや、Google BigQuery、MySQL などのサードパーティーデータソースからのデータを統合することもできます。データカタログは、一元化されたメタデータリポジトリを提供し、異種システム間でのデータの管理と発見を容易にします。

詳細については、「へのデータの取り込み AWS Glue Data Catalog」を参照してください。

データインジェストと管理

すでに AWS 内にあるデータベースからデータをインポートする

既存のデータベースの場所を指定し、アクセス認証情報を指定すると、Lake Formation がデータソースの内容を理解するためにデータとそのメタデータ (スキーマ) を読み取ります。その後、Lake Formation がデータを新しいデータレイクにインポートし、メタデータを中央カタログに記録します。Lake Formation を使用することで、Amazon RDS で実行されている、または Amazon EC2 でホストされている MySQL、PostgreSQL、SQL Server、MariaDB、および Oracle データベースからデータをインポートできます。データのロードは一括と増分の両方がサポートされています。

その他の外部ソースからデータをインポートする

Lake Formation は、Java Database Connectivity (JDBC) を使用した接続によるオンプレミスデータベースからのデータの移動に使用できます。コンソールでターゲットソースを特定し、アクセス認証情報を提供すると、Lake Formation がデータを読み取って、データレイクにロードします。上記以外のデータベースからデータをインポートするには、AWS Glue を使用してカスタム ETL ジョブを作成できます。

データをカタログ化してラベル付けする

AWS Glue クローラーを使用して、Amazon S3 内のデータを読み取り、データベースとテーブルのスキーマを抽出して、これらのデータを検索可能なデータカタログに保存できます。次に、Lake Formation Lake Formation のタグベースのアクセス制御 (TBAC) を使用して、データベース、テーブル、列に対するアクセス許可を管理します。Data Catalog へのテーブルの追加に関する詳細については、「でのオブジェクトの作成 AWS Glue Data Catalog」を参照してください。

セキュリティ管理

アクセスコントロールを定義して管理する

Lake Formation では、データレイク内のデータに対するアクセスコントロールを 1 か所で管理できます。データベース、テーブル、列、行、およびセルレベルでデータへのアクセスを制限するセキュリティポリシーを定義できます。これらのポリシーは、IAM ユーザーとロール、および外部のアイデンティプロバイダー経由でフェデレーションするユーザーとグループに適用されます。Amazon Redshift Spectrum、Athena、AWS Glue ETL、および Amazon EMR for Apache Spark 内にある Lake Formation によってセキュア化されたデータにアクセスするための細粒度のコントロールを使用できます。IAM ID を作成するときは常に、IAM ベストプラクティスに従うようにしてください。詳細については、「IAM ユーザーガイド」の「セキュリティベストプラクティス」を参照してください。

ハイブリッドアクセスモード

Lake Formation ハイブリッドアクセスモードでは、データカタログ内のデータベースとテーブルの Lake Formation アクセス許可を柔軟かつ選択的に有効化できます。ハイブリッドアクセスモードを使用すると、他の既存のユーザーやワークロードのアクセス許可ポリシーを中断することなく、特定のユーザーのセットに Lake Formation 許可を設定できる増分パスが導入されました。詳細については、「ハイブリッドアクセスモード」を参照してください。

監査ロギングを実装する

Lake Formation は、アクセスを監視し、一元的に定義されたポリシーへのコンプライアンスを証明するために、CloudTrail を使用した包括的な監査ログを提供します。Lake Formation を介してデータレイク内のデータを読み取る分析および機械学習サービス全体のデータアクセス履歴を監査できます。この機能により、どのユーザーまたはロールが、どのサービスを使用して、どのデータにいつアクセスしようとしたのかを確認することができます。監査ログには、CloudTrail API とコンソールを使用して他の CloudTrail ログにアクセスするのと同じ方法でアクセスできます。CloudTrail ログの詳細については、「AWS CloudTrail を使用した AWS Lake Formation API コールのロギング」を参照してください。

行およびセルレベルのセキュリティ

Lake Formation は、列と行の組み合わせに対するアクセスの制限を可能にするデータフィルターを提供します。行およびセルレベルのセキュリティを使用して、個人を特定できる情報 (PII) などの機密データを保護します。行レベルのセキュリティに関する詳細については、「Lake Formation でのデータフィルタリングとセルレベルのセキュリティ」を参照してください。

タグベースのアクセス制御

Lake Formation の属性ベースのアクセス制御を使用して、LF タグと呼ばれるカスタムラベルを作成することで、数百または数千にも及ぶデータへのアクセス許可を管理できます。LF タグを定義して、データベース、テーブル、または列にアタッチできるようになりました。次に、分析、機械学習 (ML)、および抽出、変換、ロード (ETL) サービス間で制御されたアクセスを共有して利用します。LF タグを使用すると、何千ものリソースのポリシー定義をいくつかの論理タグに置き換えることで、データガバナンスを簡単にスケールできます。Lake Formation は、このメタデータに対するテキストベースの検索機能を提供するため、ユーザーは分析する必要があるデータをすばやく見つけることができます。

属性ベースのアクセス制御

属性ベースのアクセス制御を使用して、データカタログオブジェクトへのアクセスを許可します。属性ベースのアクセス制御 (ABAC) は、属性に基づいてアクセス許可を定義する認可戦略です。AWS ではこれらの属性をタグと呼んでいます。ABAC を使用して、同じアカウント内、またはデータカタログリソース上の別のアカウント内のプリンシパルにアクセスを許可できます。一致する IAM タグまたはセッションタグのキーと値を持つすべての IAM プリンシパルがリソースにアクセスできます。これらの許可を行うには、リソースに対する付与可能なアクセス許可が必要です。

クロスアカウントアクセス

Lake Formation の許可管理機能は、一元化されたアプローチを通じて複数の AWS アカウント全体での分散型データレイクのセキュア化と管理を簡素化して、データカタログおよび Amazon S3 ロケーションに対する細粒度のアクセスコントロールを提供します。詳細については、「Lake Formation でのクロスアカウントデータ共有」を参照してください。

データカタログへのデータの取り込み

データフェデレーション機能を使用すると、データやメタデータを Amazon S3 や AWS Glue Data Catalog に移行しなくても、フェデレーティッドカタログを作成して、Amazon Redshift などのさまざまなデータソースに保存されているデータセットに対するアクセス許可を設定できます。次の方法を使用して、Lake Formation の外部データセットにデータを取り込み、アクセス許可を管理できます。

詳細については、「AWS Glue Data Catalog へのデータの取り込み」を参照してください。

Lake Formation の使用の開始

以下のセクションから開始することが推奨されます。