本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
# 在 Lake Formation 中設定開放資料表儲存格式的許可
AWS Lake Formation 支援管理*開放資料表格式 *(OTFs的存取許可，例如 [Apache Iceberg](https://iceberg.apache.org/)、[Apache Hudi](https://hudi.incubator.apache.org/) 和 [Linux 基礎 Delta Lake](https://delta.io/)。在本教學課程中，您將了解如何 AWS Glue Data Catalog 在使用 中建立 Iceberg、Hudi 和 Delta Lake 搭配符號連結[資訊](https://docs.delta.io/latest/presto-integration.html)清單表格 AWS Glue、使用 Lake Formation 設定精細許可，以及使用 Amazon Athena 查詢資料。
**注意**
AWS 分析服務不支援所有交易資料表格式。如需詳細資訊，請參閱[使用其他 AWS 服務](working-with-services.md)。本教學課程僅涵蓋使用 AWS Glue 任務在 Data Catalog 中手動建立新的資料庫和資料表。
本教學課程包含用於快速設定的 AWS CloudFormation 範本。您可以檢閱並自訂它，以符合您的需求。
**Topics**
+ [目標對象](#tut-otf-roles)
+ [先決條件](#tut-otf-prereqs)
+ [步驟 1：佈建您的 資源](#set-up-otf-resources)
+ [步驟 2：設定 Iceberg 資料表的許可](#set-up-iceberg-table)
+ [步驟 3：設定 Hudi 資料表的許可](#set-up-hudi-table)
+ [步驟 4：設定 Delta Lake 資料表的許可](#set-up-delta-table)
+ [步驟 5：清除 AWS 資源](#otf-tut-clean-up)
## 目標對象
本教學課程適用於 IAM 管理員、資料湖管理員和業務分析師。下表列出本教學課程中用於使用 Lake Formation 建立受管資料表的角色。
| Role | Description |
| --- | --- |
| IAM 管理員 | 可建立 IAM 使用者和角色以及 Amazon S3 儲存貯體的使用者。具有 AdministratorAccess AWS 受管政策。 |
| 資料湖管理員 | 可以存取 Data Catalog、建立資料庫，以及將 Lake Formation 許可授予其他使用者的使用者。IAM 許可少於 IAM 管理員，但足以管理資料湖。 |
| 業務分析師 | 可對資料湖執行查詢的使用者。具有執行查詢的許可。 |
## 先決條件
開始本教學課程之前，您必須擁有 AWS 帳戶 可以具有正確許可之使用者身分登入的 。如需詳細資訊，請參閱[註冊 AWS 帳戶](getting-started-setup.md#sign-up-for-aws)及[建立具有管理存取權的使用者](getting-started-setup.md#create-an-admin)。
本教學課程假設您熟悉 IAM 角色和政策。如需 IAM 的相關資訊，請參閱 [IAM 使用者指南](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html)。
您需要設定下列 AWS 資源才能完成本教學課程：
+ Data Lake 管理員使用者
+ Lake Formation 資料湖設定
+ Amazon Athena 引擎版本 3
**建立資料湖管理員**
1. 以管理員使用者身分登入 Lake Formation 主控台，網址為 https：//[https://console.aws.amazon.com/lakeformation/](https://console.aws.amazon.com/lakeformation/)。您將在美國東部 （維吉尼亞北部） 區域中建立本教學課程的資源。
1. 在 Lake Formation 主控台的導覽窗格中的**許可**下，選擇**管理角色和任務**。
1. 選取資料湖**管理員下的選擇**管理員。 ****
1. 在快顯視窗中，**管理資料湖管理員**，在 **IAM 使用者和角色**下，選擇 **IAM 管理員使用者**。
1. 選擇**儲存**。
**啟用資料湖設定**
1. 開啟 Lake Formation 主控台，網址為 [https://console.aws.amazon.com/lakeformation/](https://console.aws.amazon.com/lakeformation/)。在導覽窗格中的資料**目錄**下，選擇**設定**。取消核取下列項目：
+ 僅對新資料庫使用 IAM 存取控制。
+ 僅對新資料庫中的新資料表使用 IAM 存取控制。
1. 在**跨帳戶版本設定**下，選擇**第 3** 版做為跨帳戶版本。
1. 選擇**儲存**。
**將 Amazon Athena 引擎升級至第 3 版**
1. 在 https：//[https://console.aws.amazon.com/athena/](https://console.aws.amazon.com/athena/home) 開啟 Athena 主控台。
1. 選取**工作群組**，然後選取主要工作群組。
1. 確定工作群組的最小版本為 3。如果不是，請編輯工作群組，選擇**手動****升級查詢引擎**，然後選取第 3 版。
1. 選擇**儲存變更**。
## 步驟 1：佈建您的 資源
本節說明如何使用 CloudFormation 範本設定 AWS 資源。
**使用 CloudFormation 範本建立您的 資源**
1. 以美國東部 （維吉尼亞北部） 區域的 IAM 管理員身分登入 AWS CloudFormation 主控台，網址為 [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/)：//。
1. 選擇[啟動堆疊](https://us-east-1.console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/new?templateURL=https://lf-public.s3.amazonaws.com/cfn/lfotfsetup.template)。
1. 在**建立堆疊**畫面上選擇**下一步**。
1. 輸入**堆疊名稱**。
1. 選擇**下一步**。
1. 在下一頁中，選擇**下一步**。
1. 檢閱最終頁面上的詳細資訊，然後選取**我確認 AWS CloudFormation 可能會建立 IAM 資源。**
1. 選擇**建立**。
堆疊建立最多可能需要兩分鐘。
啟動雲端形成堆疊會建立下列資源：
+ lf-otf-datalake-123456789012 – 存放資料的 Amazon S3 儲存貯體
**注意**
附加至 Amazon S3 儲存貯體名稱的帳戶 ID 會取代為您的帳戶 ID。
+ lf-otf-tutorial-123456789012 – Amazon S3 儲存貯體，用於存放查詢結果和 AWS Glue 任務指令碼
+ lficebergdb – AWS Glue Iceberg 資料庫
+ lfhudidb – AWS Glue Hudi 資料庫
+ lfdeltadb – AWS Glue Delta 資料庫
+ native-iceberg-create – 在 Data Catalog 中建立 Iceberg 資料表 AWS Glue 的任務
+ native-hudi-create – 在 Data Catalog 中建立 Hudi 資料表 AWS Glue 的任務
+ native-delta-create – 在 Data Catalog 中建立 Delta 資料表 AWS Glue 的任務
+ LF-OTF-GlueServiceRole – 您傳遞給 AWS Glue 以執行任務的 IAM 角色。此角色已連接必要的政策，以存取 Data Catalog、Amazon S3 儲存貯體等資源。
+ LF-OTF-RegisterRole – 向 Lake Formation 註冊 Amazon S3 位置的 IAM 角色。此角色已`LF-Data-Lake-Storage-Policy`連接至角色。
+ lf-consumer-analystuser – 使用 Athena 查詢資料的 IAM 使用者
+ lf-consumer-analystuser-credentials – 存放在 的資料分析師使用者密碼 AWS Secrets Manager
堆疊建立完成後，導覽至輸出索引標籤並記下下列項目的值：
+ AthenaQueryResultLocation – Athena 查詢輸出的 Amazon S3 位置
+ BusinessAnalystUserCredentials – 資料分析師使用者的密碼
若要擷取密碼值：
1. 導覽至 Secrets Manager 主控台以選擇`lf-consumer-analystuser-credentials`值。
1. 在 **Secret value (秘密值)** 區段，選擇 **Retrieve secret value (擷取秘密值)**。
1. 記下密碼的秘密值。
## 步驟 2：設定 Iceberg 資料表的許可
在本節中，您將了解如何在 中建立 Iceberg 資料表 AWS Glue Data Catalog、在 中設定資料許可 AWS Lake Formation，以及使用 Amazon Athena 查詢資料。
**若要建立 Iceberg 資料表**
在此步驟中，您將執行在 Data Catalog 中建立 Iceberg 交易資料表 AWS Glue 的任務。
1. 以資料湖管理員使用者身分在美國東部 （維吉尼亞北部） 的 [https://console.aws.amazon.com/glue/](https://console.aws.amazon.com/glue/) 開啟AWS Glue主控台。
1. 從左側導覽窗格中選擇**任務**。
1. 選取 `native-iceberg-create`。
1. 在**動作**下，選擇**編輯任務**。
1. 在**任務詳細資訊**下，展開**進階屬性**，並勾選**使用 AWS Glue Data Catalog 做為 Hive 中繼存放區**，以在 中新增資料表中繼資料旁的方塊 AWS Glue Data Catalog。這會指定 AWS Glue Data Catalog 做為任務中所用 Data Catalog 資源的中繼存放區，並讓 Lake Formation 許可稍後套用至目錄資源。
1. 選擇**儲存**。
1. 選擇**執行**。您可以在任務執行時檢視任務的狀態。
如需 AWS Glue 任務的詳細資訊，請參閱《 *AWS Glue 開發人員指南*》中的[在 AWS Glue 主控台上使用任務](https://docs.aws.amazon.com/glue/latest/dg/console-jobs.html)。
此任務會在`lficebergdb`資料庫中建立名為 `product`的 Iceberg 資料表。在 Lake Formation 主控台中驗證產品資料表。
**向 Lake Formation 註冊資料位置**
接著，將 Amazon S3 路徑註冊為資料湖的位置。
1. 以資料湖管理員使用者身分開啟位於 https：//[https://console.aws.amazon.com/lakeformation/](https://console.aws.amazon.com/lakeformation/) 的 Lake Formation 主控台。
1. 在導覽窗格的**註冊和擷取**下，選擇**資料位置**。
1. 在主控台的右上角，選擇**註冊位置**。
1. 在**註冊位置**頁面上，輸入下列內容：
+ **Amazon S3 路徑** – 選擇**瀏覽**並選取 `lf-otf-datalake-123456789012`。按一下 Amazon S3 根位置旁的向右箭頭 (＞) 以導覽至`s3/buckets/lf-otf-datalake-123456789012/transactionaldata/native-iceberg`位置。
+ **IAM 角色** – 選擇 `LF-OTF-RegisterRole`作為 IAM 角色。
+ 選擇**註冊位置**。
如需向 Lake Formation 註冊資料位置的詳細資訊，請參閱 [將 Amazon S3 位置新增至您的資料湖](register-data-lake.md)。
**在 Iceberg 資料表上授予 Lake Formation 許可**
在此步驟中，我們會將資料湖許可授予商業分析師使用者。
1. 在**資料湖許可**下，選擇**授予**。
1. 在**授予資料許可**畫面上，選擇 **IAM 使用者和角色**。
1. `lf-consumer-analystuser` 從下拉式清單中選擇。
1. 選擇**具名資料目錄資源**。
1. 針對**資料庫**選擇 `lficebergdb`。
1. 針對**資料表**，選擇 `product`。
1. 接下來，您可以透過指定資料欄來授予資料欄型存取。
1. 在**資料表許可**下，選擇**選取**。
1. 在**資料許可**下，選擇資料**欄型存取**，選擇**包含資料欄**。
1. 選擇 `product_name`、 `price`和 `category`欄。
1. 選擇 **Grant** (授予)。
**使用 Athena 查詢 Iceberg 資料表**
現在您可以開始查詢您使用 Athena 建立的 Iceberg 資料表。如果您是第一次在 Athena 中執行查詢，則需要設定查詢結果位置。如需詳細資訊，請參閱[指定查詢結果位置](https://docs.aws.amazon.com/athena/latest/ug/querying.html#query-results-specify-location)。
1. 以資料湖管理員使用者身分登出，並使用先前從 CloudFormation 輸出記下的密碼`lf-consumer-analystuser`，以美國東部 （維吉尼亞北部） 區域中的 身分登入。
1. 前往 [https://console.aws.amazon.com/athena/](https://console.aws.amazon.com/athena/home) 開啟 Athena 主控台。
1. 選擇**設定**，然後選取**管理**。
1. 在**查詢結果的位置**方塊中，輸入您在 CloudFormation 輸出中建立之儲存貯體的路徑。複製 `AthenaQueryResultLocation`(s3：//lf-otf-tutorial-123456789012/athena-results/) 的值，然後選擇**儲存**。
1. 執行下列查詢以預覽存放在 Iceberg 資料表中的 10 筆記錄：
```
select * from lficebergdb.product limit 10;
```
如需使用 Athena 查詢 Iceberg 資料表的詳細資訊，請參閱《*Amazon Athena 使用者指南*》中的[查詢 Iceberg 資料表](https://docs.aws.amazon.com/athena/latest/ug/querying-iceberg-table-data.html)。
## 步驟 3：設定 Hudi 資料表的許可
在本節中，您將了解如何在 中建立 Hudi 資料表 AWS Glue Data Catalog、在 中設定資料許可 AWS Lake Formation，以及使用 Amazon Athena 查詢資料。
**建立 Hudi 資料表**
在此步驟中，您將執行在 Data Catalog 中建立 Hudi 交易資料表 AWS Glue 的任務。
1. 在美國東部 （維吉尼亞北部） 區域登入 AWS Glue主控台，網址為 https：//[https://console.aws.amazon.com/glue/](https://console.aws.amazon.com/glue/)
作為資料湖管理員使用者。
1. 從左側導覽窗格中選擇**任務**。
1. 選取 `native-hudi-create`。
1. 在**動作**下，選擇**編輯任務**。
1. 在**任務詳細資訊**下，展開**進階屬性**，並勾選**使用 AWS Glue Data Catalog 做為 Hive 中繼存放區**，以在 中新增資料表中繼資料旁的方塊 AWS Glue Data Catalog。這會指定 AWS Glue Data Catalog 做為任務中所用 Data Catalog 資源的中繼存放區，並讓 Lake Formation 許可稍後套用至目錄資源。
1. 選擇**儲存**。
1. 選擇**執行**。您可以在任務執行時檢視任務的狀態。
如需 AWS Glue 任務的詳細資訊，請參閱《 *AWS Glue 開發人員指南*》中的[在 AWS Glue 主控台上使用任務](https://docs.aws.amazon.com/glue/latest/dg/console-jobs.html)。
此任務會在 database：lfhudidb 中建立 Hudi(cow) 資料表。在 Lake Formation 主控台中驗證`product`資料表。
**向 Lake Formation 註冊資料位置**
接著，將 Amazon S3 路徑註冊為資料湖的根位置。
1. 以資料湖管理員使用者身分登入 Lake Formation 主控台，網址為 https：//[https://console.aws.amazon.com/lakeformation/](https://console.aws.amazon.com/lakeformation/)。
1. 在導覽窗格的**註冊和擷取**下，選擇**資料位置**。
1. 在主控台的右上角，選擇**註冊位置**。
1. 在**註冊位置**頁面上，輸入下列內容：
+ **Amazon S3 路徑** – 選擇**瀏覽**並選取 `lf-otf-datalake-123456789012`。按一下 Amazon S3 根位置旁的向右箭頭 (＞) 以導覽至`s3/buckets/lf-otf-datalake-123456789012/transactionaldata/native-hudi`位置。
+ **IAM 角色** – 選擇 `LF-OTF-RegisterRole`作為 IAM 角色。
+ 選擇**註冊位置**。
**在 Hudi 資料表上授予資料湖許可**
在此步驟中，我們會將資料湖許可授予商業分析師使用者。
1. 在**資料湖許可**下，選擇**授予**。
1. 在**授予資料許可**畫面上，選擇 **IAM 使用者和角色**。
1. `lf-consumer-analystuser` 從下拉式清單。
1. 選擇**具名資料目錄資源**。
1. 針對**資料庫**選擇 `lfhudidb`。
1. 針對**資料表**，選擇 `product`。
1. 接下來，您可以透過指定資料欄來授予資料欄型存取。
1. 在**資料表許可**下，選擇**選取**。
1. 在**資料許可**下，選擇資料**欄型存取**，選擇**包含資料欄**。
1. 選擇 `product_name`、 `price`和 `category`欄。
1. 選擇 **Grant** (授予)。
**使用 Athena 查詢 Hudi 資料表**
現在開始查詢您使用 Athena 建立的 Hudi 資料表。如果您是第一次在 Athena 中執行查詢，則需要設定查詢結果位置。如需詳細資訊，請參閱[指定查詢結果位置](https://docs.aws.amazon.com/athena/latest/ug/querying.html#query-results-specify-location)。
1. 以資料湖管理員使用者身分登出，並使用先前從 CloudFormation 輸出記下的密碼`lf-consumer-analystuser`，以美國東部 （維吉尼亞北部） 區域中的 身分登入。
1. 前往 [https://console.aws.amazon.com/athena/](https://console.aws.amazon.com/athena/home) 開啟 Athena 主控台。
1. 選擇**設定**，然後選取**管理**。
1. 在**查詢結果的位置**方塊中，輸入您在 CloudFormation 輸出中建立之儲存貯體的路徑。複製 `AthenaQueryResultLocation`(s3：//lf-otf-tutorial-123456789012/athena-results/) 和**儲存**的值。
1. 執行下列查詢以預覽存放在 Hudi 資料表中的 10 筆記錄：
```
select * from lfhudidb.product limit 10;
```
如需查詢 Hudi 資料表的詳細資訊，請參閱《*Amazon Athena 使用者指南*》中的[查詢 Hudi 資料表](https://docs.aws.amazon.com/athena/latest/ug/querying-hudi.html)一節。
## 步驟 4：設定 Delta Lake 資料表的許可
在本節中，您將了解如何在 中建立具有符號連結資訊清單檔案的 Delta Lake 資料表 AWS Glue Data Catalog、在 中設定資料許可， AWS Lake Formation 以及使用 Amazon Athena 查詢資料。
**建立 Delta Lake 資料表**
在此步驟中，您將執行在 Data Catalog 中建立 Delta Lake 交易資料表 AWS Glue 的任務。
1. 在美國東部 （維吉尼亞北部） 區域登入 AWS Glue主控台，網址為 https：//[https://console.aws.amazon.com/glue/](https://console.aws.amazon.com/glue/)
作為資料湖管理員使用者。
1. 從左側導覽窗格中選擇**任務**。
1. 選取 `native-delta-create`。
1. 在**動作**下，選擇**編輯任務**。
1. 在**任務詳細資訊**下，展開**進階屬性**，並勾選**使用 AWS Glue Data Catalog 做為 Hive 中繼存放區**，以在 中新增資料表中繼資料旁的方塊 AWS Glue Data Catalog。這會指定 AWS Glue Data Catalog 做為任務中所用 Data Catalog 資源的中繼存放區，並讓 Lake Formation 許可稍後套用至目錄資源。
1. 選擇**儲存**。
1. 在**動作**下選擇**執行**。
此任務會在`lfdeltadb`資料庫中建立名為 `product`的 Delta Lake 資料表。在 Lake Formation 主控台中驗證`product`資料表。
**向 Lake Formation 註冊資料位置**
接著，將 Amazon S3 路徑註冊為資料湖的根位置。
1. 開啟 Lake Formation 主控台，網址為 https：//[https://console.aws.amazon.com/lakeformation/](https://console.aws.amazon.com/lakeformation/)。
1. 在導覽窗格的**註冊和擷取**下，選擇**資料位置**。
1. 在主控台的右上角，選擇**註冊位置**。
1. 在**註冊位置**頁面上，輸入下列內容：
+ **Amazon S3 路徑** – 選擇**瀏覽**並選取 `lf-otf-datalake-123456789012`。按一下 Amazon S3 根位置旁的向右箭頭 (＞) 以導覽至`s3/buckets/lf-otf-datalake-123456789012/transactionaldata/native-delta`位置。
+ **IAM 角色** – 選擇 `LF-OTF-RegisterRole`作為 IAM 角色。
+ 選擇**註冊位置**。
**在 Delta Lake 資料表上授予資料湖許可**
在此步驟中，我們會將資料湖許可授予商業分析師使用者。
1. 在**資料湖許可**下，選擇**授予**。
1. 在**授予資料許可**畫面上，選擇 **IAM 使用者和角色**。
1. `lf-consumer-analystuser` 從下拉式清單。
1. 選擇**具名資料目錄資源**。
1. 針對**資料庫**選擇 `lfdeltadb`。
1. 針對**資料表**，選擇 `product`。
1. 接下來，您可以透過指定資料欄來授予資料欄型存取。
1. 在**資料表許可**下，選擇**選取**。
1. 在**資料許可**下，選擇資料**欄型存取**，選擇**包含資料欄**。
1. 選擇 `product_name`、 `price`和 `category`欄。
1. 選擇 **Grant** (授予)。
**使用 Athena 查詢 Delta Lake 資料表**
現在開始查詢您使用 Athena 建立的 Delta Lake 資料表。如果您是第一次在 Athena 中執行查詢，則需要設定查詢結果位置。如需詳細資訊，請參閱[指定查詢結果位置](https://docs.aws.amazon.com/athena/latest/ug/querying.html#query-results-specify-location)。
1. 以資料湖管理員使用者身分登出，並使用先前從 CloudFormation 輸出記下的密碼，`BusinessAnalystUser`以美國東部 （維吉尼亞北部） 區域中的身分登入。
1. 前往 [https://console.aws.amazon.com/athena/](https://console.aws.amazon.com/athena/home) 開啟 Athena 主控台。
1. 選擇**設定**，然後選取**管理**。
1. 在**查詢結果的位置**方塊中，輸入您在 CloudFormation 輸出中建立之儲存貯體的路徑。複製 `AthenaQueryResultLocation`(s3：//lf-otf-tutorial-123456789012/athena-results/) 和**儲存**的值。
1. 執行下列查詢以預覽存放在 Delta Lake 資料表中的 10 筆記錄：
```
select * from lfdeltadb.product limit 10;
```
如需查詢 Delta Lake 資料表的詳細資訊，請參閱《*Amazon Athena 使用者指南*》中的[查詢 Delta Lake 資料表](https://docs.aws.amazon.com/athena/latest/ug/delta-lake-tables.html)一節。
## 步驟 5：清除 AWS 資源
**清理資源**
若要避免您的 產生不必要的費用 AWS 帳戶，請刪除您用於本教學課程 AWS 的資源。
1. 以 IAM 管理員身分登入 CloudFormation 主控台，網址為 [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/)：//。
1. [刪除雲端形成堆疊](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-console-delete-stack.html)。您建立的資料表會自動與堆疊一起刪除。