使用 EMR Serverless 搭配 AWS Lake Formation 進行精細存取控制 - Amazon EMR
概觀運作方式啟用 Lake Formation啟用執行時期許可設定執行時期許可提交任務執行受支援的操作

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 EMR Serverless 搭配 AWS Lake Formation 進行精細存取控制

概觀

使用 Amazon EMR 7.2.0 版和更新版本，利用 AWS Lake Formation 對 S3 支援的 Data Catalog 資料表套用精細存取控制。此功能可讓您設定 Amazon EMR Serverless Spark 任務中read查詢的資料表、資料列、資料欄和儲存格層級存取控制。若要設定 Apache Spark 批次任務和互動式工作階段的精細存取控制，請使用 EMR Studio。請參閱下列各節，進一步了解 Lake Formation 以及如何搭配 EMR Serverless 使用。

搭配 使用 Amazon EMR Serverless AWS Lake Formation 會產生額外費用。如需詳細資訊，請參閱 Amazon EMR 定價。

EMR Serverless 如何使用 AWS Lake Formation

搭配 Lake Formation 使用 EMR Serverless 可讓您對每個 Spark 任務強制執行一層許可，以在 EMR Serverless 執行任務時套用 Lake Formation 許可控制。EMR Serverless 使用 Spark 資源描述檔來建立兩個描述檔，以有效地執行任務。使用者設定檔會執行使用者提供的程式碼，而系統設定檔則會強制執行 Lake Formation 政策。如需詳細資訊，請參閱什麼是 AWS Lake Formation 以及考量和限制。

當您搭配 Lake Formation 使用預先初始化的容量時，我們建議您至少有兩個 Spark 驅動程式。每個啟用 Lake Formation 的任務都會使用兩個 Spark 驅動程式，一個用於使用者設定檔，另一個用於系統設定檔。為了獲得最佳效能，如果您不使用 Lake Formation，請使用啟用 Lake Formation 之任務的驅動程式數量的兩倍。

當您在 EMR Serverless 上執行 Spark 任務時，也請考慮動態配置對資源管理和叢集效能的影響。每個資源設定檔的執行器數目spark.dynamicAllocation.maxExecutors上限組態適用於使用者和系統執行器。如果您將該數目設定為等於允許的執行器數量上限，您的任務執行可能會因為使用所有可用資源的一種執行器類型而停滯，這會在您執行任務時防止其他執行器。

因此，您不會耗盡資源，EMR Serverless 會將每個資源設定檔的預設執行器數目上限設定為 spark.dynamicAllocation.maxExecutors值的 90%。當您spark.dynamicAllocation.maxExecutorsRatio以 0 到 1 之間的值指定 時，您可以覆寫此組態。此外，也請設定下列屬性，以最佳化資源配置和整體效能：

  • spark.dynamicAllocation.cachedExecutorIdleTimeout

  • spark.dynamicAllocation.shuffleTracking.timeout

  • spark.cleaner.periodicGC.interval

以下是 EMR Serverless 如何存取 Lake Formation 安全政策所保護資料的高階概觀。

Amazon EMR 如何存取受 Lake Formation 安全政策保護的資料。

  1. 使用者將 Spark 任務提交至 AWS Lake Formation已啟用 EMR Serverless 應用程式。

  2. EMR Serverless 會將任務傳送給使用者驅動程式，並在使用者設定檔中執行任務。使用者驅動程式會執行 Spark 的精簡版本，該版本無法啟動任務、請求執行器、存取 S3 或 Glue Catalog。其會建置任務計畫。

  3. EMR Serverless 會設定第二個名為系統驅動程式的驅動程式，並在系統設定檔中執行它 （具有特殊權限身分）。EMR Serverless 會在兩個驅動程式之間設定加密的 TLS 頻道以進行通訊。使用者驅動程式使用該頻道將任務計劃傳送至系統驅動程式。系統驅動程式不會執行使用者提交的程式碼。其會執行完整的 Spark，並與 S3 和 Data Catalog 通訊以進行資料存取。其會請求執行器，並將任務計畫編譯成一系列的執行階段。

  4. 然後，EMR Serverless 會使用使用者驅動程式或系統驅動程式在執行器上執行階段。任何階段的使用者程式碼只會在使用者設定檔執行器上執行。

  5. 從受 保護的資料目錄資料表 AWS Lake Formation 或套用安全篩選條件的資料表讀取資料的階段，會委派給系統執行器。

在 Amazon EMR 中啟用 Lake Formation

若要啟用 Lake Formation，請在建立 EMR Serverless 應用程式時，將 Runtime-configuration 參數的spark-defaults分類spark.emr-serverless.lakeformation.enabled設為 true 。

aws emr-serverless create-application \
    --release-label emr-7.10.0 \
    --runtime-configuration '{
     "classification": "spark-defaults", 
     "properties": {
      "spark.emr-serverless.lakeformation.enabled": "true"
      }
    }' \
    --type "SPARK"

您也可以在 EMR Studio 中建立新應用程式時啟用 Lake Formation。選擇使用 Lake Formation 進行精細存取控制，可在其他組態下使用。

使用 Lake Formation 搭配 EMR Serverless 時，預設會啟用工作者間加密，因此您不需要再次明確啟用工作者間加密。

為 Spark 任務啟用 Lake Formation

若要為個別 Spark 任務啟用 Lake Formation，請在使用 時spark.emr-serverless.lakeformation.enabled將 設定為 truespark-submit。

--conf spark.emr-serverless.lakeformation.enabled=true

任務執行時期角色 IAM 許可

Lake Formation 許可控制對 AWS Glue Data Catalog 資源、Amazon S3 位置和這些位置基礎資料的存取。IAM 許可可控制對 Lake Formation 和 AWS Glue API 和資源的存取。雖然您可能具有 Lake Formation 許可來存取 Data Catalog (SELECT) 中的資料表，但是如果您沒有 glue:Get* API 操作的 IAM 許可，您的操作會失敗。

以下範例政策說明如何提供 IAM 許可來存取 S3 中的指令碼 (將日誌上傳至 S3)、 AWS Glue API 許可以及用於存取 Lake Formation 的許可。

JSON
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "ScriptAccess",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::*.amzn-s3-demo-bucket/scripts",
        "arn:aws:s3:::*.amzn-s3-demo-bucket/*"
      ]
    },
    {
      "Sid": "LoggingAccess",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/logs/*"
      ]
    },
    {
      "Sid": "GlueCatalogAccess",
      "Effect": "Allow",
      "Action": [
        "glue:Get*",
        "glue:Create*",
        "glue:Update*"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Sid": "LakeFormationAccess",
      "Effect": "Allow",
      "Action": [
        "lakeformation:GetDataAccess"
      ],
      "Resource": [
        "*"
      ]
    }
  ]
}

設定任務執行時期角色的 Lake Formation 許可

首先，向 Lake Formation 註冊 Hive 資料表的位置。然後在所需的資料表上建立任務執行時期角色的許可。如需 Lake Formation 的詳細資訊，請參閱《 AWS Lake Formation 開發人員指南》中的什麼是 AWS Lake Formation？。

設定 Lake Formation 許可後，請在 Amazon EMR Serverless 上提交 Spark 任務。如需 Spark 任務的詳細資訊，請參閱 Spark 範例。

提交任務執行

完成 Lake Formation 授予的設定後，您可以在 EMR Serverless 上提交 Spark 任務。以下章節顯示如何設定和提交任務執行屬性的範例。

支援開放式資料表格式

EMR Serverless 支援 Apache Hive、Apache Iceberg 和截至 7.6.0 版的 Delta Lake 和 Apache Hudi。如需操作支援的相關資訊，請參閱下列索引標籤。

Hive
作業 備註
讀取操作 完全支援
增量查詢 不適用
時間歷程查詢 不適用於此資料表格式
DML INSERT 僅具有 IAM 許可
DML UPDATE 不適用於此資料表格式
DML DELETE 不適用於此資料表格式
DDL 命令 僅具有 IAM 許可
中繼資料表 不適用於此資料表格式
預存程序 不適用
資料表維護和公用程式功能 不適用
Iceberg
作業 備註
讀取操作 完全支援
增量查詢 完全支援
時間歷程查詢 完全支援
DML INSERT 僅具有 IAM 許可
DML UPDATE 僅具有 IAM 許可
DML DELETE 僅具有 IAM 許可
DDL 命令 僅具有 IAM 許可
中繼資料表 支援，但會隱藏某些資料表。如需詳細資訊，請參閱考量事項和限制。
預存程序 支援 ，但 register_table 和 migrate 例外。如需詳細資訊，請參閱考量事項和限制。
資料表維護和公用程式功能 不適用

Iceberg 的 Spark 組態：以下範例示範如何使用 Iceberg 設定 Spark。若要執行 Iceberg 任務，請提供下列spark-submit屬性。

--conf spark.sql.catalog.spark_catalog=org.apache.iceberg.spark.SparkSessionCatalog
--conf spark.sql.catalog.spark_catalog.warehouse=<S3_DATA_LOCATION>
--conf spark.sql.catalog.spark_catalog.glue.account-id=<ACCOUNT_ID>
--conf spark.sql.catalog.spark_catalog.client.region=<REGION>
--conf spark.sql.catalog.spark_catalog.glue.endpoint=https://glue.<REGION>.amazonaws.com
Hudi
作業 備註
讀取操作 完全支援
增量查詢 完全支援
時間歷程查詢 完全支援
DML INSERT 僅具有 IAM 許可
DML UPDATE 僅具有 IAM 許可
DML DELETE 僅具有 IAM 許可
DDL 命令 僅具有 IAM 許可
中繼資料表 不支援
預存程序 不適用
資料表維護和公用程式功能 不支援

下列範例使用 Hudi 設定 Spark，指定檔案位置和其他使用所需的屬性。

Hudi 的 Spark 組態：此程式碼片段用於筆記本時，會指定 Hudi Spark 套件 JAR 檔案的路徑，以啟用 Spark 中的 Hudi 功能。它也會將 Spark 設定為使用 AWS Glue Data Catalog 作為中繼存放區。

%%configure -f
{
    "conf": {
        "spark.jars": "/usr/lib/hudi/hudi-spark-bundle.jar",
        "spark.hadoop.hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
        "spark.serializer": "org.apache.spark.serializer.JavaSerializer",
        "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.hudi.catalog.HoodieCatalog",
        "spark.sql.extensions": "org.apache.spark.sql.hudi.HoodieSparkSessionExtension"
    }
}

Hudi 與 Glue AWS 的 Spark 組態：此程式碼片段用於筆記本時，可讓 Hudi 成為支援的資料湖格式，並確保 Hudi 程式庫和相依性可用。

%%configure
{
    "--conf": "spark.serializer=org.apache.spark.serializer.JavaSerializer --conf 
spark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalog.HoodieCatalog --conf 
spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension",
    "--datalake-formats": "hudi",
    "--enable-glue-datacatalog": True,
    "--enable-lakeformation-fine-grained-access": "true"
}
Delta Lake
作業 備註
讀取操作 完全支援
增量查詢 完全支援
時間歷程查詢 完全支援
DML INSERT 僅具有 IAM 許可
DML UPDATE 僅具有 IAM 許可
DML DELETE 僅具有 IAM 許可
DDL 命令 僅具有 IAM 許可
中繼資料表 不支援
預存程序 不適用
資料表維護和公用程式功能 不支援

搭配 Delta Lake 的 EMR Serverless：若要在 EMR Serverless 上使用 Delta Lake 搭配 Lake Formation，請執行下列命令：

spark-sql \
  --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension,com.amazonaws.emr.recordserver.connector.spark.sql.RecordServerSQLExtension \
  --conf spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog \