使用其他AWS服务 - AWS Lake Formation

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用其他AWS服务

Amazon Athena、AWS Glue、Amazon Redshift Spectrum 和 Amazon EMR 等 AWS 服务可以使用 AWS Lake Formation 安全地访问在 Lake Formation 中注册的 Amazon S3 位置中的数据。使用 Lake Formation,您可以为 AWS Glue Data Catalog 中的表定义和管理细粒度访问控制(FGAC)权限。这些 AWS 服务中的每一项都是 Lake Formation 的可信调用者,而 Lake Formation 通过临时凭证提供对存储在 Amazon S3 中的数据的访问权限。有关更多信息,请参阅Lake Formation 应用程序集成的工作原理

为了利用这些功能,Lake Formation 要求您首先注册 Amazon S3 位置,然后向 IAM 主体分配用于访问表、数据库和 Amazon S3 位置的相应权限。有关更多信息,请参阅管理 Lake Formation 权限

下表列出了 Amazon Athena、AWS Glue、Amazon EMR 和 Amazon Redshift Spectrum 支持的 Lake Formation 权限类型,这些权限用于访问标准表和事务表(Apache IcebergApache HudiLinux Foundation Delta Lake)中的数据,数据存储在 Amazon S3 中,表元数据存储在数据目录中。

AWS 服务以及 AWS Glue 标准表和视图支持的权限类型
AWS 服务 表级别权限 列级别权限 行和单元格级别权限
Athena SQL

读/写入权限

读取访问权限 读取访问权限
Athena Spark

不支持

不支持

不支持

预置集群上的 Redshift Spectrum 或 Amazon Redshift Serverless

读/写入权限 读取访问权限 读取访问权限

Apache Spark on Amazon EMR(EC2)

读/写入权限 读取访问权限 读取访问权限
Apache Hive on Amazon EMR(EC2) 读/写入权限 读取访问权限 不支持
Apache Spark on EMR Serverless 读/写入权限 读取访问权限 读取访问权限
Apache Hive on EMR Serverless 不支持 不支持 不支持
Amazon EMR on EKS 不支持 不支持 不支持
AWS Glue ETL 读/写入权限 AWS Glue 5.0 或更高版本支持读取权限。 AWS Glue 5.0 或更高版本支持读取权限。
注意事项和限制
  • Athena Spark 不支持使用 Lake Formation 权限查询数据目录表。

  • 基于 Athena SAML 的用户可以通过启用基于 SAML 2.0 的联合身份验证,来读取使用 Lake Formation 权限保护的数据来源。SAML 用户可以将数据插入到 Parquet 表中。

  • Apache Spark on EMR Serverless 不支持查询数据目录视图。

  • Apache Hive on EMR Serverless 不支持使用 Lake Formation 权限查询表。

  • AWS Glue 5.0 或更高版本支持对 Data Catalog 中由 S3 支持的 Iceberg 和 Hive 表实施精细访问控制。借助此功能,您可以为 AWS Glue for Apache Spark 作业中的读取查询配置表、行、列和单元格级别的访问控制。

    有关更多信息,请参阅 AWS Glue版本

AWS 服务以及事务表格式支持的权限类型
AWS 服务 Iceberg Hudi Delta Lake(原生) Delta Lake(符号链接表)

Athena SQL

支持使用表、列、行和单元格级别权限读取表。写入操作需要完整表访问权限。

支持使用表、列、行和单元格级权限对表进行读取和创建操作。不支持写入操作。

Athena(引擎版本 3)支持使用表、列、行和单元格级别权限读取 Delta Lake 原生表。不支持写入操作。

Athena(引擎版本 3)支持使用表、列、行和单元格级别权限读取 Delta Lake 符号链接表。不支持写入操作。

预置集群上的 Redshift Spectrum

支持使用表、列、行和单元格级别权限读取表。不支持写入操作。

支持使用表、列、行和单元格级别权限读取表。不支持写入操作。

不支持 支持使用表、列、行和单元格级别权限通过符号链接清单读取 Delta Lake 表。不支持写入操作。
Apache Spark on Amazon EMR(EC2) 支持使用表、列、行和单元格级别权限读取表。写入操作需要完整表访问权限。 支持使用表、列、行和单元格级别权限读取表。写入操作需要完整表访问权限。

支持使用表、列、行和单元格级别权限读取表。不支持写入操作。

支持使用表、列、行和单元格级别权限读取表。写入操作需要完整表访问权限。
AWS Glue ETL AWS Glue 5.0 或更高版本支持使用表、列、行和单元格级别权限读取表。 支持使用表级权限读/写表。 支持使用表级权限读/写表。 支持使用表级权限读/写表。