本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
与远程 Iceberg 目录的目录联合
中的目录联合允许使用 AWS Glue AWS 分析引擎直接安全地访问存储在 Amazon S3 中并在远程目录中编目的 Iceberg 表。当您访问远程表时,目录联合会同步数据目录和远程目录之间的元数据。它由各种各样的分析引擎提供支持,包括亚马逊 Redshift、亚马逊 EMR、亚马逊 Athena、Apache Spark 等第三方引擎 AWS Glue等。
目录联合用于与远程目录系统通信 AWS Glue Data Catalog 以发现表,Lake Formation 用于授权访问 Amazon S3 中的表数据。当您查询联合表时,数据目录会在查询时发现远程目录中的最新表信息,获取该表的 Amazon S3 位置、当前架构和分区信息。然后,您的分析引擎(亚马逊 Athena、Amazon Redshift、Amazon EMR)使用这些信息直接从亚马逊 S3 访问 Iceberg 数据文件。Lake Formation 通过出售存储在 Amazon S3 中的表数据的限定范围的凭证来管理对表的访问,从而允许引擎对联合表应用细粒度的权限。
目录联合的特点
使用 Lake Formation 进行管理
数据目录中的联合冰山目录是 Lake Formation 注册的资源,允许您使用 Lake Formation 授权向联合冰山目录中的冰山表授予细粒度的行、列、单元级权限。Federated Iceberg 目录和关联对象可以安全地跨 AWS 账户共享。Federated Iceberg 目录还可以与基于 Lake Formation 标签的访问控制配合使用,允许您使用标签扩展治理。
网络配置
目录联合支持使用标准 HTTPS 连接直接连接到远程目录源。当您想要保持网络隔离时,它还支持通过 Amazon VPC 进行连接;当您希望通过组织防火墙进行安全通信时,它还支持使用代理支持进行连接。