Amazon S3 表类数据存储服务与 AWS 分析服务集成概述
要使 AWS 分析服务可以访问您账户中的表,您可以将 Amazon S3 表存储桶与 AWS Glue Data Catalog 集成。这种集成支持 AWS 分析服务自动发现和访问您的表数据。您可以使用此集成在以下服务中处理表:
注意
此集成使用 AWS Glue 和 AWS Lake Formation 服务,可能会产生 AWS Glue 请求和存储成本。有关更多信息,请参阅 AWS Glue 定价
在 S3 表上运行查询需支付额外费用。有关更多信息,请参阅您使用的查询引擎的定价信息。
集成的工作原理
当您将 S3 表类数据存储服务与 AWS 分析服务集成时,Amazon S3 会将名为 s3tablescatalog 的目录添加到当前区域中的 AWS Glue Data Catalog。添加 s3tablescatalog 后,就可以在数据目录中填充所有表存储桶、命名空间和表。
注意
这些操作通过 Amazon S3 控制台自动完成。如果您以编程方式执行此集成,则必须手动执行这些操作。
您可以为每个 AWS 区域集成一次表存储桶。完成集成后,所有当前和将来的表存储桶、命名空间和表都将添加到该区域中的 AWS Glue Data Catalog。
下图显示了 s3tablescatalog 目录如何自动将当前区域中的表存储桶、命名空间和表填充为数据目录中的相应对象。表存储桶以子目录的形式填充。表存储桶中的命名空间以数据库的形式填充到其各自的子目录中。表以表的形式填充到各自的数据库中。
与数据目录集成后,您可以在表存储桶中创建 Apache Iceberg 表,并通过 Amazon Athena、Amazon EMR 等 AWS 分析引擎以及第三方分析引擎访问这些表。
权限的工作原理
我们建议将表存储桶与 AWS 分析服务集成,以便您可以跨使用 AWS Glue Data Catalog 作为元数据存储的服务处理表数据。启用集成后,您可以使用 AWS Identity and Access Management(IAM)权限授予对 S3 表类数据存储服务资源及其关联数据目录对象的访问权限。
请确保按照将 S3 表类数据存储服务与 AWS 分析服务集成中的步骤进行操作,以便您拥有访问 AWS Glue Data Catalog 和表资源以及使用 AWS 分析服务的相应权限。
支持的区域
S3 表类数据存储服务与 AWS 分析服务的集成在以下区域中将 AWS Glue Data Catalog 与基于 IAM 的访问控制结合使用。在所有其它区域中,集成还需要 AWS Lake Formation。
美国东部(弗吉尼亚州北部)
美国东部(俄亥俄州)
美国西部(北加利福尼亚)
美国西部(俄勒冈州)
非洲(开普敦)
亚太地区(香港)
亚太地区(台北)
亚太地区(东京)
亚太地区(首尔)
亚太地区(大阪)
亚太地区(孟买)
亚太地区(海得拉巴)
亚太地区(新加坡)
亚太地区(悉尼)
亚太地区(雅加达)
亚太地区(墨尔本)
亚太地区(马来西亚)
亚太地区(新西兰)
亚太地区(泰国)
加拿大(中部)
加拿大西部(卡尔加里)
欧洲地区(法兰克福)
欧洲(苏黎世)
欧洲地区(斯德哥尔摩)
欧洲地区(米兰)
欧洲(西班牙)
欧洲地区(爱尔兰)
欧洲地区(伦敦)
Europe (Paris)
以色列(特拉维夫)
墨西哥(中部)
南美洲(圣保罗)