S3 Storage Lens 存储统计管理工具导出到 S3 表类数据存储服务的表命名 - Amazon Simple Storage Service

S3 Storage Lens 存储统计管理工具导出到 S3 表类数据存储服务的表命名

概述

将 S3 Storage Lens 存储统计管理工具指标导出到 S3 表类数据存储服务时,这些表将使用 Apache Iceberg 目录约定和特定的命名模式进行组织,以保持兼容性和整齐排列。

表位置结构

完整的表位置遵循以下模式:

s3tablescatalog/aws-s3/<namespace>/<table-name>

表存储桶名称

表存储桶:aws-s3

S3 Storage Lens 存储统计管理工具导出使用 aws-s3 表存储桶,这是与 AWS S3 相关的系统表的指定存储桶。

目录名称

目录:s3tablescatalog/aws-s3

S3 Storage Lens 存储统计管理工具表存储在 S3 目录中,因为 Storage Lens 存储统计管理工具提供有关三种类型的 S3 资源的见解:

  • 存储指标

  • 存储桶属性

  • API 使用情况指标

命名空间命名约定

命名空间在目录中组织表。对于 S3 Storage Lens 存储统计管理工具,命名空间派生自 Storage Lens 存储统计管理工具配置 ID。

标准命名空间格式

对于不带点(.)的 Storage Lens 存储统计管理工具配置 ID:

lens_<configuration-id>_exp

示例:如果您的配置 ID 是 my-lens-config,则命名空间是:

lens_my-lens-config_exp

包含点字符时的命名空间格式处理

Storage Lens 存储统计管理工具配置 ID 可以包含点(.),但 S3 表类数据存储服务命名空间仅支持小写字母、数字、连字符(-)和下划线(_)。当您的配置 ID 包含点时,这些点将被转换为连字符,并添加哈希后缀以保持唯一性:

lens_<configuration-id-with-dots-replaced>_exp_<7-char-hash>

示例:如果您的配置 ID 是 my.lens.config,则命名空间是:

lens_my-lens-config_exp_a1b2c3d

其中,a1b2c3d 是原始配置 ID 的 SHA-1 哈希值的前 7 个字符。

命名空间命名约定

  • 长度:1-127 个字符

  • 允许使用的字符:小写字母(a-z)、数字(0-9)、连字符(-)、下划线(_)

  • 模式:[a-z0-9_-]{1,127}

  • 名称在表存储桶内必须唯一

Storage Lens 存储统计管理工具配置 ID 要求

您的 Storage Lens 存储统计管理工具配置 ID 必须遵循以下规则:

  • 长度:1-64 个字符

  • 允许使用的字符:字母(a-z,A-Z)、数字(0-9)、连字符(-)、下划线(_)、点(.)。

  • 模式:[a-zA-Z0-9\-\_.]+

完整示例

对于 ID 为 production-metrics 的 Storage Lens 存储统计管理工具配置:

  • 表存储桶:aws-s3

  • 目录:s3tablescatalog/aws-s3

  • 命名空间: lens_production-metrics_exp

  • 完整路径:s3tablescatalog/aws-s3/lens_production-metrics_exp/<table-name>

对于 ID 为 prod.us.east.metrics 的 Storage Lens 存储统计管理工具配置:

  • 表存储桶:aws-s3

  • 目录:s3tablescatalog/aws-s3

  • 命名空间:lens_prod-us-east-metrics_exp_f8e9a1b(带哈希)

  • 完整路径:s3tablescatalog/aws-s3/lens_prod-us-east-metrics_exp_f8e9a1b/<table-name>

表类型

下表显示为 S3 Storage Lens 存储统计管理工具导出创建的不同类型的表:

存储桶名称 命名空间 S3 表名 说明
s3tablescatalog/aws-s3 lens_<conf_name>_exp[_<hash>] default_storage_metrics 此表包含 Storage Lens 存储统计管理工具配置的存储指标。
s3tablescatalog/aws-s3 lens_<conf_name>_exp[_<hash>] default_activity_metrics 此表包含 Storage Lens 存储统计管理工具配置的活动指标。
s3tablescatalog/aws-s3 lens_<conf_name>_exp[_<hash>] expanded_prefixes_storage_metrics 此表包含 Storage Lens 存储统计管理工具配置中所有前缀的存储指标。
s3tablescatalog/aws-s3 lens_<conf_name>_exp[_<hash>] expanded_prefixes_activity_metrics 此表包含 Storage Lens 存储统计管理工具配置中您的所有前缀的活动指标。
s3tablescatalog/aws-s3 lens_<conf_name>_exp[_<hash>] bucket_property_metrics 此表包含 Storage Lens 存储统计管理工具配置中所有存储桶的存储桶属性指标。
注意

将 S3 Storage Lens 存储统计管理工具指标导出到 AWS 托管的 S3 表存储桶无需支付额外费用。您只需为表存储桶中的表存储和管理支付通常的费用。您可以使用 Amazon S3 控制台、Amazon S3 API、AWS CLI 或 AWS SDK 来启用或禁用导出到 S3 表类数据存储服务。