元数据表限制和局限性 - Amazon Simple Storage Service

元数据表限制和局限性

Amazon S3 元数据具有以下限制和局限性:

  • S3 元数据目前仅在美国东部(弗吉尼亚州北部)、美国东部(俄亥俄州)和美国西部(俄勒冈州)区域中提供。

  • S3 元数据支持通用存储桶所支持的所有存储类别。对于 S3 Intelligent-Tiering 存储类,元数据表中未显示特定层。

  • 创建元数据表配置时,元数据表存储在 AWS 托管式表存储桶中。不能将配置存储在客户管理的表存储桶中。

  • 目录存储桶、表存储桶或向量存储桶不支持 S3 元数据。只能为通用存储桶创建元数据表配置。日记表仅捕获在您创建元数据表配置后发生的更改事件(例如上传、更新和删除)的元数据。

  • 您无法控制日记表或清单表快照的过期。对于每个表,Amazon S3 存储至少 1 个快照,最长可存储 24 小时。

    为了有助于最大限度地降低成本,可以配置日记表记录过期。默认情况下,日记表记录不会过期,并且日记表记录必须保留至少 7 天。有关更多信息,请参阅 使日记表记录过期

  • 您只能为整个通用存储桶创建元数据表配置。您不能在前缀级应用元数据表配置。

  • 您无法暂停和恢复对元数据表的更新。但是,可以删除日记表或实时清单表的关联元数据配置。删除配置并不会删除关联的日记表或清单表。要重新创建配置,必须先删除旧的日记表或清单表,然后 Amazon S3 才能创建新的日记表或清单表。重新启用清单表时,Amazon S3 会创建一个新的清单表,并且您需要再次支付回填新清单表的费用。

  • 元数据表所包含的元数据与通过 S3 清单或 Amazon S3 REST API 提供的元数据不完全相同。例如,元数据表中未提供以下信息:

    • S3 生命周期到期资格或转换状态

    • 对象锁定保留期或治理模式

    • 对象访问控制列表(ACL)信息

    • 复制状态

  • 当您使用 Amazon Athena 或 Amazon Redshift 查询元数据表时,必须用引号 (") 或反勾号 (`) 将元数据表命名空间名称括起来,否则查询可能无法运行。有关示例,请参阅 元数据表查询示例

  • 在 Amazon EMR 或其它第三方引擎上使用 Apache Spark 查询元数据表时,建议您使用 Amazon S3 表类数据存储服务 Iceberg REST 端点。如果不使用此端点,查询可能无法成功运行。有关更多信息,请参阅 使用 Amazon S3 表类数据存储服务 Iceberg REST 端点访问表