通过 Athena 注册 S3 表存储桶目录和查询表 - Amazon Athena
注意事项和限制从 Athena 中查询 S3 表 在 Athena 中创建 S3 表将 S3 表存储桶目录注册为 Athena 数据来源适用于 S3 表的 CTAS

通过 Athena 注册 S3 表存储桶目录和查询表

Amazon S3 表存储桶是 Amazon S3 中的一种存储桶类型，专门用于存储 Apache Iceberg 表中的表格数据。表存储桶可自动执行压缩、快照管理和垃圾回收等表管理任务，从而持续优化查询性能并尽可能降低成本。无论您是刚开始使用，还是已经在 Iceberg 环境中拥有数千个表，表存储桶都能简化任意规模的数据湖。有关更多信息，请参阅 Table Buckets。

注意事项和限制

  • Iceberg 表支持的所有 DDL 操作都支持 S3 表，但以下情况除外：

    • 不支持 ALTER TABLE RENAME、CREATE VIEW 和 ALTER DATABASE。

    • OPTIMIZE 和 VACUUM – 您可以在 S3 中管理压缩和快照管理。有关更多信息，请参阅 S3 表维护文档。

  • 不支持对注册为 Athena 数据来源的 S3 表进行 DDL 查询。

  • 不支持重复使用查询结果。

  • 在启用了 SSE-KMS、CSE-KMS 加密的工作组中，您无法在 S3 表上运行 INSERT、UPDATE、DELETE 或 MERGE 之类的写入操作。

  • 在启用了“S3 申请方付款”选项的工作组中，您无法在 S3 表上运行 DML 操作。

从 Athena 中查询 S3 表

在 Athena 中查询 S3 表之前，请完成以下前提步骤

  1. 创建一个 S3 表存储桶。有关更多信息，请参阅《Amazon Simple Storage Service 用户指南》中的 Creating a table bucket。

  2. 务必要按照《Amazon Simple Storage Service 用户指南》中 Prerequisites for integration 和 Integrating table buckets with AWS analytics services 部分的说明，将表存储桶与 AWS Glue Data Catalog 和 AWS Lake Formation 成功集成。

    注意

    如果您在步骤 1 中从 S3 控制台创建 S3 表存储桶时启用了集成，则可跳过此步骤。

  3. 对于您用于通过 Athena 运行查询的主体，请通过 Lake Formation 控制台或 AWS CLI 授予 Lake Formation 对 S3 表目录的权限。

    AWS Management Console

    1. 以数据湖管理员身份登录 AWS Lake Formation 控制台（地址为 https://console.aws.amazon.com/lakeformation/）。有关如何创建数据湖管理员的更多信息，请参阅 Create a data lake administrator。

    2. 在导航窗格中，选择数据权限，然后选择授予。

    3. 在授予权限页面的主体下，选择要用于从 Athena 提交查询的主体。

    4. 在 LF 标签或目录资源下，选择命名 Data Catalog 资源。

    5. 对于目录，请选择您通过集成表存储桶创建的 Glue 数据目录。例如，<accoundID>:s3tablescatalog/amzn-s3-demo-bucket。

    6. 对于目录权限，请选择超级。

    7. 选择授权。

    AWS CLI

    使用 Lake Formation 数据湖管理员角色运行以下命令，以授予对您用于从 Athena 提交查询的主体的访问权限。

    aws lakeformation grant-permissions \
--region <region (Example,us-east-1)> \
--cli-input-json \
'{
    "Principal": {
        "DataLakePrincipalIdentifier": "<user or role ARN (Example, arn:aws:iam::<Account ID>:role/ExampleRole>"
    },
    "Resource": {
        "Catalog": {
            "Id":"<Account ID>:s3tablescatalog/amzn-s3-demo-bucket"
        }
    },
    "Permissions": ["ALL"]
}'
提交对 S3 表的查询

  1. 使用上述获得授权的用户/角色从 Athena 提交 CREATE DATABASE 查询。在此示例中，s3tablescatalog 是通过集成创建的父级 Glue 数据目录， s3tablescatalog/amzn-s3-demo-bucket 是为每个 S3 表存储桶创建的子 Glue 数据目录。查询的方法有两种。

    Option 1

    直接从控制台或 AWS CLI 指定子 Glue 数据目录（s3tablescatalog/amzn-s3-demo-bucket）。

    使用 AWS Management Console

    1. 从 https://console.aws.amazon.com/athena/ 打开 Athena 控制台。

    2. 在左侧导航栏中，对于数据来源名称，选择 AwsDataCatalog。

    3. 对于目录，选择 s3tablescatalog/amzn-s3-demo-bucket。

    4. 在查询编辑器中，输入类似于 CREATE DATABASE test_namespace 的查询。

    使用 AWS CLI

    运行以下命令。

    aws athena start-query-execution \ 
--query-string 'CREATE DATABASE `test_namespace`' \ 
--query-execution-context '{"Catalog": "s3tablescatalog/amzn-s3-demo-bucket"}' \
--work-group "primary"
    Option 2

    通过 Athena 控制台从子 Glue 数据目录创建 Athena 数据目录，并在查询中将其指定为目录。有关更多信息，请参阅 将 S3 表存储桶目录注册为 Athena 数据来源。

  2. 通过您在上一步中创建的数据库，使用 CREATE TABLE 创建表。以下示例将在您先前于 s3tablescatalog/amzn-s3-demo-bucket Glue 目录中创建的 test_namespace 数据库中创建一个表。

    AWS Management Console

    1. 在左侧导航栏中，对于数据来源名称，选择 AwsDataCatalog。

    2. 对于目录，选择 s3tablescatalog/amzn-s3-demo-bucket。

    3. 对于数据库，请选择 test_namespace。

    4. 在查询编辑器中，运行以下查询。

      CREATE TABLE daily_sales (
        sale_date date,
        product_category
        string, sales_amount double)
PARTITIONED BY (month(sale_date))
TBLPROPERTIES ('table_type' = 'iceberg')
    AWS CLI

    运行以下命令。

    aws athena start-query-execution \
--query-string "CREATE TABLE daily_sales (
        sale_date date,
        product_category
        string, sales_amount double)
PARTITIONED BY (month(sale_date))
TBLPROPERTIES ('table_type' = 'iceberg')" \
--query-execution-context '{"Catalog": "s3tablescatalog/amzn-s3-demo-bucket", "Database":"test_namespace"}' \
--work-group "primary"

  3. 将数据插入您在之前的步骤中创建的表。

    AWS Management Console

    1. 在左侧导航栏中，对于数据来源名称，选择 AwsDataCatalog。

    2. 对于目录，选择 s3tablescatalog/amzn-s3-demo-bucket。

    3. 对于数据库，请选择 test_namespace。

    4. 在查询编辑器中，运行以下查询。

      INSERT INTO daily_sales
VALUES 
    (DATE '2024-01-15', 'Laptop', 900.00),
    (DATE '2024-01-15', 'Monitor', 250.00),
    (DATE '2024-01-16', 'Laptop', 1350.00),
    (DATE '2024-02-01', 'Monitor', 300.00);
    AWS CLI

    运行以下命令。

    aws athena start-query-execution \
--query-string "INSERT INTO \"s3tablescatalog/amzn-s3-demo-bucket\".test_namespace.daily_sales
VALUES 
(DATE '2024-01-15', 'Laptop', 900.00),
(DATE '2024-01-15', 'Monitor', 250.00),
(DATE '2024-01-16', 'Laptop', 1350.00),
(DATE '2024-02-01', 'Monitor', 300.00)"\ 
--work-group "primary"

  4. 向表中插入数据后，您可以对其进行查询。

    AWS Management Console

    1. 在左侧导航栏中，对于数据来源名称，选择 AwsDataCatalog。

    2. 对于目录，选择 s3tablescatalog/amzn-s3-demo-bucket。

    3. 对于数据库，请选择 test_namespace。

    4. 在查询编辑器中，运行以下查询。

      SELECT
    product_category,
    COUNT(*) AS units_sold,
    SUM(sales_amount) AS total_revenue,
    AVG(sales_amount) AS average_price
FROM
    daily_sales
WHERE
    sale_date BETWEEN DATE '2024-02-01' 
                 AND DATE '2024-02-29'
GROUP BY
    product_category
ORDER BY
    total_revenue DESC
    AWS CLI

    运行以下命令。

    aws athena start-query-execution \
--query-string "SELECT product_category,
    COUNT(*) AS units_sold,
    SUM(sales_amount) AS total_revenue,
    AVG(sales_amount) AS average_price
FROM \"s3tablescatalog/amzn-s3-demo-bucket\".test_namespace.daily_sales
WHERE sale_date BETWEEN DATE '2024-02-01' AND DATE '2024-02-29'
GROUP BY product_category
ORDER BY total_revenue DESC"\
--work-group "primary"

在 Athena 中创建 S3 表

Athena 支持在现有的 S3 表命名空间或使用 CREATE DATABASE 语句在 Athena 中创建的命名空间中创建表。要从 Athena 创建 S3 表，语法要与创建常规 Iceberg 表时的语法相同，只是无需指定 LOCATION，如以下示例所示。

CREATE TABLE
[db_name.]table_name (col_name data_type [COMMENT col_comment] [, ...] )
[PARTITIONED BY (col_name | transform, ... )]
[TBLPROPERTIES ([, property_name=property_value] )]

您也可以使用 CREATE TABLE AS SELECT（CTAS）语句创建 S3 表。有关更多信息，请参阅 适用于 S3 表的 CTAS。

将 S3 表存储桶目录注册为 Athena 数据来源

要通过 Athena 控制台注册 S3 表存储桶目录，请执行以下步骤。

  1. 从 https://console.aws.amazon.com/athena/ 打开 Athena 控制台。

  2. 在导航窗格中，选择数据来源和目录。

  3. 在数据来源和目录页面上，选择创建数据来源。

  4. 在选择数据来源中，选择 Amazon S3 - AWS Glue Data Catalog。

  5. 在 AWS Glue Data Catalog 部分中，对于数据来源账户，选择此账户中的 AWS Glue Data Catalog。

  6. 对于创建表或注册目录，请选择注册新 AWS Glue 目录。

  7. 在数据来源详细信息部分中，对于数据来源名称，请输入用于在 SQL 查询中指定数据来源的名称，或者使用生成的默认名称。

  8. 对于目录，选择浏览来搜索同一账户中的 AWS Glue 目录列表。如果看不到任何现有目录，请通过 AWS Glue 控制台创建一个。

  9. 在浏览 AWS Glue 目录对话框中，选择要使用的目录，然后选中选择。

  10. （可选）对于标签，输入要与该数据来源关联的键值对。

  11. 选择下一步。

  12. 在检查并创建页面上，验证输入的信息是否正确，然后选择创建数据来源。

适用于 S3 表的 CTAS

Amazon Athena 现在支持对 S3 表执行 CREATE TABLE AS SELECT（CTAS）操作。此功能允许您根据 SELECT 查询的结果创建新的 S3 表。

在为 S3 表创建 CTAS 查询时，与标准 Athena 表相比，有一些重要的区别：

  • 您必须省略位置属性，因为 S3 表会自动管理自己的存储位置。

  • table_type 属性的默认值为 ICEBERG，因此您无需在查询中显式指定该属性。

  • 如果您不指定格式，系统将自动使用 PARQUET 作为数据的默认格式。

  • 所有其他属性都遵循与常规 Iceberg 表相同的语法。

在使用 CTAS 创建 S3 表之前，请确保您已在 AWS Lake Formation 中配置必要的权限。具体而言，您需要在 S3 表目录中创建表的权限。如果没有这些权限，您的 CTAS 操作将失败。

注意

如果您的 CTAS 查询失败，您可能需要先使用 S3 表 API 删除表，然后再尝试重新运行查询。您无法使用 Athena DROP TABLE 语句删除由该查询部分创建的表。

示例

CREATE TABLE "s3tablescatalog/amzn-s3-demo-bucket"."namespace"."s3-table-name"
WITH (
    format = 'PARQUET'
)
AS SELECT *
FROM source_table;