使用 AWS Glue Iceberg REST 延伸端點連線至 Data Catalog - AWS Glue

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 AWS Glue Iceberg REST 延伸端點連線至 Data Catalog

AWS Glue Iceberg REST 延伸端點提供額外的 APIs，這些 API 不存在於 Apache Iceberg REST 規格中，並提供伺服器端掃描規劃功能。當您存取存放在 Amazon Redshift 受管儲存體中的資料表時，會使用這些額外的 APIs。您可以使用 Apache Iceberg AWS Glue Data Catalog 延伸模組從應用程式存取端點。

端點組態 – 可使用服務端點存取 Redshift 受管儲存中資料表的目錄。請參閱AWS Glue 服務端點參考指南，了解區域特定的端點。例如， AWS Glue 在 us-east-1 區域中連線至 時，您需要設定端點 URI 屬性，如下所示：

Endpoint : https://glue.us-east-1.amazonaws.com/extensions
catalog_name = "myredshiftcatalog"
aws_account_id = "123456789012"
aws_region = "us-east-1"
spark = SparkSession.builder \
    .config("spark.sql.defaultCatalog", catalog_name) \
    .config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.type", "glue") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.id", "{123456789012}:redshiftnamespacecatalog/redshiftdb") \
    .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .getOrCreate()