使用 AWS Glue Iceberg REST 延伸模組端點連線至 Data Catalog - AWS Glue

使用 AWS Glue Iceberg REST 延伸模組端點連線至 Data Catalog

AWS Glue Iceberg REST 延伸模組端點提供額外的 API，這些 API 不存在於 Apache Iceberg REST 規格中，並提供伺服器端掃描規劃功能。當您存取儲存在 Amazon Redshift 受管儲存體中的資料表時，會使用這些額外的 API。可使用 Apache Iceberg AWS Glue Data Catalog 延伸模組從應用程式存取端點。

端點組態 – 可使用服務端點存取 Redshift 受管儲存中具有資料表的型錄。如需區域特定的端點，請參閱 AWS Glue 服務端點參考指南。例如，在 us-east-1 區域中連線至 AWS Glue 時，您需要設定端點 URI 屬性，如下所示：

Endpoint : https://glue.us-east-1.amazonaws.com/extensions
catalog_name = "myredshiftcatalog"
aws_account_id = "123456789012"
aws_region = "us-east-1"
spark = SparkSession.builder \
    .config("spark.sql.defaultCatalog", catalog_name) \
    .config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.type", "glue") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.id", "{123456789012}:redshiftnamespacecatalog/redshiftdb") \
    .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .getOrCreate()