Connessione al Catalogo dati usando l'endpoint dell'estensione di AWS Glue Iceberg REST

L'endpoint dell'estensione di AWS Glue Iceberg REST fornisce API aggiuntive che non sono presenti nelle specifiche di Apache Iceberg REST e offre funzionalità di pianificazione della scansione lato server. Le API aggiuntive vengono usate quando si accede alle tabelle archiviate nello storage gestito di Amazon Redshift. L'endpoint è accessibile da un'applicazione che utilizza le estensioni del AWS Glue Data Catalog di Apache Iceberg.

Configurazione dell'endpoint: è possibile accedere a un catalogo con tabelle nello storage gestito Redshift usando l'endpoint del servizio. Per l'endpoint specifico della regione, consulta la guida di riferimento agli endpoint del servizio AWS Glue. Ad esempio, quando ti connetti ad AWS Glue nella regione us-east-1, devi configurare la proprietà URI dell'endpoint come segue:

Endpoint : https://glue.us-east-1.amazonaws.com/extensions

catalog_name = "myredshiftcatalog"
aws_account_id = "123456789012"
aws_region = "us-east-1"
spark = SparkSession.builder \
    .config("spark.sql.defaultCatalog", catalog_name) \
    .config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.type", "glue") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.id", "{123456789012}:redshiftnamespacecatalog/redshiftdb") \
    .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .getOrCreate()