Connexion au catalogue de données à l’aide du point de terminaison de l’extension REST Iceberg AWS Glue

Le point de terminaison de l’extension REST AWS Glue Iceberg fournit des API supplémentaires, qui ne sont pas présentes dans la spécification REST Apache Iceberg, et fournit des fonctionnalités de planification de l’analyse côté serveur. Ces API supplémentaires sont utilisées lorsque vous accédez aux tables stockées dans le stockage géré Amazon Redshift. Le point de terminaison est accessible depuis une application utilisant des extensions AWS Glue Data Catalog Apache Iceberg.

Configuration du point de terminaison : un catalogue contenant des tables dans le stockage géré Redshift est accessible via le point de terminaison de service. Reportez-vous au guide de référence des points de terminaison de service AWS Glue pour le point de terminaison spécifique à la région. Par exemple, lorsque vous vous connectez à AWS Glue dans la région us-east-1, vous devez configurer la propriété d’URI du point de terminaison comme suit :

Endpoint : https://glue.us-east-1.amazonaws.com/extensions

catalog_name = "myredshiftcatalog"
aws_account_id = "123456789012"
aws_region = "us-east-1"
spark = SparkSession.builder \
    .config("spark.sql.defaultCatalog", catalog_name) \
    .config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.type", "glue") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.id", "{123456789012}:redshiftnamespacecatalog/redshiftdb") \
    .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .getOrCreate()