Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Accès au catalogue de données
Vous pouvez utiliser le AWS Glue Data Catalog (catalogue de données) pour découvrir et comprendre vos données. Le catalogue de données fournit un moyen cohérent de gérer les définitions de schéma, les types de données, les emplacements et d’autres métadonnées. Vous pouvez accéder au catalogue de données à l’aide des méthodes suivantes :
+ AWS Glue console — Vous pouvez accéder au catalogue de données et le gérer via la AWS Glue console, une interface utilisateur Web. La console vous permet de parcourir et de rechercher des bases de données, des tables et leurs métadonnées associées, ainsi que de créer, mettre à jour et supprimer des définitions de métadonnées.
+ AWS Glue crawler — Les crawlers sont des programmes qui analysent automatiquement vos sources de données et alimentent le catalogue de données avec des métadonnées. Vous pouvez créer et exécuter des robots d'exploration pour découvrir et cataloguer des données provenant de diverses sources telles qu'Amazon S3, Amazon RDS, Amazon DynamoDB Amazon CloudWatch et de bases de données relationnelles compatibles JDBC telles que MySQL et PostgreSQL, ainsi que de plusieurs sources non sources telles que Snowflake et Google.AWS BigQuery
+ AWS Glue APIs — Vous pouvez accéder au catalogue de données par programmation à l'aide du. AWS Glue APIs Ils vous APIs permettent d'interagir avec le catalogue de données par programmation, ce qui permet l'automatisation et l'intégration avec d'autres applications et services.
+ AWS Command Line Interface (AWS CLI) — Vous pouvez utiliser le AWS CLI pour accéder au catalogue de données et le gérer à partir de la ligne de commande. La CLI fournit des commandes pour créer, mettre à jour et supprimer des définitions de métadonnées, ainsi que pour interroger et récupérer des informations de métadonnées.
+ Intégration avec d'autres AWS services — Le catalogue de données s'intègre à divers autres AWS services, vous permettant d'accéder aux métadonnées stockées dans le catalogue et de les utiliser. Par exemple, vous pouvez utiliser Amazon Athena pour interroger des sources de données à l'aide des métadonnées du catalogue de données et pour gérer l'accès aux données et la gouvernance des ressources du catalogue de données. AWS Lake Formation
**Topics**
+ [Connexion au catalogue de données à l'aide du point de terminaison AWS Glue Iceberg REST](connect-glu-iceberg-rest.md)
+ [Connexion au catalogue de données à l'aide du point de terminaison de l'extension AWS Glue Iceberg REST](connect-glue-iceberg-rest-ext.md)
+ [AWS Glue Spécifications REST APIs pour Apache Iceberg](iceberg-rest-apis.md)
+ [Connexion au catalogue de données à partir d’une application Spark autonome](connect-gludc-spark.md)
+ [Mappage de données entre Amazon Redshift et Apache Iceberg](data-mapping-rs-iceberg.md)
+ [Considérations et limites relatives à l'utilisation du catalogue REST d' AWS Glue Iceberg APIs](limitation-glue-iceberg-rest-api.md)
# Connexion au catalogue de données à l'aide du point de terminaison AWS Glue Iceberg REST
Le point de terminaison REST Iceberg d’ AWS Glue prend en charge les opérations API spécifiées dans la spécification REST Apache Iceberg. À l’aide d’un client REST Iceberg, vous pouvez connecter votre application exécutée sur un moteur analytique au catalogue REST hébergé dans le catalogue de données.
Le point de terminaison prend en charge les deux spécifications des tables Apache Iceberg : v1 et v2, la valeur par défaut étant v2. Lorsque vous utilisez la spécification de la table Iceberg v1, vous devez spécifier v1 dans l’appel d’API. À l’aide de l’opération d’API, vous pouvez accéder aux tables Iceberg stockées à la fois dans le stockage d’objets Amazon S3 et dans le stockage de tableaux Amazon S3.
**Configuration du point de terminaison**
Vous pouvez accéder au catalogue REST d' AWS Glue Iceberg via le point de terminaison du service. Reportez-vous au [guide de référence des points de terminaison de service AWS Glue](https://docs.aws.amazon.com/general/latest/gr/glue.html#glue_region) pour le point de terminaison spécifique à la région. Par exemple, lorsque vous vous connectez à AWS Glue dans la région us-east-1, vous devez configurer la propriété d’URI du point de terminaison comme suit :
```
Endpoint : https://glue.us-east-1.amazonaws.com/iceberg
```
**Propriétés de configuration supplémentaires** : lorsque vous utilisez le client Iceberg pour connecter un moteur d’analytique tel que Spark au point de terminaison du service, vous devez indiquer les propriétés de configuration d’application suivantes :
```
catalog_name = "mydatacatalog"
aws_account_id = "123456789012"
aws_region = "us-east-1"
spark = SparkSession.builder \
... \
.config("spark.sql.defaultCatalog", catalog_name) \
.config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog") \
.config(f"spark.sql.catalog.{catalog_name}.type", "rest") \
.config(f"spark.sql.catalog.{catalog_name}.uri", "https://glue.{aws_region}.amazonaws.com/iceberg") \
.config(f"spark.sql.catalog.{catalog_name}.warehouse", "{aws_account_id}") \
.config(f"spark.sql.catalog.{catalog_name}.rest.sigv4-enabled", "true") \
.config(f"spark.sql.catalog.{catalog_name}.rest.signing-name", "glue") \
.config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
.getOrCreate()
```
AWS Glue Les supports de point de terminaison Iceberg prennent en ` https://glue.us-east-1.amazonaws.com/iceberg` charge le REST Iceberg suivant : APIs
+ GetConfig
+ ListNamespaces
+ CreateNamespace
+ LoadNamespaceMetadata
+ UpdateNamespaceProperties
+ DeleteNamespace
+ ListTables
+ CreateTable
+ LoadTable
+ TableExists
+ UpdateTable
+ DeleteTable
## Paramètres du chemin d’accès au préfixe et au catalogue
Le catalogue REST d'Iceberg APIs comporte un préfixe de forme libre dans sa demande. URLs Par exemple, l'appel `ListNamespaces` d'API utilise le format `GET/v1/{prefix}/namespaces` URL. AWS Glue Le préfixe suit toujours la `/catalogs/{catalog}` structure pour garantir que le chemin REST aligne la hiérarchie des catalogues AWS Glue multiples. Le paramètre de chemin `{catalog}` peut être dérivé en fonction des règles suivantes :
| **Modèle d’accès** | **Style d’ID du catalogue Glue** | **Style de préfixe** | **Exemple d’ID de catalogue par défaut** | **Exemple de route REST** |
| --- | --- | --- | --- | --- |
| Accéder au catalogue par défaut dans le compte actuel | facultatif | : | ne s’applique pas | GET /v1/catalogs/:/namespaces |
| Accéder au catalogue par défaut dans un compte spécifique | accountID | accountID | 111122223333 | GET /v1/catalogs/111122223333/namespaces |
| Accéder à un catalogue imbriqué dans le compte actuel | catalog1/catalog2 | catalog1/catalog2 | rmscatalog1:db1 | OBTENEZ /v1/ catalogs/rmscatalog1:db1/namespaces |
| Accéder à un catalogue imbriqué dans un compte spécifique | accountId:catalog1/catalog2 | accountId:catalog1/catalog2 | 123456789012/rmscatalog1:db1 | GET /v1/catalogs/123456789012:rmscatalog1:db1/namespaces |
Le mappage de cet ID de catalogue vers le préfixe n'est requis que lorsque vous appelez directement le REST APIs. Lorsque vous utilisez le catalogue REST d' AWS Glue Iceberg APIs via un moteur, vous devez spécifier l'ID du AWS Glue catalogue dans le `warehouse` paramètre de l'API de votre catalogue REST Iceberg ou dans le `glue.id` paramètre de l'API de vos AWS Glue extensions. Par exemple, découvrez comment vous pouvez l’utiliser avec EMR Spark dans [Use an Iceberg cluster with Spark](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-iceberg-use-spark-cluster.html).
## Paramètre de chemin d’accès à l’espace de noms
Les espaces de noms du APIs chemin du catalogue REST d'Iceberg peuvent comporter plusieurs niveaux. Toutefois, AWS Glue ne prend en charge que les espaces de noms à un seul niveau. Pour accéder à un espace de noms dans une hiérarchie de catalogue à plusieurs niveaux, vous pouvez vous connecter à un catalogue à plusieurs niveaux situé au-dessus de l’espace de noms pour référencer l’espace de noms. Cela permet à tout moteur de requête prenant en charge la notation en 3 parties d'accéder `catalog.namespace.table` aux objets de la hiérarchie AWS Glue du catalogue à plusieurs niveaux sans problèmes de compatibilité par rapport à l'utilisation de l'espace de noms à plusieurs niveaux.
# Connexion au catalogue de données à l'aide du point de terminaison de l'extension AWS Glue Iceberg REST
AWS Glue Le point de terminaison d'extension Iceberg REST fournit des fonctionnalités supplémentaires APIs, qui ne figurent pas dans la spécification REST d'Apache Iceberg, et fournit des fonctionnalités de planification des scans côté serveur. Ces informations supplémentaires APIs sont utilisées lorsque vous accédez aux tables stockées dans le stockage géré Amazon Redshift. Le point de terminaison est accessible depuis une application utilisant les AWS Glue Data Catalog extensions Apache Iceberg.
**Configuration du point de terminaison** : un catalogue contenant des tables dans le stockage géré Redshift est accessible via le point de terminaison de service. Reportez-vous au [guide de référence des points de terminaison de service AWS Glue](https://docs.aws.amazon.com/general/latest/gr/glue.html#glue_region) pour le point de terminaison spécifique à la région. Par exemple, lorsque vous vous connectez AWS Glue à la région us-east-1, vous devez configurer la propriété URI du point de terminaison comme suit :
```
Endpoint : https://glue.us-east-1.amazonaws.com/extensions
```
```
catalog_name = "myredshiftcatalog"
aws_account_id = "123456789012"
aws_region = "us-east-1"
spark = SparkSession.builder \
.config("spark.sql.defaultCatalog", catalog_name) \
.config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog") \
.config(f"spark.sql.catalog.{catalog_name}.type", "glue") \
.config(f"spark.sql.catalog.{catalog_name}.glue.id", "{123456789012}:redshiftnamespacecatalog/redshiftdb") \
.config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
.getOrCreate()
```
# AWS Glue Spécifications REST APIs pour Apache Iceberg
Cette section contient les spécifications relatives au catalogue et à l' AWS Glue extension AWS Glue Iceberg REST APIs, ainsi que les considérations relatives à leur utilisation. APIs
Les demandes d'API adressées aux AWS Glue Data Catalog points de terminaison sont authentifiées à l'aide de AWS Signature Version 4 (SigV4). Consultez [AWS la section Signature version 4 pour les demandes d'API](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_sigv.html) pour en savoir plus sur AWS SigV4.
Lors de l'accès au point de terminaison du AWS Glue service et aux AWS Glue métadonnées, l'application assume un rôle IAM qui nécessite une action `glue:getCatalog` IAM.
L’accès au catalogue de données et à ses objets peut être géré à l’aide des autorisations IAM, Lake Formation ou du mode hybride Lake Formation.
Les catalogues fédérés dans le catalogue de données contiennent des emplacements de données enregistrés pour Lake Formation. Lake Formation utilise le catalogue de données pour fournir des autorisations de type base de données afin de gérer l’accès des utilisateurs aux objets du catalogue de données.
Vous pouvez utiliser les autorisations du mode hybride IAM ou Lake Formation pour gérer l'accès au catalogue de données par défaut et à ses objets. AWS Lake Formation
Pour créer, insérer ou supprimer des données dans les objets gérés Lake Formation, vous devez configurer des autorisations spécifiques pour l’utilisateur ou le rôle IAM.
+ CREATE\$1CATALOG : nécessaire pour créer des catalogues
+ CREATE\$1DATABASE : nécessaire pour créer des bases de données
+ CREATE\$1TABLE : nécessaire pour créer des tables
+ DELETE : nécessaire pour supprimer des données d’une table
+ DESCRIBE : nécessaire pour lire les métadonnées
+ DROP — Obligatoire pour drop/delete une table ou une base de données
+ INSERT : nécessaire lorsque le principal doit insérer des données dans une table
+ SELECT : nécessaire lorsque le principal doit sélectionner des données d’une table
Pour plus d'informations, consultez la [référence sur les autorisations de Lake Formation](https://docs.aws.amazon.com/lake-formation/latest/dg/lf-permissions-reference.html) dans le Guide du AWS Lake Formation développeur.
# GetConfig
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | GetConfig |
| Type | API de catalogue REST Iceberg |
| Chemin REST | OBTENEZ/iceberg/v1/config |
| Action IAM | colle : GetCatalog |
| Autorisations Lake Formation | Non applicable |
| CloudTrail event | colle : GetCatalog |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L67 |
****Considérations et restrictions****
+ Le paramètre de `warehouse` requête doit être défini sur l'ID du AWS Glue catalogue. S’il n’est pas défini, le catalogue racine du compte courant est utilisé pour renvoyer la réponse. Pour de plus amples informations, veuillez consulter [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
# GetCatalog
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | GetCatalog |
| Type | AWS Glue API d'extension |
| Chemin REST | GET/extensions/v1/catalogs/\$1catalogue\$1 |
| Action IAM | colle : GetCatalog |
| Autorisations Lake Formation | DESCRIBE |
| CloudTrail event | colle : GetCatalog |
| Définition Open API | https://github.com/awslabs/glue-extensions-for-iceberg/blob/main/glue-extensions-api.yaml \$1L40 |
****Considérations et restrictions****
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
# ListNamespaces
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | ListNamespaces |
| Type | API de catalogue REST Iceberg |
| Chemin REST | GET/iceberg/v1/catalogs/\$1catalog\$1/namespaces |
| Action IAM | colle : GetDatabase |
| Autorisations Lake Formation | ALL, DESCRIBE, SELECT |
| CloudTrail event | colle : GetDatabase |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L205 |
****Considérations et restrictions****
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Seuls les espaces de noms du niveau suivant sont affichés. Pour répertorier les espaces de noms à des niveaux plus profonds, spécifiez l’ID de catalogue imbriqué dans le paramètre de chemin d’accès au catalogue.
# CreateNamespace
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | CreateNamespace |
| Type | API de catalogue REST Iceberg |
| Chemin REST | POST/iceberg/v1/catalogs/\$1catalog\$1/namespaces |
| Action IAM | colle : CreateDatabase |
| Autorisations Lake Formation | ALL, DESCRIBE, SELECT |
| CloudTrail event | colle : CreateDatabase |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L256 |
****Considérations et restrictions****
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Seul un espace de noms à niveau unique peut être créé. Pour créer un espace de noms à plusieurs niveaux, vous devez créer chaque niveau de manière itérative et vous connecter au niveau à l’aide du paramètre de chemin du catalogue.
# StartCreateNamespaceTransaction
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | StartCreateNamespaceTransaction |
| Type | AWS Glue API d'extensions |
| Chemin REST | POST/extensions/v1/catalogs/\$1catalog\$1/namespaces |
| Action IAM | colle : CreateDatabase |
| Autorisations Lake Formation | ALL, DESCRIBE, SELECT |
| CloudTrail event | colle : CreateDatabase |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L256 |
****Considérations et restrictions****
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez créer qu’un espace de noms à niveau unique. Pour créer un espace de noms à plusieurs niveaux, vous devez créer chaque niveau de manière itérative et vous connecter au niveau à l’aide du paramètre de chemin du catalogue.
+ L’API est asynchrone et renvoie un ID de transaction que vous pouvez utiliser pour le suivi à l’aide de l’appel d’API `CheckTransactionStatus`.
+ Vous pouvez appeler cette API uniquement si l’appel d’API `GetCatalog` contient le paramètre `use-extensions=true` dans la réponse.
## LoadNamespaceMetadata
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | LoadNamespaceMetadata |
| Type | API de catalogue REST Iceberg |
| Chemin REST | GET/iceberg/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1 |
| Action IAM | colle : GetDatabase |
| Autorisations Lake Formation | ALL, DESCRIBE, SELECT |
| CloudTrail event | colle : GetDatabase |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L302 |
****Considérations et restrictions****
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
## UpdateNamespaceProperties
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | UpdateNamespaceProperties |
| Type | API de catalogue REST Iceberg |
| Chemin REST | POSTER/iceberg/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/properties |
| Action IAM | colle : UpdateDatabase |
| Autorisations Lake Formation | ALL, ALTER |
| CloudTrail event | colle : UpdateDatabase |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L400 |
****Considérations et restrictions****
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
# DeleteNamespace
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | DeleteNamespace |
| Type | API de catalogue REST Iceberg |
| Chemin REST | DELETE/iceberg/v1/catalogs/\$1catalog\$1/namespces/\$1ns\$1 |
| Action IAM | colle : DeleteDatabase |
| Autorisations Lake Formation | ALL, DROP |
| CloudTrail event | colle : DeleteDatabase |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L365 |
****Considérations et restrictions****
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ Si la base de données contient des objets, l’opération échouera.
+ L’API est asynchrone et renvoie un ID de transaction que vous pouvez utiliser pour le suivi à l’aide de l’appel d’API `CheckTransactionStatus`.
+ L’API ne peut être utilisée que si l’appel d’API `GetCatalog` indique `use-extensions=true` dans la réponse.
# StartDeleteNamespaceTransaction
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | StartDeleteNamespaceTransaction |
| Type | AWS Glue API d'extensions |
| Chemin REST | SUPPRIMER/extensions/v1/catalogs/\$1catalog\$1/namespces/\$1ns\$1 |
| Action IAM | colle : DeleteDatabase |
| Autorisations Lake Formation | ALL, DROP |
| CloudTrail event | colle : DeleteDatabase |
| Définition Open API | https://github.com/awslabs/glue-extensions-for-iceberg/blob/main/glue-extensions-api.yaml \$1L85 |
****Considérations et restrictions****
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ Si la base de données contient des objets, l’opération échouera.
+ L’API est asynchrone et renvoie un ID de transaction que vous pouvez utiliser pour le suivi à l’aide de l’appel d’API `CheckTransactionStatus`.
+ L’API ne peut être utilisée que si l’appel d’API `GetCatalog` indique `use-extensions=true` dans la réponse.
# ListTables
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | ListTables |
| Type | API de catalogue REST Iceberg |
| Chemin REST | OBTENEZ/iceberg/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables |
| Action IAM | colle : GetTables |
| Autorisations Lake Formation | ALL, SELECT, DESCRIBE |
| CloudTrail event | colle : GetTables |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L463 |
****Considérations et restrictions****
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ Toutes les tables, y compris les tables non Iceberg, seront répertoriées. Pour déterminer si une table peut être chargée en tant que table Iceberg ou non, appelez l’opération `LoadTable`.
# CreateTable
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | CreateTable |
| Type | API de catalogue REST Iceberg |
| Chemin REST | OBTENEZ/iceberg/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables |
| Action IAM | colle : CreateTable |
| Autorisations Lake Formation | ALL, CREATE\$1TABLE |
| CloudTrail event | colle : CreateTable |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L497 |
****Considérations et restrictions****
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ `CreateTable` avec copie intermédiaire n’est pas prise en charge. Si le paramètre de requête `stageCreate` est spécifié, l’opération échouera. Cela signifie que les opérations comme `CREATE TABLE AS SELECT` ne sont pas prises en charge et que vous pouvez utiliser une combinaison de `CREATE TABLE` et de `INSERT INTO` comme solution de contournement.
+ L’opération d’API `CreateTable` ne prend pas en charge l’option `state-create = TRUE`.
# StartCreateTableTransaction
**Informations générales**
| | |
| --- |--- |
| Nom de l'opération | CreateTable |
| Type | AWS Glue API d'extensions |
| Chemin REST | POST/extensions/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables |
| Action IAM | colle : CreateTable |
| Autorisations Lake Formation | ALL, CREATE\$1TABLE |
| CloudTrail event | colle : CreateTable |
| Définition Open API | https://github.com/awslabs/glue-extensions-for-iceberg/blob/main/glue-extensions-api.yaml \$1L107 |
****Considérations et restrictions****
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ `CreateTable` avec copie intermédiaire n’est pas prise en charge. Si le paramètre de requête `stageCreate` est spécifié, l’opération échouera. Cela signifie que les opérations comme `CREATE TABLE AS SELECT` ne sont pas prises en charge et que l’utilisateur doit utiliser une combinaison de `CREATE TABLE` et de `INSERT INTO` comme solution de contournement.
+ L’API est asynchrone et renvoie un ID de transaction que vous pouvez utiliser pour le suivi à l’aide de l’appel d’API `CheckTransactionStatus`.
+ L’API ne peut être utilisée que si l’appel d’API `GetCatalog` indique `use-extensions=true` dans la réponse.
# LoadTable
**Informations générales**
| | |
| --- |--- |
| Nom de l’opération | LoadTable |
| Type | API de catalogue REST Iceberg |
| Chemin REST | OBTENIR/iceberg/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables/\$1table\$1 |
| Action IAM | colle : GetTable |
| Autorisations Lake Formation | ALL, SELECT, DESCRIBE |
| CloudTrail événement | colle : GetTable |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L616 |
**Considérations**
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ `CreateTable` avec copie intermédiaire n’est pas prise en charge. Si le paramètre de requête `stageCreate` est spécifié, l’opération échouera. Cela signifie que les opérations comme `CREATE TABLE AS SELECT` ne sont pas prises en charge et que l’utilisateur doit utiliser une combinaison de `CREATE TABLE` et de `INSERT INTO` comme solution de contournement.
+ L’API est asynchrone et renvoie un ID de transaction que vous pouvez utiliser pour le suivi à l’aide de l’appel d’API `CheckTransactionStatus`.
+ L’API ne peut être utilisée que si l’appel d’API `GetCatalog` indique `use-extensions=true` dans la réponse.
# ExtendedLoadTable
**Informations générales**
| | |
| --- |--- |
| Nom de l’opération | LoadTable |
| Type | AWS Glue API d'extensions |
| Chemin REST | OBTENIR/extensions/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables/\$1table\$1 |
| Action IAM | colle : GetTable |
| Autorisations Lake Formation | ALL, SELECT, DESCRIBE |
| CloudTrail événement | colle : GetTable |
| Définition Open API | https://github.com/awslabs/glue-extensions-for-iceberg/blob/main/glue-extensions-api.yaml \$1L134 |
**Considérations**
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ Seul le mode `all` est pris en charge pour le paramètre de requête des instantanés.
+ Par rapport à l’API `LoadTable`, l’API `ExtendedLoadTable` se distingue des manières suivantes :
+ Elle n’impose pas strictement que tous les champs soient disponibles.
+ Elle fournit les paramètres supplémentaires suivants dans le champ de configuration de la réponse :
**Paramètres supplémentaires**
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/extended-load-table.html)
# PreplanTable
**Informations générales**
| | |
| --- |--- |
| Nom de l’opération | PreplanTable |
| Type | AWS Glue API d'extensions |
| Chemin REST | POSTER/extensions/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables/\$1table\$1/preplan |
| Action IAM | colle : GetTable |
| Autorisations Lake Formation | ALL, SELECT, DESCRIBE |
| CloudTrail événement | colle : GetTable |
| Définition Open API | https://github.com/awslabs/glue-extensions-for-iceberg/blob/main/glue-extensions-api.yaml \$1L211 |
**Considérations**
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ L’appelant de cette API doit toujours déterminer s’il reste des résultats à récupérer en fonction du jeton de page. Une réponse avec un élément de page vide, mais un jeton de pagination, est possible si le côté serveur est toujours en cours de traitement, mais n’est pas en mesure de produire un résultat dans le temps de réponse donné.
+ Vous ne pouvez utiliser cette API que si la réponse de l’API `ExtendedLoadTable` contient `aws.server-side-capabilities.scan-planning=true`.
# PlanTable
**Informations générales**
| | |
| --- |--- |
| Nom de l’opération | PlanTable |
| Type | AWS Glue API d'extensions |
| Chemin REST | POSTER/extensions/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables/\$1table\$1/plan |
| Action IAM | colle : GetTable |
| Autorisations Lake Formation | ALL, SELECT, DESCRIBE |
| CloudTrail événement | colle : GetTable |
| Définition Open API | https://github.com/awslabs/glue-extensions-for-iceberg/blob/main/glue-extensions-api.yaml \$1L243 |
**Considérations**
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ L’appelant de cette API doit toujours déterminer s’il reste des résultats à récupérer en fonction du jeton de page. Une réponse avec un élément de page vide, mais un jeton de pagination, est possible si le côté serveur est toujours en cours de traitement, mais n’est pas en mesure de produire un résultat dans le temps de réponse donné.
+ Vous ne pouvez utiliser cette API que si la réponse de l’API `ExtendedLoadTable` contient `aws.server-side-capabilities.scan-planning=true`.
# TableExists
**Informations générales**
| | |
| --- |--- |
| Nom de l’opération | TableExists |
| Type | API de catalogue REST Iceberg |
| Chemin REST | HEAD/iceberg/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables/\$1tableau\$1 |
| Action IAM | colle : GetTable |
| Autorisations Lake Formation | ALL, SELECT, DESCRIBE |
| CloudTrail événement | colle : GetTable |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L833 |
**Considérations**
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
# UpdateTable
**Informations générales**
| | |
| --- |--- |
| Nom de l’opération | UpdateTable |
| Type | API de catalogue REST Iceberg |
| Chemin REST | POST/iceberg/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables/\$1tableau\$1 |
| Action IAM | colle : UpdateTable |
| Autorisations Lake Formation | ALL, ALTER |
| CloudTrail événement | colle : UpdateTable |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L677 |
**Considérations**
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
# StartUpdateTableTransaction
**Informations générales**
| | |
| --- |--- |
| Nom de l’opération | StartUpdateTableTransaction |
| Type | AWS Glue API d'extension |
| Chemin REST | POST/extensions/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables/\$1tableau\$1 |
| Action IAM | colle : UpdateTable |
| Autorisations Lake Formation | ALL, ALTER |
| CloudTrail événement | colle : UpdateTable |
| Définition Open API | https://github.com/awslabs/glue-extensions-for-iceberg/blob/main/glue-extensions-api.yaml \$1L154 |
**Considérations**
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ L’API est asynchrone et renvoie un ID de transaction que vous pouvez utiliser pour le suivi à l’aide de l’appel d’API `CheckTransactionStatus`.
+ Une opération `RenamTable` peut également être effectuée par le biais de cette API. Dans ce cas, l'appelant doit également disposer de l'autorisation glue : CreateTable ou LakeFormation CREATE\$1TABLE pour renommer la table.
+ Vous ne pouvez utiliser cette API que si la réponse de l’API `ExtendedLoadTable` contient `aws.server-side-capabilities.scan-planning=true`.
# DeleteTable
**Informations générales**
| | |
| --- |--- |
| Nom de l’opération | DeleteTable |
| Type | API de catalogue REST Iceberg |
| Chemin REST | DELETE/iceberg/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables/\$1tableau\$1 |
| Action IAM | colle : DeleteTable |
| Autorisations Lake Formation | ALL, DROP |
| CloudTrail événement | colle : DeleteTable |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L793 |
**Considérations**
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ Le fonctionnement de l’API `DeleteTable` prend en charge une option de purge. Lorsque la purge est définie sur `true`, les données de la table sont supprimées ; dans le cas contraire, elles ne le sont pas. Pour les tables dans Amazon S3, l’opération ne supprime pas les données des tables. L’opération échoue lorsque la table est stockée dans Amazon S3 et `purge = TRUE,`.
Pour les tables stockées dans le stockage géré par Amazon Redshift, l’opération supprimera les données des tables, de la même manière que le comportement `DROP TABLE` dans Amazon Redshift. L’opération échoue lorsque la table est stockée dans Amazon Redshift et `purge = FALSE`.
+ `purgeRequest=true` n’est pas pris en charge.
# StartDeleteTableTransaction
**Informations générales**
| | |
| --- |--- |
| Nom de l’opération | StartDeleteTableTransaction |
| Type | AWS Glue API d'extensions |
| Chemin REST | SUPPRIMER/extensions/v1/catalogs/\$1catalog\$1/namespaces/\$1ns\$1/tables/\$1table\$1 |
| Action IAM | colle : DeleteTable |
| Autorisations Lake Formation | ALL, DROP |
| CloudTrail événement | colle : DeleteTable |
| Définition Open API | https://github.com/apache/iceberg/blob/apache-iceberg-1.6.1/open-api/rest- catalog-open-api .yaml \$1L793 |
**Considérations**
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
+ Vous ne pouvez spécifier qu’un espace de noms à un seul niveau dans le paramètre de chemin d’accès REST. Pour plus d’informations, consultez la section [Paramètre de chemin d’accès à l’espace de noms](connect-glu-iceberg-rest.md#ns-path-param).
+ `purgeRequest=false` n’est pas pris en charge.
+ L’API est asynchrone et renvoie un identifiant de transaction qui peut être suivi via `CheckTransactionStatus`.
# CheckTransactionStatus
**Informations générales**
| | |
| --- |--- |
| Nom de l’opération | CheckTransactionStatus |
| Type | AWS Glue API d'extensions |
| Chemin REST | POST/extensions/v1/transactions/status |
| Action IAM | La même autorisation que l’action qui initie la transaction |
| Autorisations Lake Formation | La même autorisation que l’action qui initie la transaction |
| Définition Open API | https://github.com/awslabs/glue-extensions-for-iceberg/blob/main/glue-extensions-api.yaml \$1L273 |
**Considérations**
+ Le paramètre du chemin d’accès au catalogue doit suivre le style décrit dans la section [Paramètres du chemin d’accès au préfixe et au catalogue](connect-glu-iceberg-rest.md#prefix-catalog-path-parameters).
# Connexion au catalogue de données à partir d’une application Spark autonome
Vous pouvez vous connecter au catalogue de données à partir d’une application standard à l’aide d’un connecteur Apache Iceberg.
1. Créez un rôle IAM pour l’application Spark.
1. Connectez-vous au point de terminaison AWS Glue Iceberg Rest à l'aide du connecteur Iceberg.
```
# configure your application. Refer to https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-envvars.html for best practices on configuring environment variables.
export AWS_ACCESS_KEY_ID=$(aws configure get appUser.aws_access_key_id)
export AWS_SECRET_ACCESS_KEY=$(aws configure get appUser.aws_secret_access_key)
export AWS_SESSION_TOKEN=$(aws configure get appUser.aws_secret_token)
export AWS_REGION=us-east-1
export REGION=us-east-1
export AWS_ACCOUNT_ID = {specify your aws account id here}
~/spark-3.5.3-bin-hadoop3/bin/spark-shell \
--packages org.apache.iceberg:iceberg-spark-runtime-3.4_2.12:1.6.0 \
--conf "spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions" \
--conf "spark.sql.defaultCatalog=spark_catalog" \
--conf "spark.sql.catalog.spark_catalog=org.apache.iceberg.spark.SparkCatalog" \
--conf "spark.sql.catalog.spark_catalog.type=rest" \
--conf "spark.sql.catalog.spark_catalog.uri=https://glue.us-east-1.amazonaws.com/iceberg" \
--conf "spark.sql.catalog.spark_catalog.warehouse = {AWS_ACCOUNT_ID}" \
--conf "spark.sql.catalog.spark_catalog.rest.sigv4-enabled=true" \
--conf "spark.sql.catalog.spark_catalog.rest.signing-name=glue" \
--conf "spark.sql.catalog.spark_catalog.rest.signing-region=us-east-1" \
--conf "spark.sql.catalog.spark_catalog.io-impl=org.apache.iceberg.aws.s3.S3FileIO" \
--conf "spark.hadoop.fs.s3a.aws.credentials.provider=org.apache.hadoop.fs.s3a.SimpleAWSCredentialProvider"
```
1. Interrogez les données du catalogue de données.
```
spark.sql("create database myicebergdb").show()
spark.sql("""CREATE TABLE myicebergdb.mytbl (name string) USING iceberg location 's3://bucket_name/mytbl'""")
spark.sql("insert into myicebergdb.mytbl values('demo') ").show()
```
# Mappage de données entre Amazon Redshift et Apache Iceberg
Redshift et Iceberg prennent en charge différents types de données. La matrice de compatibilité suivante décrit la prise en charge et les restrictions lors du mappage de données entre ces deux systèmes de données. Reportez-vous aux [Types de données Amazon Redshift](https://docs.aws.amazon.com/redshift/latest/dg/c_Supported_data_types.html) et aux [Spécifications des tables Apache Iceberg](https://iceberg.apache.org/spec/#primitive-types) pour plus de détails sur les types de données pris en charge par chaque système de données.
| Type de données Redshift | les alias ; | Type de données Iceberg |
| --- | --- | --- |
| SMALLINT | INT2 | int |
| INTEGER | ENTIER, INT4 | int |
| BIGINT | INT8 | long |
| DECIMAL | NUMERIC | decimal |
| REAL | FLOAT4 | float |
| REAL | FLOAT4 | float |
| DOUBLE PRECISION | FLOAT8, FLOTTEUR | double |
| CHAR | CHARACTER, NCHAR | chaîne |
| VARCHAR | CHARACTER VARYING, NVARCHAR | chaîne |
| BPCHAR | | chaîne |
| TEXT | | chaîne |
| DATE | | date |
| TIME | TIME WITHOUT TIMEZONE | time |
| TIME | TIME WITH TIMEZONE | non pris en charge |
| TIMESTAMP | TIMESTAMP WITHOUT TIMEZONE | TIMESTAMP |
| TIMESTAMPZ | TIMESTAMP WITH TIMEZONE | TIMESTAMPZ |
| INTERVAL YEAR TO MONTH | | Non pris en charge |
| INTERVAL DAY TO SECOND | | Non pris en charge |
| BOOLEAN | BOOL | bool |
| HLLSKETCH | | Non pris en charge |
| SUPER | | Non pris en charge |
| VARBYTE | VARBINARY, BINARY VARYING | binary |
| GEOMETRY | | Non pris en charge |
| GEOGRAPHY | | Non pris en charge |
# Considérations et limites relatives à l'utilisation du catalogue REST d' AWS Glue Iceberg APIs
Voici les considérations et les restrictions liées à l’utilisation du comportement d’opération du langage de définition de données (DDL) du catalogue REST d’Apache Iceberg.
**Considérations**
+ **Comportement de l’API `RenameTable`** : l’opération `RenameTable` est prise en charge dans les tables d’Amazon Redshift, mais pas dans Amazon S3.
+ **Opérations DDL pour les espaces de noms et les tables dans Amazon Redshift** : les opérations de création, de mise à jour, de suppression pour les espaces de noms et les tables dans Amazon Redshift sont des opérations asynchrones, car elles dépendent du moment où le groupe de travail géré par Amazon Redshift est disponible, du fait qu’une transaction DDL et DML conflictuelle est en cours et que l’opération doit attendre le verrouillage, puis essayer de valider les modifications.
**Limitations**
+ Les vues de APIs la spécification REST d'Apache Iceberg ne sont pas prises en charge dans le catalogue REST d' AWS Glue Iceberg.