Amazon Redshift ne prendra plus en charge la création de nouveaux Python UDFs à compter du 1er novembre 2025. Si vous souhaitez utiliser Python UDFs, créez la version UDFs antérieure à cette date. Le Python existant UDFs continuera à fonctionner normalement. Pour plus d’informations, consultez le billet de blog .

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Commandes SQL

Les tables Apache Iceberg d'Amazon Redshift constituent un moyen puissant de gérer de grands ensembles de données analytiques dans votre lac de données. Ces tables prennent en charge les transactions ACID, l'évolution des schémas et les fonctionnalités de voyage dans le temps tout en maintenant des performances élevées pour les charges de travail analytiques. À l'aide des tables Apache Iceberg, vous pouvez organiser et partitionner efficacement vos données, contrôler les formats de fichiers et la compression, et les intégrer facilement à d'autres AWS services.

Vous pouvez créer des tables Iceberg partitionnées et non partitionnées à l'aide des commandes and. CREATE TABLE ... USING ICEBERG CREATE TABLE ... USING ICEBERG AS SELECT Vous pouvez référencer les tables Iceberg à l'aide d'une notation de schéma externe (external_schema.table_name) ou d'une notation en trois parties ("catalog_name".database_name.table_name). Les exemples de cette section illustrent les deux méthodes.

Après avoir créé une table, vous pouvez ajouter des données à l'aide de INSERT commandes standard. N'oubliez pas que même si Amazon Redshift fonctionne avec de nombreux types de données Iceberg, vous devrez peut-être convertir certains formats de données lors de l'insertion d'informations.

Vous pouvez afficher les tables Iceberg à l'aide de SHOW TABLES la commande. Si vous souhaitez supprimer une table duAWS Glue Data Catalog, vous pouvez utiliser la DROP TABLE commande. Notez que cela supprime uniquement l'enregistrement de la table. Les données réelles resteront stockées jusqu'à ce que vous les supprimiez séparément.

Toutes les autres instructions SQL, telles queDELETE,, et UPDATE MERGEALTER TABLE, ne sont pas encore prises en charge dans les tables Iceberg.

Les sections suivantes présentent la syntaxe SQL permettant de créer, d'insérer et de gérer des tables Iceberg dans Amazon Redshift.

CREATE TABLE

CREATE TABLE [IF NOT EXISTS] <external_schema>.<table_name> (
  column_name data_type [, ...]
)
USING ICEBERG
[LOCATION 's3://your-bucket-name/prefix/']
[PARTITIONED BY [[column_name | transform_function]], ...]
[TABLE PROPERTIES ('compression_type'='<compression_value>')]

Vous pouvez également utiliser une notation en trois parties pour les compartiments de table S3 :

CREATE TABLE "<table_bucket_name>@s3tablescatalog".<database_name>.<table_name> (
  column_name data_type [, ...]
)
USING ICEBERG
[PARTITIONED BY [[column_name | transform_function]], ...]
[TABLE PROPERTIES ('compression_type'='<compression_value>')]

Notez qu'<external_schema>il doit s'agir d'un nom de schéma externe existant dans lequel la table externe sera créée. Pour plus d'informations sur la création et la gestion de schémas externes, consultez CREATE EXTERNAL SCHEMA dans la documentation Amazon Redshift.

La LOCATION clause définit l'emplacement de la table pour cette table Iceberg nouvellement créée. Pour les tables Amazon S3, cela LOCATION ne peut pas être spécifié car l'emplacement des tables est déterminé par le catalogue des tables Amazon S3 (s3tablescatalog).

Dans tous les autres cas, LOCATION c'est obligatoire et il doit s'agir d'un emplacement vide, ce qui signifie qu'aucun objet Amazon S3 existant ne partage le même compartiment et le même préfixe. Notez que la région du compartiment Amazon S3 doit se trouver dans la même région que le cluster Amazon Redshift.

Cependant, AWS fournit une méthode pour répliquer les données des tables Iceberg stockées AWS Glue Data Catalog dans un emplacement Région AWS vers un autreRégion AWS, ce qui vous permet de répliquer l'écriture dans une autre région. Pour plus d'informations, consultez la section Répliquer des données entre elles. Régions AWS

PARTITIONED BYdéfinit la partition de table Iceberg. Amazon Redshift prend en charge toutes les transformations de partitions Iceberg v2, à l'exception de. void Voici la liste des transformations prises en charge :

Pour les définitions complètes de ces transformations et les types de données compatibles, consultez Partition Transforms dans la documentation d'Apache Iceberg.

PARTITIONED BYSupporte le partitionnement à plusieurs niveaux. Par exemple, vous pouvez exécuter la commande suivante :

CREATE TABLE ...
USING ICEBERG
LOCATION ...
PARTITIONED BY (bucket(16, id), year(ship_date));

Cependant, Amazon Redshift ne prend pas en charge l'utilisation d'une seule colonne dans plusieurs transformations. Par exemple, la syntaxe suivante n'est pas prise en charge :

CREATE TABLE ...
USING ICEBERG
LOCATION ...
PARTITIONED BY (bucket(16, ship_date), year(ship_date));

La TABLE PROPERTIES clause définit les propriétés de table supplémentaires pour cette table Iceberg. La seule propriété de table que nous prenons en charge est compression_type celle qui définit la compression par défaut du fichier de données Parquet. S'il n'est pas spécifié, snappy il est utilisé comme codec de compression. Les valeurs possibles pour compression_type sont : zstdbrotli,gzip,snappy, etuncompressed.

Vous pouvez également créer et remplir une table Iceberg en une seule opération en utilisant : CREATE TABLE AS SELECT

CREATE TABLE AS SELECT

CREATE TABLE <external_schema>.<table_name> [(
  column_name[, ...]
)]
USING ICEBERG
[LOCATION 's3://your-bucket-name/prefix/']
[PARTITIONED BY [[column_name | transform_function]], ...]
[TABLE PROPERTIES ('compression_type'='<compression-value>')]
AS
SELECT query

Vous pouvez également utiliser la notation en trois parties pour créer des tableaux dans des catalogues montés automatiquement :

CREATE TABLE "<catalog_name>".<database_name>.<table_name> [(
  column_name[, ...]
)]
USING ICEBERG
[LOCATION 's3://your-bucket-name/prefix/']
[PARTITIONED BY [[column_name | transform_function]], ...]
[TABLE PROPERTIES ('compression_type'='<compression-value>')]
AS
SELECT query

Ceci est similaire à l'CREATE TABLEinstruction sauf qu'il CREATE est suivi d'une SELECT instruction pour remplir le tableau avec les résultats de la SELECT requête.

La CREATE TABLE clause ici ne vous permet plus de spécifier les types de données car les types de données des colonnes seront déterminés par la SELECT requête.

Si la SELECT requête échoue pour une raison quelconque, elle échouera et la table Iceberg ne sera pas créée.

Vous pouvez visualiser la structure de vos tables Iceberg en utilisant SHOW TABLE :

SHOW TABLE

SHOW TABLE <external_schema>.<table_name>

Vous pouvez également utiliser la notation en trois parties avec les catalogues montés automatiquement :

SHOW TABLE "<catalog_name>".<database_name>.<table_name>

SHOW TABLEaffiche l'CREATE TABLEinstruction de la table Iceberg. La commande affiche les résultats appropriés en fonction du type de table. Voici un exemple de SHOW TABLE sortie pour la table Iceberg :

CREATE TABLE my_schema.items (id int, price decimal(5, 2))
USING ICEBERG
LOCATION 's3://my_s3_bucket/items/'
PARTITIONED BY (bucket(16, id))
TABLE PROPERTIES ('compression_type'='snappy')

Après avoir créé des tables, vous pouvez ajouter des données en utilisant INSERT INTO :

INSERT INTO

INSERT INTO <external_schema>.<table_name> [(column_name [, ...])] VALUES (...)
INSERT INTO <external_schema>.<table_name> [(column_name [, ...])] (SELECT query)

-- Using three-part notation for S3 table buckets:
INSERT INTO "<table_bucket_name>@s3tablescatalog".<database_name>.<table_name> [(column_name [, ...])] VALUES (...)
INSERT INTO "<table_bucket_name>@s3tablescatalog".<database_name>.<table_name> [(column_name [, ...])] (SELECT query)

Vous pouvez créer INSERT INTO une table Iceberg en utilisant la syntaxe ci-dessus. Si une VALUES clause est utilisée, vous fournissez les valeurs des colonnes répertoriées parcolumn_name, ou de toutes les colonnes si column_name une partie est omise.

Lorsque des données sont insérées dans une table partitionnée, les nouvelles lignes sont distribuées conformément à la spécification de partition prédéfinie. Si, pour une raison quelconque, la SELECT requête échoue, elle échouera et aucune donnée ne sera insérée dans la table Iceberg.

Il est possible que vous accédiez à INSERT INTO une table Iceberg qui n'a pas été créée par Amazon Redshift. Il existe toutefois certaines limites :

Pour supprimer une table Iceberg du catalogue, utilisez la DROP TABLE commande :

DROP TABLE

DROP TABLE <external_schema>.<table_name>

Vous pouvez également utiliser la notation en trois parties avec les catalogues montés automatiquement :

DROP TABLE "<catalog_name>.<database_name>.<table_name>

La suppression d'une table Iceberg est une opération de métadonnées uniquement. Il supprime l'entrée de AWS Glue Data Catalog table d'un catalogue de tables Amazon S3, s'il s'agit d'une table Amazon S3. Amazon Redshift ne nettoie ni ne supprime aucun fichier de données ou de métadonnées existant à l'emplacement de la table. Vous pouvez utiliser les fonctionnalités AWS Glue et les tables Amazon S3 pour supprimer les fichiers orphelins. PourAWS Glue, voir Suppression de fichiers orphelins. Pour les tables Amazon S3, consultez la section Maintenance des tables.