Amazon Redshift ne prendra plus en charge l'utilisation des UDF Python après le 30 juin 2026. Nous allons commencer à l'appliquer par étapes. Pour plus d'informations sur les détails de la fin de vie de Python et des options de migration, consultez le billet de blog publié le 30 juin 2025.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Intégration des tables système avec les tables S3

Utilisez l'intégration des tables système à Amazon S3 Tables pour conserver les données de vos tables système Amazon Redshift au-delà de la période de conservation de 7 jours dans le cluster. Cela vous permet de répondre aux exigences de conformité, d'audit et d'observabilité. Lorsque vous activez cette fonctionnalité, Redshift écrit les journaux des tables système dans les tables S3 au Apache Iceberg format et gère le partitionnement, le compactage et la maintenance des instantanés. Vous pouvez conserver ces données aussi longtemps que nécessaire à des fins d'analyse et d'audit. Les données étant stockées au format ouvert Iceberg, vous pouvez les interroger avec Redshift, Amazon Athena ou tout autre moteur. Iceberg-compatible Vous pouvez également utiliser les compétences des agents IA pour les requêtes en langage naturel (voir Compétences des tables système pour AWS Agent Toolkit sur le GitHub site Web).

Lorsque vous activez cette fonctionnalité via la console, l'interface de ligne de commande Redshift ou le SDK, Redshift commence à écrire de nouvelles lignes à partir des tables système que vous sélectionnez dans les tables S3 peu de temps après, à une fréquence fixe. Vous choisissez les tables système à publier ; S3 Tables applique la durée de conservation que vous configurez.

Cela prend en charge les cas d'utilisation suivants :

Cette fonctionnalité est disponible pour les instances RA3 et RG provisionnées par Amazon Redshift et pour Amazon Redshift Serverless dans toutes les régions AWS commerciales où les tables Redshift et S3 sont prises en charge. Dans cette rubrique, l'entrepôt de données fait référence à un cluster provisionné ou à un groupe de travail Redshift Serverless.

Comment ça marche

Après avoir activé la fonctionnalité et sélectionné une ou plusieurs tables système prises en charge, Redshift écrit les enregistrements récemment complétés à partir de ces tables système dans les tables S3. Les données sont fournies par lots à une fréquence fixe.

Les tables système se trouvent dans votre AWS compte mais sont gérées par un service  : AWS possède et gère la distribution des données et la gestion des tables, y compris les suivantes :

Il n'y a aucune infrastructure à créer ou à entretenir et aucun impact sur vos charges de travail.

Vous configurez la durée de conservation des données jusqu'à l'expiration des enregistrements S3 Tables. Pour de plus amples informations, veuillez consulter Configuration de la rétention.

Comme les tables sont gérées par AWS, vous ne pouvez ni modifier ni supprimer les lignes fournies par Redshift. Les données fournies sont immuables. Vous contrôlez uniquement l'accès en lecture aux tables. Pour de plus amples informations, veuillez consulter Gouvernance des données.

Seule l'activité terminée est transmise à S3 Tables. Les tables système de votre entrepôt de données peuvent indiquer l'activité en vol, mais seuls les enregistrements ayant atteint leur état final sont copiés. Par exemple, une requête terminée, abandonnée ou annulée est envoyée, mais une requête toujours en cours d'exécution n'est pas remise tant qu'elle n'a pas atteint son état final.

Activation de l'intégration des tables système avec les tables S3

Pour activer l'intégration des tables système avec les tables S3, utilisez les API Redshift existantes avec un nouveau type de destination de s3table journal, à savoir. Lorsque cette option est activée, Redshift crée un compartiment de tables S3 nommé aws-redshift dans votre compte. Vous gérez la fonctionnalité avec les mêmes opérations que vous utilisez pour les autres destinations de journaux : pour les clusters provisionnés, enable-loggingdisable-logging, et describe-logging-status ; pour Redshift Serverless, et. update-namespace get-namespace

Permissions

Le principal qui active, modifie ou désactive la fonctionnalité doit disposer des autorisations suivantes :

Une fois le compartiment créé, Redshift crée des espaces de noms et des tables dans celui-ci en utilisant une relation de confiance de service entre Redshift et S3 Tables. Le principal d'activation n'a pas besoin d'autorisations pour créer des espaces de noms ou des tables.

Options de déploiement

Vous pouvez configurer la diffusion selon l'un des deux modèles suivants. Un entrepôt de données donné utilise un modèle à la fois.

Le modèle de déploiement détermine la manière dont les données sont organisées dans les tables S3. Dans le modèle par entrepôt, le nom de l'espace de noms S3 Tables contient un identifiant unique pour l'entrepôt de données, de sorte que les données de chaque entrepôt sont physiquement séparées dans son propre espace de noms. Dans le modèle consolidé, le nom de l'espace de noms S3 Tables contient le numéro de AWS compte, et les données de tous les entrepôts de ce compte et de cette région sont stockées ensemble dans le même espace de noms et les mêmes tables.

Les deux options sont prises en charge au sein d'un seul AWS compte et d'une seule AWS région. Pour analyser les données entre les régions ou les comptes, combinez les résultats des tables de chaque région ou compte au moment de la requête. Pour accéder à plusieurs comptes, vous pouvez utiliser le partage du catalogue de AWS Glue données. Pour plus d'informations, consultez la section Octroi d'un accès multicompte dans le Guide du AWS Glue développeur.

Utilisation de la console

Pour arrêter de publier une table système, revenez aux paramètres et supprimez-la. Les données déjà publiées sont conservées jusqu'à ce que vous configuriez l'expiration via S3 Tables.

Vous pouvez consulter l'état de l'intégration sur la page détaillée du cluster ou de l'espace de nommage. Développez Afficher le mappage des tables S3 pour voir le mappage entre chaque table système et le nom et l'espace de noms de la table S3 correspondants. Vous pouvez également consulter les données publiées depuis la console S3 Tables.

Utilisation de AWS CLI

Les paramètres suivants configurent la publication de tables S3 :

Clusters alloués

Activez la livraison. --log-exportsaccepte all ou une liste séparée par des espaces des tables système prises en charge, et --s3-table-granularity accepte cluster (par entrepôt) ou account (consolidé).

aws redshift enable-logging \
    --cluster-identifier my-redshift-cluster \
    --log-destination-type s3table \
    --log-exports all \
    --s3-table-granularity account

Pour activer la diffusion de tables système spécifiques uniquement, procédez comme suit :

aws redshift enable-logging \
    --cluster-identifier my-redshift-cluster \
    --log-destination-type s3table \
    --log-exports sys_query_history sys_query_text sys_userlog \
    --s3-table-granularity cluster

Vérifiez l'état de la livraison.

aws redshift describe-logging-status \
    --cluster-identifier my-redshift-cluster

Désactivez la diffusion pour toutes les tables du système ou pour des tables spécifiques avec --log-exports :

aws redshift disable-logging \
    --cluster-identifier my-redshift-cluster \
    --log-destination-type s3table \
    --log-exports sys_stream_scan_states

Redshift sans serveur

Dans Redshift Serverless, vous configurez la fonctionnalité par espace de noms avec. update-namespace Les noms des tables système sont transmis --s3-table-names (non--log-exports).

Activez la livraison.

aws redshift-serverless update-namespace \
    --namespace-name my-namespace \
    --log-destination-type s3table \
    --s3-table-action Enable \
    --s3-table-names all \
    --s3-table-granularity namespace

Désactivez la diffusion pour des tables système spécifiques (ouall) :

aws redshift-serverless update-namespace \
    --namespace-name my-namespace \
    --log-destination-type s3table \
    --s3-table-action Disable \
    --s3-table-names sys_stream_scan_states

Vérifiez l'état de la livraison.

aws redshift-serverless get-namespace \
    --namespace-name my-namespace

Pour reprendre la livraison après la suppression du compartiment de tables S3 ou d'une table, exécutez à nouveau la commande enable.

S'inscrire auprès de AWS Glue Data Catalog

Avant de pouvoir interroger les données conservées avec Redshift, Athena ou d'autres services d'analyse, le compartiment de tables S3 géré par le service doit être intégré à. AWS Glue Data Catalog Il s'agit d'une étape unique par compte et par région. Si vous avez déjà intégré S3 Tables à AWS Glue Data Catalog, aucune action supplémentaire n'est requise.

Pour obtenir des instructions d'intégration, consultez la section Intégrer les tables Amazon S3 AWS Glue Data Catalog dans le Guide du AWS Glue développeur.

Configuration du chiffrement

Par défaut, les données transmises à S3 Tables sont chiffrées avec des S3-managed clés Amazon (SSE-S3). Pour utiliser une clé gérée par le AWS KMS client à la place, spécifiez son ARN avec --s3-table-kms-key-id lorsque vous activez la livraison :

aws redshift enable-logging \
    --cluster-identifier my-redshift-cluster \
    --log-destination-type s3table \
    --log-exports all \
    --s3-table-granularity account \
    --s3-table-kms-key-id arn:aws:kms:us-west-2:111122223333:key/key-id

Si vous utilisez une clé gérée par le client, sa politique de clé doit permettre au principal du service d'intégration des tables système Redshift de générer des clés de données lorsqu'il écrit vos tables système, et au principal du service de maintenance des tables S3 d'utiliser la clé lors de la maintenance des tables (comme le compactage). Ajoutez les déclarations suivantes à la politique clé, en les remplaçant par REGIONACCOUNT, et KEY_ID par vos propres valeurs.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "EnableRedshiftSystemTableKeyUsage",
      "Effect": "Allow",
      "Principal": {
        "Service": "systemtables.redshift.amazonaws.com"
      },
      "Action": [
        "kms:DescribeKey",
        "kms:GenerateDataKey",
        "kms:Decrypt"
      ],
      "Resource": "arn:aws:kms:REGION:ACCOUNT:key/KEY_ID",
      "Condition": {
        "StringEquals": {
          "aws:SourceAccount": "ACCOUNT"
        }
      }
    },
    {
      "Sid": "EnableS3TableMaintenanceKeyUsage",
      "Effect": "Allow",
      "Principal": {
        "Service": "maintenance.s3tables.amazonaws.com"
      },
      "Action": [
        "kms:GenerateDataKey",
        "kms:Decrypt"
      ],
      "Resource": "arn:aws:kms:REGION:ACCOUNT:key/KEY_ID",
      "Condition": {
        "StringLike": {
          "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3tables:REGION:ACCOUNT:bucket/aws-redshift/*"
        }
      }
    }
  ]
}

Si la politique clé n'accorde pas ces autorisations, Redshift ne peut pas écrire dans les tables S3 chiffrées et la livraison échoue.

Tables système prises en charge

Vous pouvez sélectionner l'une des vues de SYS_* surveillance suivantes à intégrer à S3 Tables. Pour obtenir une description des colonnes de chaque vue, choisissez le nom de la vue.

Colonnes de métadonnées ajoutées à chaque tableau

Chaque table S3 contient toutes les colonnes de la SYS_* vue source, ainsi que les cinq colonnes de métadonnées suivantes que Redshift ajoute pour identifier la source de chaque ligne et la date de livraison.

Configuration de la rétention

Redshift ne définit pas de politique de rétention pour les données qu'il fournit aux tables S3. Vous configurez la durée de conservation des données en définissant une politique d'expiration des enregistrements via S3 Tables. Vous spécifiez le nombre de jours (par exemple, 5 jours, 100 jours ou 365 jours) et S3 Tables supprime automatiquement les données qui dépassent la durée configurée.

Si vous ne configurez pas de politique d'expiration, les données sont conservées indéfiniment.

Lorsque vous désactivez l'intégration ou supprimez une table système, Redshift arrête d'écrire de nouvelles données, mais les données précédemment fournies restent dans les tables S3 et continuent d'être soumises à la politique d'expiration que vous avez configurée.

Pour plus d'informations, consultez la section Configuration de l'expiration des enregistrements pour les compartiments de tables S3 dans le guide de l'utilisateur Amazon S3.

Gouvernance des données

Vous régissez l'accès aux données des tables système conservées ; Redshift n'applique pas d'autorisations de lecture en votre nom et ne masque pas les données.

Comportement de livraison et de cycle de

Vérification de l'état de livraison

Vous pouvez consulter la configuration actuelle et le délai de livraison le plus récent par tableau système à tout moment :

Redshift sans serveur

La livraison n'empêche pas un groupe de travail de rester éveillé et ne consomme pas votre ordinateur. Avant que le groupe de travail ne fasse une pause, Redshift s'assure que tout lot en attente est livré.

Bonnes pratiques

Facturation

L'écriture des données des tables système dans S3 Tables est gratuite. Le stockage et la maintenance standard des tables S3 pour les données conservées, ainsi que le moteur de requête que vous utilisez pour lire les données, vous sont facturés conformément à la tarification de ce moteur. Pour plus d'informations, consultez la rubrique Tarification d'Amazon S3 Tables.

Considérations et restrictions