Amazon Redshift unterstützt die Verwendung von Python-UDFs nach dem 30. Juni 2026 nicht mehr. Wir werden damit beginnen, es schrittweise durchzusetzen. Weitere Informationen zum Ende der Lebensdauer von Python und zu den Migrationsoptionen finden Sie im Blogbeitrag, der am 30. Juni 2025 veröffentlicht wurde.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Integration von Systemtabellen mit S3-Tabellen

Verwenden Sie die Systemtabellen-Integration mit Amazon S3-Tabellen, um Ihre Amazon https://docs.aws.amazon.com/redshift/latest/dg/serverless_views-monitoring.html Redshift-Systemtabellendaten über den 7-tägigen Aufbewahrungszeitraum innerhalb des Clusters hinaus aufzubewahren. Auf diese Weise können Sie die Compliance-, Prüf- und Beobachtbarkeitsanforderungen erfüllen. Wenn Sie diese Funktion aktivieren, schreibt Redshift Systemtabellenprotokolle im Apache Iceberg Format in S3-Tabellen und verwaltet Partitionierung, Komprimierung und Snapshot-Wartung. Sie können diese Daten so lange aufbewahren, wie Sie sie für Analysen und Prüfungen benötigen. Da die Daten im offenen Iceberg-Format gespeichert sind, können Sie sie mit Redshift, Amazon Athena oder einer anderen Engine abfragen. Iceberg-compatible Sie können die Fähigkeiten von KI-Agenten auch für Abfragen in natürlicher Sprache verwenden (siehe Systemtabellenkenntnisse für AWS Agent Toolkit auf der Website). GitHub

Wenn Sie diese Funktion über die Konsole, die Redshift-CLI oder das SDK aktivieren, beginnt Redshift kurz darauf, neue Zeilen aus den von Ihnen ausgewählten Systemtabellen in S3-Tabellen mit einer festen Frequenz zu schreiben. Sie wählen aus, welche Systemtabellen veröffentlicht werden sollen; S3 Tables erzwingt die von Ihnen konfigurierte Aufbewahrungsdauer.

Dies unterstützt die folgenden Anwendungsfälle:

Diese Funktion ist für von Amazon Redshift bereitgestellte RA3 - und https://aws.amazon.com/redshift/features/rg/ RG-Instances und Amazon Redshift Serverless in allen AWS kommerziellen Regionen verfügbar, in denen Redshift- und S3-Tabellen unterstützt werden. In diesem Thema bezieht sich Data Warehouse entweder auf einen bereitgestellten Cluster oder auf eine Redshift Serverless-Arbeitsgruppe.

Funktionsweise

Nachdem Sie die Funktion aktiviert und eine oder mehrere unterstützte Systemtabellen ausgewählt haben, schreibt Redshift neu vervollständigte Datensätze aus diesen Systemtabellen in S3-Tabellen. Die Daten werden stapelweise mit einer festen Frequenz geliefert.

Die Systemtabellen befinden sich in Ihrem AWS Konto, werden aber vom Service verwaltet: ist AWS verantwortlich für die Datenbereitstellung und die Tabellenverwaltung, einschließlich der folgenden Funktionen:

Es gibt keine Infrastruktur, die aufgebaut oder gewartet werden muss, und das hat keine Auswirkungen auf Ihre Workloads.

Sie konfigurieren, wie lange die Daten bis zum Ablauf des S3-Tabelles-Datensatzes aufbewahrt werden sollen. Weitere Informationen finden Sie unter Aufbewahrung konfigurieren.

Da die Tabellen von verwaltet werden AWS, können Sie die von Redshift bereitgestellten Zeilen nicht ändern oder löschen. Die gelieferten Daten sind unveränderlich. Sie kontrollieren nur den Lesezugriff auf die Tabellen. Weitere Informationen finden Sie unter Datenverwaltung.

Nur abgeschlossene Aktivitäten werden an S3-Tabellen übertragen. Die Systemtabellen in Ihrem Data Warehouse können Aktivitäten während des Fluges anzeigen, aber nur Datensätze, die einen endgültigen Status erreicht haben, werden kopiert. Beispielsweise wird eine abgeschlossene, abgebrochene oder stornierte Abfrage übermittelt, aber eine Abfrage, die noch läuft, wird erst übermittelt, wenn sie den Endstatus erreicht hat.

Aktivierung der Systemtabellen-Integration mit S3-Tabellen

Um die Integration von Systemtabellen mit S3-Tabellen zu ermöglichen, verwenden Sie die vorhandenen Redshift-APIs mit dem neuen Protokollzieltyp vons3table. Wenn diese Option aktiviert ist, erstellt Redshift einen S3-Tabellen-Bucket, der aws-redshift in Ihrem Konto benannt ist. Sie verwalten die Funktion mit denselben Vorgängen, die Sie für andere Log-Ziele verwenden: für bereitgestellte Cluster, enable-loggingdisable-logging, unddescribe-logging-status; für Redshift Serverless und. update-namespace get-namespace

Berechtigungen

Der Principal, der die Funktion aktiviert, ändert oder deaktiviert, muss über die folgenden Berechtigungen verfügen:

Nachdem der Bucket erstellt wurde, erstellt Redshift Namespaces und darin enthaltene Tabellen mithilfe einer Service-Vertrauensbeziehung zwischen Redshift und S3 Tables. Der aktivierende Prinzipal benötigt keine Berechtigungen, um Namespaces oder Tabellen zu erstellen.

Optionen für die Bereitstellung

Sie können die Bereitstellung in einem von zwei Mustern konfigurieren. Ein bestimmtes Data Warehouse verwendet jeweils ein Muster.

Das Bereitstellungsmodell bestimmt, wie Daten in S3-Tabellen organisiert werden. Im Modell pro Warehouse enthält der Name des S3 Tables-Namespace eine eindeutige Kennung für das Data Warehouse, sodass die Daten jedes Warehouse physisch in einen eigenen Namespace aufgeteilt sind. Im konsolidierten Modell enthält der Namespace-Name von S3 Tables die AWS Kontonummer, und Daten aus allen Warehouses in diesem Konto und dieser Region werden zusammen im selben Namespace und in denselben Tabellen gespeichert.

Beide Optionen werden innerhalb eines einzelnen AWS Kontos und einer einzelnen AWS Region unterstützt. Um Daten über Regionen oder Konten hinweg zu analysieren, kombinieren Sie die Ergebnisse aus den Tabellen der einzelnen Regionen oder Konten bei der Abfrage. Für den kontoübergreifenden Zugriff können Sie die gemeinsame Nutzung des AWS Glue Datenkatalogs verwenden. Weitere Informationen finden Sie im AWS Glue Entwicklerhandbuch unter Kontoübergreifendem Zugriff gewähren.

Verwenden der Konsole

Um die Veröffentlichung einer Systemtabelle zu beenden, kehren Sie zu den Einstellungen zurück und entfernen Sie sie. Bereits veröffentlichte Daten werden so lange aufbewahrt, bis Sie das Ablaufdatum mithilfe von S3-Tabellen konfigurieren.

Sie können den Status der Integration auf der Cluster- oder Namespace-Detailseite überprüfen. Erweitern Sie View S3 Table Mapping, um die Zuordnung zwischen den einzelnen Systemtabellen und dem entsprechenden S3-Tabellennamen und Namespace zu sehen. Sie können die veröffentlichten Daten auch über die S3-Tabellen-Konsole anzeigen.

Verwendung der AWS CLI

Die folgenden Parameter konfigurieren die Veröffentlichung von S3-Tabellen:

Bereitgestellte Cluster

Versand aktivieren. --log-exportsakzeptiert all oder eine durch Leerzeichen getrennte Liste unterstützter Systemtabellen und --s3-table-granularity akzeptiert cluster (pro Warehouse) oder account (konsolidiert).

aws redshift enable-logging \
    --cluster-identifier my-redshift-cluster \
    --log-destination-type s3table \
    --log-exports all \
    --s3-table-granularity account

So aktivieren Sie die Bereitstellung nur für bestimmte Systemtabellen:

aws redshift enable-logging \
    --cluster-identifier my-redshift-cluster \
    --log-destination-type s3table \
    --log-exports sys_query_history sys_query_text sys_userlog \
    --s3-table-granularity cluster

Überprüfen Sie den Lieferstatus.

aws redshift describe-logging-status \
    --cluster-identifier my-redshift-cluster

Deaktivieren Sie die Übertragung für alle Systemtabellen oder für bestimmte Tabellen mit--log-exports:

aws redshift disable-logging \
    --cluster-identifier my-redshift-cluster \
    --log-destination-type s3table \
    --log-exports sys_stream_scan_states

Redshift Serverlos

In Redshift Serverless konfigurieren Sie die Funktion pro Namespace mit. update-namespace Systemtabellennamen werden weitergegeben --s3-table-names (nicht). --log-exports

Versand aktivieren.

aws redshift-serverless update-namespace \
    --namespace-name my-namespace \
    --log-destination-type s3table \
    --s3-table-action Enable \
    --s3-table-names all \
    --s3-table-granularity namespace

Deaktiviere die Bereitstellung für bestimmte Systemtabellen (oderall):

aws redshift-serverless update-namespace \
    --namespace-name my-namespace \
    --log-destination-type s3table \
    --s3-table-action Disable \
    --s3-table-names sys_stream_scan_states

Überprüfen Sie den Lieferstatus.

aws redshift-serverless get-namespace \
    --namespace-name my-namespace

Um die Lieferung fortzusetzen, nachdem der S3-Tabellen-Bucket oder eine Tabelle gelöscht wurde, führen Sie den Befehl enable erneut aus.

Registrierung bei AWS Glue Data Catalog

Bevor Sie die gespeicherten Daten mit Redshift, Athena oder anderen Analysediensten abfragen können, muss der vom Service verwaltete S3-Tabellen-Bucket integriert werden. AWS Glue Data Catalog Dies ist ein einmaliger Schritt pro Konto und Region. Wenn Sie S3-Tabellen bereits integriert haben AWS Glue Data Catalog, sind keine weiteren Maßnahmen erforderlich.

Anweisungen zur Integration finden Sie unter Integrieren von Amazon S3-Tabellen mit AWS Glue Data Catalog im AWS Glue Entwicklerhandbuch.

Verschlüsselung konfigurieren

Standardmäßig werden an S3-Tabellen übermittelte Daten mit S3-managed Amazon-Schlüsseln (SSE-S3) verschlüsselt. Um stattdessen einen vom AWS KMS Kunden verwalteten Schlüssel zu verwenden, geben Sie dessen ARN an, --s3-table-kms-key-id wenn Sie die Zustellung aktivieren:

aws redshift enable-logging \
    --cluster-identifier my-redshift-cluster \
    --log-destination-type s3table \
    --log-exports all \
    --s3-table-granularity account \
    --s3-table-kms-key-id arn:aws:kms:us-west-2:111122223333:key/key-id

Wenn Sie einen vom Kunden verwalteten Schlüssel verwenden, muss dessen Schlüsselrichtlinie es dem Redshift System Table Integration Service Principal ermöglichen, Datenschlüssel zu generieren, wenn er Ihre Systemtabellen schreibt, und dem S3-Tabellen-Wartungsservice-Principal, den Schlüssel bei der Tabellenpflege (z. B. bei der Komprimierung) zu verwenden. Fügen Sie der Schlüsselrichtlinie die folgenden Anweisungen hinzu REGIONACCOUNT, und KEY_ID ersetzen Sie sie durch Ihre eigenen Werte.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "EnableRedshiftSystemTableKeyUsage",
      "Effect": "Allow",
      "Principal": {
        "Service": "systemtables.redshift.amazonaws.com"
      },
      "Action": [
        "kms:DescribeKey",
        "kms:GenerateDataKey",
        "kms:Decrypt"
      ],
      "Resource": "arn:aws:kms:REGION:ACCOUNT:key/KEY_ID",
      "Condition": {
        "StringEquals": {
          "aws:SourceAccount": "ACCOUNT"
        }
      }
    },
    {
      "Sid": "EnableS3TableMaintenanceKeyUsage",
      "Effect": "Allow",
      "Principal": {
        "Service": "maintenance.s3tables.amazonaws.com"
      },
      "Action": [
        "kms:GenerateDataKey",
        "kms:Decrypt"
      ],
      "Resource": "arn:aws:kms:REGION:ACCOUNT:key/KEY_ID",
      "Condition": {
        "StringLike": {
          "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3tables:REGION:ACCOUNT:bucket/aws-redshift/*"
        }
      }
    }
  ]
}

Wenn die Schlüsselrichtlinie diese Berechtigungen nicht gewährt, kann Redshift nicht in die verschlüsselten S3-Tabellen schreiben und die Übertragung schlägt fehl.

Unterstützte Systemtabellen

Sie können eine der folgenden SYS_* Überwachungsansichten für die Integration in S3-Tabellen auswählen. Für eine Beschreibung der Spalten in jeder Ansicht wählen Sie den Namen der Ansicht.

Jeder Tabelle wurden Metadatenspalten hinzugefügt

Jede S3-Tabelle enthält alle Spalten aus der SYS_* Quellsicht sowie die folgenden fünf Metadatenspalten, die Redshift hinzufügt, um die Quelle jeder Zeile und den Zeitpunkt ihrer Bereitstellung zu identifizieren.

Aufbewahrung konfigurieren

Redshift definiert keine Aufbewahrungsrichtlinie für die Daten, die es an S3-Tabellen liefert. Sie konfigurieren, wie lange die Daten aufbewahrt werden sollen, indem Sie über S3-Tabellen eine Richtlinie zum Ablauf von Datensätzen festlegen. Sie geben die Anzahl der Tage an (z. B. 5 Tage, 100 Tage oder 365 Tage), und S3 Tables entfernt automatisch Daten, deren Alter die konfigurierte Dauer überschreitet.

Wenn Sie keine Ablaufrichtlinie konfigurieren, werden Daten auf unbestimmte Zeit aufbewahrt.

Wenn Sie die Integration deaktivieren oder eine Systemtabelle entfernen, schreibt Redshift keine neuen Daten mehr, aber zuvor gelieferte Daten verbleiben in S3-Tabellen und unterliegen weiterhin den von Ihnen konfigurierten Ablaufrichtlinien.

Weitere Informationen finden Sie unter Konfiguration des Ablaufs von Datensätzen für S3-Tabellen-Buckets im Amazon S3-Benutzerhandbuch.

Datenverwaltung

Sie regeln den Zugriff auf die gespeicherten Systemtabellendaten; Redshift erteilt in Ihrem Namen keine Leseberechtigungen und maskiert keine Daten.

Bereitstellungs- und Lebenszyklusverhalten

Der Lieferstatus wird überprüft

Sie können die aktuelle Konfiguration und die letzte Lieferzeit pro Systemtabelle jederzeit überprüfen:

Redshift Serverlos

Die Bereitstellung hält eine Arbeitsgruppe nicht wach und verbraucht auch nicht Ihre Rechenleistung. Bevor die Arbeitsgruppe pausiert, stellt Redshift sicher, dass alle ausstehenden Stapel geliefert werden.

Bewährte Methoden

Fakturierung

Das Schreiben von Systemtabellendaten in S3-Tabellen ist kostenlos. Für die Speicherung und Wartung der gespeicherten Daten sowie für die Abfrage-Engine, die Sie zum Lesen der Daten verwenden, werden Ihnen die Standardspeicherung und Wartung von S3-Tabellen gemäß den Preisen dieser Engine in Rechnung gestellt. Weitere Informationen finden Sie unter Preise für Amazon S3-Tabellen.

Überlegungen und Einschränkungen