Rechenkapazität für Amazon Redshift Serverless - Amazon Redshift
Überlegungen und Einschränkungen für die Kapazität von Serverless-EndpunktenKI-gestützte Skalierung und Optimierung

Amazon Redshift unterstützt ab dem 1. November 2025 nicht mehr die Erstellung neuer Python-UDFs. Wenn Sie Python-UDFs verwenden möchten, erstellen Sie die UDFs vor diesem Datum. Bestehende Python-UDFs funktionieren weiterhin wie gewohnt. Weitere Informationen finden Sie im Blog-Posting.

Rechenkapazität für Amazon Redshift Serverless

Mit Amazon Redshift Serverless wird die Rechenkapazität automatisch nach oben und unten skaliert, um die Workload-Anforderungen zu erfüllen. Die Rechenkapazität bezieht sich auf die Verarbeitungsleistung und den Arbeitsspeicher, die Ihren Workloads in Amazon Redshift Serverless zugewiesen sind. Zu den häufigsten Anwendungsfällen gehören die Bewältigung von Zeiträumen mit hohem Datenverkehr, die Ausführung komplexer Analytik oder die effiziente Verarbeitung großer Datenmengen. Die folgenden Bedingungen enthalten Einzelheiten dazu, wie Amazon Redshift die Rechenkapazität verwaltet.

RPUs

Amazon Redshift Serverless misst die Kapazität von Data Warehouses in Redshift Processing Units (RPUs). RPUs sind Ressourcen, die zur Verarbeitung von Workloads verwendet werden. Eine RPU bietet 16 GB Arbeitsspeicher.

Basiskapazität

Diese Einstellung gibt die Basiskapazität des Data Warehouse an, die Amazon Redshift zur Verarbeitung von Abfragen verwendet. Die Basiskapazität wird in RPUs angegeben. Sie können eine Basiskapazität in Redshift Processing Units (RPUs) festlegen. Wenn Sie eine höhere Basiskapazität festlegen, wird die Abfrageleistung verbessert, insbesondere für Datenverarbeitungsaufträge, für die eine hohe Zahl von Ressourcen erforderlich ist. Die Standard-Basiskapazität für Amazon Redshift Serverless beträgt 128 RPUs. Sie können die Einstellung für die Basiskapazität von 4 RPUs bis 512 RPUs festlegen. Sie können diesen Wert auf 4 RPUs oder in Einheiten von 8 RPUs bei oder mehr als 8 RPUs festlegen (8, 16, 24 ... 512) festlegen. Sie können diesen Wert mithilfe der AWS-Konsole, der UpdateWorkgroup-API-Operation oder der update-workgroup-Operation in der AWS CLI festlegen.

Mit einer Mindest-Basiskapazität von 4 RPUs haben Sie jetzt mehr Flexibilität, einfachere bis komplexere Workloads auszuführen, basierend auf den Kosten und Kapazitätsanforderungen Ihres Data Warehouse. Die RPU-Basiskapazität von 4 RPUs ist auf Warehouses mit weniger als 32 TB Daten ausgerichtet. Die RPU-Basiskapazitäten von 8, 16 und 24 RPUs sind auf Workloads ausgerichtet, die weniger als 128 TB Daten benötigen. Wenn Ihre Datenanforderungen 128 TB überschreiten, müssen Sie eine Basiskapazität von mindestens 32 RPUs verwenden. Für Workloads mit Tabellen mit einer großen Anzahl von Spalten und höherer Parallelität empfehlen wir die Verwendung von mindestens 32 RPUs.

Die maximal verfügbaren Basis-RPUs (1024) stellt Ihren Workloads die höchste Stufe an Rechenressourcen bereit. Dies bietet mehr Flexibilität bei der Unterstützung von sehr komplexen Workloads und beschleunigt das Laden und Abfragen von Daten.

Anmerkung

Die erweiterte maximale RPU-Basiskapazität von 1024 ist in den folgenden AWS-Regionen verfügbar. In anderen Regionen beträgt die maximale Basiskapazität 512 RPUs.

  • USA Ost (Nord-Virginia)

  • USA Ost (Ohio)

  • USA West (Oregon)

  • Europa (Irland)

  • Europa (Frankfurt)

Sie können die RPUs in Einheiten von 32 erhöhen oder verringern, wenn Sie eine Basiskapazität zwischen 512 und 1024 festlegen.

Wenn Sie größere und komplexere Workloads verwalten, sollten Sie eine Vergrößerung Ihres Data Warehouse in Redshift Serverless in Betracht ziehen. Größere Warehouses haben Zugriff auf mehr Rechenressourcen, sodass sie Anfragen effizienter verarbeiten können.

Im Folgenden werden einige Fälle aufgeführt, in denen eine höhere Basiskapazität von Vorteil ist:

  • Es gibt komplexe Abfragen, deren Ausführung sehr viel Zeit in Anspruch nimmt.

  • Ihre Tabellen haben eine große Anzahl von Spalten.

  • Ihre Abfragen haben eine große Zahl von JOINs.

  • Ihre Abfragen aggregieren oder scannen große Datenmengen aus einer externen Quelle, z. B. einem Data Lake.

Weitere Informationen zu Quoten und Limits in Amazon Redshift Serverless finden Sie unter Kontingente für Objekte von Amazon Redshift Serverless.

Überlegungen und Einschränkungen für die Kapazität von Amazon Redshift Serverless

Im Folgenden finden Sie Überlegungen und Einschränkungen in Bezug auf die Kapazität von Amazon Redshift Serverless. Allgemeine Überlegungen zu Redshift Serverless finden Sie unter Überlegungen zur Verwendung von Amazon Redshift Serverless.

  • Konfigurationen mit einer Basiskapazität von 4 RPUs unterstützen eine verwaltete Speicherkapazität von bis zu 32 TB. Wenn Sie mehr als 32 TB an verwaltetem Speicher verwenden, müssen Sie die RPU-Basiskapazität auf mindestens 8 RPUs festlegen.

  • Konfigurationen mit einer Basiskapazität von 8 oder 16 RPUs unterstützen eine Redshift-verwaltete Speicherkapazität von bis zu 128 TB. Wenn Sie mehr als 128 TB an verwaltetem Speicher verwenden, müssen Sie eine Basiskapazität von mindestens 32 RPUs festlegen.

  • Das Bearbeiten der Basiskapazität Ihrer Arbeitsgruppe kann zum Abbruch einiger Abfragen führen, die in Ihrer Arbeitsgruppe ausgeführt werden.

  • Redshift Serverless skaliert RPUs für Ihr Data Warehouse in den folgenden Inkrementen:

    • 4 bis 8 RPUs: Erhöhung in Schritten von jeweils 4 RPUs.

    • 8 bis 512 RPUs: Erhöhung in Schritten von jeweils 8 RPUs.

    • 512 bis 1024 RPUs: Erhöhung in Schritten von jeweils 32 RPUs.

  • Der Vakuum-Boost wird nur für Basiskapazitäten ab 8 RPUs unterstützt. Verwenden Sie für Basiskapazitäten bis 8 RPUs stattdessen den folgenden Befehl:

    VACUUM [FULL | SORT ONLY | DELETE ONLY | REINDEX | RECLUSTER] [table_name] [TO threshold PERCENT]

Redshift Serverless mit einer Kapazität von 4 Redshift Processing Units (RPUs)

Redshift Serverless mit einer Basiskapazität von 4-RPUs ist ideal für kleinere oder weniger komplexe Workloads. Dieser Einstiegspunkt bietet eine flexible und kostengünstige Lösung. Diese Einstiegskonfiguration unterstützt Data Warehouses, die folgenden Kriterien entsprechen:

  • Maximal 32 TB an verwaltetem Redshift-Speicher

  • Maximal 100 Spalten pro Tabelle

  • 64 GB Arbeitsspeicher

Wenn Sie diese Einschränkungen überschreiten müssen, müssen Sie Ihre Basiskapazität manuell erhöhen, anstatt sich auf Auto-Scaling zu verlassen. Sobald Sie Ihr Data Warehouse auf mehr als 4 RPUs skaliert haben, verwendet Ihr Data Warehouse dauerhaft mehr RPUs. Amazon Redshift skaliert Ihr Data Warehouse nicht zurück auf 4 RPUs.

Anmerkung

Sie können Tabellen mit mehr als 100 Spalten erstellen, wenn Sie 4 Basis-RPUs verwenden. Wir empfehlen jedoch, Tabellen auf 100 Spalten zu beschränken. Die Überschreitung dieses Limits kann dazu führen, dass Ihr Data Warehouse während der Abfrageausführung den Arbeitsspeicher erschöpft, was die Leistung beeinträchtigt.

Sie können in den folgenden AWS-Regionen Data Warehouses erstellen, die 4 RPUs verwenden:

  • US East (Ohio)

  • USA Ost (Nord-Virginia)

  • USA West (Nordkalifornien)

  • USA West (Oregon)

  • Asia Pacific (Mumbai)

  • Asien-Pazifik (Singapur)

  • Asien-Pazifik (Sydney)

  • Asien-Pazifik (Tokio)

  • Europa (Irland)

  • Europa (Stockholm)

KI-gestützte Skalierung und Optimierung

Die KI-gesteuerte Skalierung und Optimierung ist in allen AWS-Regionen verfügbar, in denen Amazon Redshift Serverless verfügbar ist.

Amazon Redshift Serverless enthält ein erweitertes Feature für die KI-gesteuerte Skalierung und Optimierung, um unterschiedlichen Workload-Anforderungen zu erfüllen. Bei Data Warehouses können die folgenden Bereitstellungsprobleme auftreten:

  • Data Warehouses sind möglicherweise überdimensioniert, um die Leistung ressourcenintensiver Abfragen zu verbessern.

  • Data Warehouses sind möglicherweise unterdimensioniert, um Kosten zu sparen.

Die Identifizierung des richtigen Gleichgewichts zwischen Leistung und Kosten für Data-Warehouse-Workloads ist eine Herausforderung. Dies gilt insbesondere für Ad-hoc-Abfragen und wachsende Datenmengen. Bei der Ausführung gemischter Workloads, die Abfragen sowohl mit geringem als auch mit hohem Ressourcenbedarf umfassen, ist eine intelligente Skalierung erforderlich. Das KI-gestützte Feature für Skalierung und Optimierung skaliert automatisch Serverless-Rechenleistung oder RPUs als Reaktion auf das Datenwachstum. Dieses Feature trägt auch dazu bei, die Abfrageleistung innerhalb der angestrebten Preis-Leistungs-Ziele zu halten. Die KI-gestützte Skalierung und Optimierung weist Rechenressourcen dynamisch zu, wenn das Datenvolumen zunimmt. So wird sichergestellt, dass Abfragen auch weiterhin die Leistungsziele erfüllen. Die KI-gestützte Skalierung und Optimierung ermöglicht dem Service die nahtlose Anpassung an geänderte Workload-Anforderungen, ohne dass manuelle Eingriffe oder eine komplexe Kapazitätsplanung erforderlich sind.

Amazon Redshift Serverless bietet eine umfassendere und reaktionsfähigere Skalierungslösung, basierend auf Faktoren wie Abfragekomplexität und Datenvolumen. Dieses Feature ermöglicht die Optimierung des Preis-Leistungs-Verhältnisses von Workloads bei gleichzeitiger Beibehaltung der Flexibilität, um unterschiedliche Workloads und wachsende Datensätze effizient zu handhaben. Amazon Redshift Serverless kann automatisch KI-gesteuerte Optimierungen für Ihren Endpunkt in Amazon Redshift Serverless ausführen, um die festgelegten Preis-Leistungs-Ziele für Ihre Serverless-Arbeitsgruppe zu erfüllen. Diese automatische Preis-Leistungs-Optimierung ist besonders nützlich, wenn Sie nicht wissen, welche Basiskapazität Sie für Ihre Workloads festlegen sollen, oder wenn einige Teile Ihres Workloads von der Zuweisung weiterer Ressourcen profitieren könnten.

Beispiel

Wenn Ihre Organisation in der Regel Workloads ausführt, die nur 32 RPUs benötigen, plötzlich jedoch eine komplexere Abfrage ausführen muss, wissen Sie möglicherweise nicht, welche Basiskapazität Sie benötigen. Die Festlegung einer höheren Basiskapazität führt zu einer höheren Leistung, verursacht jedoch auch höhere Kosten. Daher entsprechen die Kosten möglicherweise nicht Ihren Erwartungen. Über die KI-gestützte Skalierung und Ressourcenoptimierung passt Amazon Redshift Serverless die RPUs automatisch an Ihre Preis-Leistungs-Ziele an und optimiert gleichzeitig die Kosten für Ihre Organisation. Diese automatische Optimierung ist unabhängig von der Größe des Workloads nützlich. Die automatische Optimierung kann Ihnen helfen, bei komplexen Abfragen die Preis-Leistungs-Ziele Ihrer Organisation einzuhalten.

Anmerkung

Die Preis-Leistungs-Ziele sind eine arbeitsgruppenspezifische Einstellung. Für unterschiedliche Arbeitsgruppen können unterschiedliche Preis-Leistungs-Ziele gelten.

Um die Kosten planen zu können, legen Sie ein Limit für die maximale Kapazität fest, die Amazon Redshift Serverless Ihren Workloads zuweisen darf.

Sie konfigurieren die Preis-Leistungs-Ziele über die AWS-Konsole. Sie müssen Ihr Preis-Leistungs-Ziel explizit aktivieren, wenn Sie Ihre Serverless-Arbeitsgruppe erstellen. Sie können das Preis-Leistungs-Ziel ändern, nachdem Sie die Serverless-Arbeitsgruppe erstellt haben. Wenn Sie das Preis-Leistungs-Ziel aktivieren, ist es standardmäßig auf Ausgewogen festgelegt.

So bearbeiten Sie das Preis-Leistungs-Ziel für Ihre Arbeitsgruppe:

  1. Wählen Sie in der Konsole von Amazon Redshift Serverless die Option Arbeitsgruppenkonfiguration aus.

  2. Wählen Sie die Arbeitsgruppe aus, deren Preis-Leistungs-Ziel Sie bearbeiten möchten. Wählen Sie die Registerkarte Leistung und anschließend Bearbeiten aus.

  3. Wählen Sie das Preis-Leistungs-Ziel aus und legen Sie den Schieberegler auf die gewünschte Einstellung fest.

  4. Wählen Sie Änderungen speichern aus.

  5. Um die maximale Anzahl der RPUs zu aktualisieren, die Amazon Redshift Serverless Ihrem Workload zuweisen kann, wählen Sie im Abschnitt Arbeitsgruppenkonfiguration die Registerkarte Limits aus.

Mit dem Schieberegler Preis-Leistungs-Ziel können Sie das gewünschte Gleichgewicht zwischen Kosten und Leistung festlegen. Durch Verschieben des Schiebereglers können Sie eine der folgenden Optionen auswählen:

  • Kostenoptimiert – Diese Einstellung priorisiert Kosteneinsparungen. Amazon Redshift Serverless versucht, die Rechenkapazität automatisch hochzuskalieren, wenn dies keine zusätzlichen Kosten verursacht. Amazon Redshift Serverless versucht auch, die Rechenkapazität herunterzuskalieren, um die Kosten zu senken, was die Abfragelaufzeiten möglicherweise verlängert.

  • Ausgewogen – Diese Einstellung stellt ein Gleichgewicht zwischen Leistung und Kosten her. Amazon Redshift Serverless kann hinsichtlich der Leistung skaliert werden, was zu einer moderaten Kostenerhöhung oder Kostensenkung führen kann. Dies ist die empfohlene Einstellung für die meisten Data Warehouses in Amazon Redshift Serverless.

  • Leistungsoptimiert – Dieser Einstellung priorisiert die Leistung. Amazon Redshift skaliert aggressiv, um eine hohe Leistung zu erzielen, was möglicherweise zu höheren Kosten führt.

  • Zwischenpositionen: Sie können den Schieberegler auch auf eine von zwei Zwischenpositionen zwischen Ausgewogen und Kostenoptimiert oder Leistungsoptimiert festlegen. Sie können dies verwenden, wenn eine vollständige Optimierung hinsichtlich Kosten oder Leistung zu extrem ist.

Überlegungen bei der Wahl Ihres Preis-Leistungs-Ziels

Mithilfe des Preis-Leistungs-Schiebereglers können Sie das gewünschte Preis-Leistungs-Ziel für Ihren Workload auswählen. Der KI-gestützte Algorithmus für Skalierung und Optimierung lernt über die Zeit anhand Ihres Workloads und verbessert die Genauigkeit von Prognosen und Entscheidungen.

Beispiel

Angenommen, es gibt eine Abfrage, die sieben Minuten dauert und 7 USD kostet. In der folgenden Abbildung werden Abfragelaufzeiten und Kosten ohne Skalierung dargestellt.

Grafik der Beispielabfrage für das Autoscaling in Amazon Redshift Serverless.

Eine bestimmte Abfrage kann auf verschiedene Arten abskaliert werden, wie unten gezeigt. Auf der Grundlage des von Ihnen gewählten Preis-Leistungs-Ziels prognostiziert die KI-gestützte Skalierung das Verhältnis von Leistung und Kosten für die Abfrage und skaliert sie entsprechend. Die Auswahl der verschiedenen Schieberegleroptionen führt zu folgenden Ergebnissen:

Grafik der Beispielabfrage für das Autoscaling in Amazon Redshift Serverless.

  • Kostenoptimiert – Bei Auswahl der Option Kostenoptimiert führt Ihr Data Warehouse die Skalierung so durch, dass die Kosten gesenkt werden. Im vorherigen Beispiel zeigt der superlineare Skalierungsansatz dieses Verhalten. Eine Skalierung erfolgt nur, wenn sie gemäß den Skalierungsmodellprognosen kostengünstig durchgeführt werden kann. Wenn die Skalierungsmodelle voraussagen, dass eine kostenoptimierte Skalierung für den jeweiligen Workload nicht möglich ist, wird das Data Warehouse nicht skaliert.

  • Ausgewogen – Bei Auswahl der Option Ausgewogen wird das System unter Berücksichtigung von Kosten- und Leistungsaspekten skaliert, wobei die Kosten möglicherweise einem Limit unterliegen. Die Option Ausgewogen ermöglicht eine superlineare, lineare und möglicherweise sublineare Skalierung des Workloads.

  • Leistungsoptimiert – Bei Auswahl der Option Leistungsoptimiert kann das System zusätzlich zu den bisherigen Methoden zur Leistungsverbesserung auch dann skaliert werden, wenn die Kosten höher sind – und möglicherweise nicht proportional zur Laufzeitverbesserung sind. Bei Auswahl der Option Leistungsoptimiert führt das System eine superlineare Skalierung, lineare Skalierung und sublineare Skalierung durch, wenn möglich. Je näher der Schieberegler an der Position Leistungsoptimiert liegt, desto eher ermöglicht Amazon Redshift Serverless eine sublineare Skalierung.

Beachten Sie bei der Festlegung des Schiebereglers Preis-Leistungs-Verhältnis Folgendes:

  • Sie können die Einstellung für das Preis-Leistungs-Ziel jederzeit ändern. Die Skalierung des Workloads ändert sich jedoch nicht sofort. Die Skalierung ändert sich im Laufe der Zeit, wenn das System mehr über den aktuellen Workload erfährt. Wir empfehlen, eine Serverless-Arbeitsgruppe 1 bis 3 Tage zu überwachen, um die Auswirkungen der neuen Einstellung zu überprüfen.

  • Die Preis-Leistungs-Schieberegleroptionen Max. Kapazität und Max. RPU-Stunden arbeiten zusammen. Max. Kapazität und Max. RPU-Stunden sind die Kontrollen zur Festlegung der maximalen Zahl von RPUs, die Amazon Redshift Serverless zur Skalierung des Data Warehouse zulässt, und der maximalen Zahl der RPU-Stunden, die Amazon Redshift Serverless dem Data Warehouse zur Verfügung stellt. Amazon Redshift Serverless berücksichtigt diese Einstellungen immer und setzt sie durch, unabhängig von der Einstellung des Preis-Leistungs-Ziels.

Überwachen der automatischen Skalierung von Ressourcen

Sie können die KI-gestützte RPU-Skalierung wie folgt überwachen:

  • Überprüfen Sie das Diagramm für die verbrauchte RPU-Kapazität in der Konsole für Amazon Redshift.

  • Überwachen Sie die ComputeCapacity-Metrik unter AWS/Redshift-Serverless und Workgroup in CloudWatch.

  • Fragen Sie die Ansicht SYS_QUERY_HISTORY ab. Geben Sie die spezifische Abfrage-ID oder den spezifischen Abfragetext an, um den Zeitraum zu identifizieren. Verwenden Sie diesen Zeitraum, um die Systemansicht SYS_SERVERLESS_USAGE abzufragen und den compute_capacity-Wert zu suchen. Das Feld compute_capacity zeigt die RPUs an, die während der Laufzeit der Abfrage skaliert wurden.

Verwenden Sie eine ähnliche Abfrage wie im folgenden Beispiel, um die Ansicht SYS_QUERY_HISTORY abzufragen. Ersetzen Sie die Beispielwerte durch Ihren Abfragetext.

select query_id,query_text,start_time,end_time, elapsed_time/1000000.0 duration_in_seconds
from sys_query_history
where query_text like '<query_text>'
and query_text not like '%sys_query_history%'
order by start_time desc

Führen Sie die folgende Abfrage aus, um zu sehen, wie compute_capacity während des Zeitraums von start_time bis end_time skaliert wurde. Ersetzen Sie start_time und end_time in der folgenden Abfrage durch die Ausgabe der vorherigen Abfrage:

select * from sys_serverless_usage
where end_time >= 'start_time'
and end_time <= DATEADD(minute,1,'end_time')
order by end_time asc

Eine schrittweise Anleitung zur Verwendung dieser Features finden Sie unter Konfigurieren von Überwachung, Limits und Alarmen in Amazon Redshift Serverless zur Kostenplanbarkeit.

Überlegungen bei der Verwendung von KI-gestützter Skalierung und Optimierung

Beachten Sie die folgenden Punkte, wenn Sie die KI-gestützte Skalierung und Optimierung nutzen:

  • Für vorhandene Workloads auf Amazon Redshift Serverless, die 32 bis 512 Basis-RPUs erfordern, empfehlen wir die Verwendung der KI-gestützten Skalierung und Optimierung von Amazon Redshift Serverless, um optimale Ergebnisse zu erzielen. Wir empfehlen, dieses Feature nicht für Workloads zu verwenden, die weniger als 32 Basis-RPUs oder mehr als 512 Basis-RPUs erfordern.

  • Preis-Leistungs-Ziele optimieren automatisch den Workload, obwohl die Ergebnisse unterschiedlich sein können. Wir empfehlen, dieses Feature über die Zeit zu verwenden, damit das System anhand eines repräsentativen Workloads mehr über Ihre spezifischen Muster lernen kann.

  • Die KI-gesteuerte Skalierung und Optimierung verwendet optimale Zeiten, um Optimierungen auf Serverless-Arbeitsgruppen anzuwenden, abhängig vom Workload, der auf Ihrer Instance in Amazon Redshift Serverless ausgeführt wird.

Weitere Informationen zu KI-gesteuerten Optimierungen und Ressourcenskalierungen finden Sie im folgenden Video.