View a markdown version of this page

Rechenkapazität für Amazon Redshift Serverless - Amazon Redshift
Überlegungen und Einschränkungen für die Kapazität von Serverless-EndpunktenAI-driven Skalierung und Optimierung

Amazon Redshift unterstützt ab Patch 198 nicht mehr die Erstellung neuer Python-UDFs. Bestehende Python-UDFs werden bis zum 30. Juni 2026 weiterhin funktionieren. Weitere Informationen finden Sie im Blog-Posting.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Rechenkapazität für Amazon Redshift Serverless

Mit Amazon Redshift Serverless wird die Rechenkapazität automatisch nach oben und unten skaliert, um die Workload-Anforderungen zu erfüllen. Die Rechenkapazität bezieht sich auf die Verarbeitungsleistung und den Arbeitsspeicher, die Ihren Workloads in Amazon Redshift Serverless zugewiesen sind. Zu den häufigsten Anwendungsfällen gehören die Bewältigung von Zeiträumen mit hohem Datenverkehr, die Ausführung komplexer Analytik oder die effiziente Verarbeitung großer Datenmengen. Die folgenden Bedingungen enthalten Einzelheiten dazu, wie Amazon Redshift die Rechenkapazität verwaltet.

RPUs

Amazon Redshift Serverless misst die Kapazität von Data Warehouses in Redshift Processing Units (RPUs). RPUs sind Ressourcen, die zur Verarbeitung von Workloads verwendet werden. Eine RPU bietet 16 GB Arbeitsspeicher.

Basiskapazität

Diese Einstellung gibt die Basiskapazität des Data Warehouse an, die Amazon Redshift zur Verarbeitung von Abfragen verwendet. Die Basiskapazität wird in RPUs angegeben. Sie können eine Basiskapazität in Redshift Processing Units (RPUs) festlegen. Wenn Sie eine höhere Basiskapazität festlegen, wird die Abfrageleistung verbessert, insbesondere für Datenverarbeitungsaufträge, für die eine hohe Zahl von Ressourcen erforderlich ist. Die Standard-Basiskapazität für Amazon Redshift Serverless beträgt 128 RPUs. Sie können die Einstellung für die Basiskapazität von 4 RPUs bis 512 RPUs festlegen. Sie können diesen Wert auf 4 RPUs oder in Einheiten von 8 RPUs bei oder mehr als 8 RPUs festlegen (8, 16, 24 ... 512) festlegen. Sie können diesen Wert mithilfe der AWS Konsole, der UpdateWorkgroup API-Operation oder der update-workgroup Operation in der festlegen AWS CLI.

Mit einer Mindest-Basiskapazität von 4 RPUs haben Sie jetzt mehr Flexibilität, einfachere bis komplexere Workloads auszuführen, basierend auf den Kosten und Kapazitätsanforderungen Ihres Data Warehouse. Die RPU-Basiskapazität von 4 RPUs ist auf Warehouses mit weniger als 32 TB Daten ausgerichtet. Die RPU-Basiskapazitäten von 8, 16 und 24 RPUs sind auf Workloads ausgerichtet, die weniger als 128 TB Daten benötigen. Wenn Ihre Datenanforderungen 128 TB überschreiten, müssen Sie eine Basiskapazität von mindestens 32 RPUs verwenden. Für Workloads mit Tabellen mit einer großen Anzahl von Spalten und höherer Parallelität empfehlen wir die Verwendung von mindestens 32 RPUs.

Die maximal verfügbaren Basis-RPUs (1024) stellt Ihren Workloads die höchste Stufe an Rechenressourcen bereit. Dies bietet mehr Flexibilität bei der Unterstützung von sehr komplexen Workloads und beschleunigt das Laden und Abfragen von Daten.

Anmerkung

Im Folgenden AWS-Regionen ist eine erweiterte maximale RPU-Basiskapazität von 1024 verfügbar. In anderen Regionen beträgt die maximale Basiskapazität 512 RPUs.

  • USA Ost (Nord-Virginia)

  • USA Ost (Ohio)

  • USA West (Oregon)

  • Europa (Irland)

  • Europa (Frankfurt)

Sie können die RPUs in Einheiten von 32 erhöhen oder verringern, wenn Sie eine Basiskapazität zwischen 512 und 1024 festlegen.

Wenn Sie größere und komplexere Workloads verwalten, sollten Sie eine Vergrößerung Ihres Data Warehouse in Redshift Serverless in Betracht ziehen. Größere Warehouses haben Zugriff auf mehr Rechenressourcen, sodass sie Anfragen effizienter verarbeiten können.

Im Folgenden werden einige Fälle aufgeführt, in denen eine höhere Basiskapazität von Vorteil ist:

  • Es gibt komplexe Abfragen, deren Ausführung sehr viel Zeit in Anspruch nimmt.

  • Ihre Tabellen haben eine große Anzahl von Spalten.

  • Ihre Abfragen haben eine große Zahl von JOINs.

  • Ihre Abfragen aggregieren oder scannen große Datenmengen aus einer externen Quelle, z. B. einem Data Lake.

Weitere Informationen zu Quoten und Limits in Amazon Redshift Serverless finden Sie unter Kontingente für Objekte von Amazon Redshift Serverless.

Überlegungen und Einschränkungen für die Kapazität von Amazon Redshift Serverless

Im Folgenden finden Sie Überlegungen und Einschränkungen in Bezug auf die Kapazität von Amazon Redshift Serverless. Allgemeine Überlegungen zu Redshift Serverless finden Sie unter Überlegungen zur Verwendung von Amazon Redshift Serverless.

  • Konfigurationen mit einer Basiskapazität von 4 RPUs unterstützen eine verwaltete Speicherkapazität von bis zu 32 TB. Wenn Sie mehr als 32 TB an verwaltetem Speicher verwenden, müssen Sie die RPU-Basiskapazität auf mindestens 8 RPUs festlegen.

  • Konfigurationen mit einer Basiskapazität von 8 oder 16 RPUs unterstützen eine Redshift-verwaltete Speicherkapazität von bis zu 128 TB. Wenn Sie mehr als 128 TB an verwaltetem Speicher verwenden, müssen Sie eine Basiskapazität von mindestens 32 RPUs festlegen.

  • Das Bearbeiten der Basiskapazität Ihrer Arbeitsgruppe kann zum Abbruch einiger Abfragen führen, die in Ihrer Arbeitsgruppe ausgeführt werden.

  • Redshift Serverless skaliert RPUs für Ihr Data Warehouse in den folgenden Inkrementen:

    • 4 bis 8 RPUs: Erhöhung in Schritten von jeweils 4 RPUs.

    • 8 bis 512 RPUs: Erhöhung in Schritten von jeweils 8 RPUs.

    • 512 bis 1024 RPUs: Erhöhung in Schritten von jeweils 32 RPUs.

  • Der Vakuum-Boost wird nur für Basiskapazitäten ab 8 RPUs unterstützt. Verwenden Sie für Basiskapazitäten bis 8 RPUs stattdessen den folgenden Befehl:

    VACUUM [FULL | SORT ONLY | DELETE ONLY | REINDEX | RECLUSTER] [table_name] [TO threshold PERCENT]

Redshift Serverless mit einer Kapazität von 4 Redshift Processing Units (RPUs)

Redshift Serverless mit einer Basiskapazität von 4-RPUs ist ideal für kleinere oder weniger komplexe Workloads. Dieser Einstiegspunkt bietet eine flexible und kostengünstige Lösung. Diese Einstiegskonfiguration unterstützt Data Warehouses, die folgenden Kriterien entsprechen:

  • Maximal 32 TB an verwaltetem Redshift-Speicher

  • Maximal 100 Spalten pro Tabelle

  • 64 GB Arbeitsspeicher

Wenn Sie diese Einschränkungen überschreiten müssen, müssen Sie Ihre Basiskapazität manuell erhöhen, anstatt sich auf Auto-Scaling zu verlassen. Sobald Sie Ihr Data Warehouse auf mehr als 4 RPUs skaliert haben, verwendet Ihr Data Warehouse dauerhaft mehr RPUs. Amazon Redshift skaliert Ihr Data Warehouse nicht zurück auf 4 RPUs.

Anmerkung

Sie können Tabellen mit mehr als 100 Spalten erstellen, wenn Sie 4 Basis-RPUs verwenden. Wir empfehlen jedoch, Tabellen auf 100 Spalten zu beschränken. Die Überschreitung dieses Limits kann dazu führen, dass Ihr Data Warehouse während der Abfrageausführung den Arbeitsspeicher erschöpft, was die Leistung beeinträchtigt.

Im Folgenden können Sie Data Warehouses erstellen, die 4 RPUs verwenden: AWS-Regionen

  • US East (Ohio)

  • USA Ost (Nord-Virginia)

  • USA West (Nordkalifornien)

  • USA West (Oregon)

  • Asien-Pazifik (Mumbai)

  • Asien-Pazifik (Singapur)

  • Asien-Pazifik (Sydney)

  • Asien-Pazifik (Tokio)

  • Europa (Irland)

  • Europa (Stockholm)

AI-driven Skalierung und Optimierung

Die AI-driven Skalierungs- und Optimierungsfunktion ist in allen AWS Regionen verfügbar, in denen Amazon Redshift Serverless verfügbar ist.

Amazon Redshift Serverless bietet eine erweiterte AI-driven Skalierungs- und Optimierungsfunktion, um unterschiedlichen Workload-Anforderungen gerecht zu werden. Bei Data Warehouses können die folgenden Bereitstellungsprobleme auftreten:

  • Data Warehouses sind möglicherweise überdimensioniert, um die Leistung ressourcenintensiver Abfragen zu verbessern.

  • Data Warehouses sind möglicherweise unterdimensioniert, um Kosten zu sparen.

Die Identifizierung des richtigen Gleichgewichts zwischen Leistung und Kosten für Data-Warehouse-Workloads ist eine Herausforderung. Dies gilt insbesondere für Ad-hoc-Abfragen und wachsende Datenmengen. Bei der Ausführung gemischter Workloads, die Abfragen sowohl mit geringem als auch mit hohem Ressourcenbedarf umfassen, ist eine intelligente Skalierung erforderlich. Die AI-driven Skalierungs- und Optimierungsfunktion skaliert automatisch serverlose Rechenleistung oder RPUs als Reaktion auf das Datenwachstum. Dieses Feature trägt auch dazu bei, die Abfrageleistung innerhalb der angestrebten Preis-Leistungs-Ziele zu halten. Die AI-driven Skalierung und Optimierung weist Rechenressourcen dynamisch zu, wenn das Datenvolumen zunimmt, und stellt so sicher, dass Abfragen auch weiterhin die Leistungsziele erfüllen. AI-driven Durch Skalierung und Optimierung kann sich der Service nahtlos an sich ändernde Workload-Anforderungen anpassen, ohne dass manuelles Eingreifen oder komplexe Kapazitätsplanung erforderlich sind.

Amazon Redshift Serverless bietet eine umfassendere und reaktionsfähigere Skalierungslösung, basierend auf Faktoren wie Abfragekomplexität und Datenvolumen. Dieses Feature ermöglicht die Optimierung des Preis-Leistungs-Verhältnisses von Workloads bei gleichzeitiger Beibehaltung der Flexibilität, um unterschiedliche Workloads und wachsende Datensätze effizient zu handhaben. Amazon Redshift Serverless kann automatisch AI-driven Optimierungen an Ihrem Amazon Redshift Serverless-Endpunkt vornehmen, um Ihre angegebenen Preisleistungsziele für Ihre serverlose Arbeitsgruppe zu erreichen. Diese automatische Preis-Leistungs-Optimierung ist besonders nützlich, wenn Sie nicht wissen, welche Basiskapazität Sie für Ihre Workloads festlegen sollen, oder wenn einige Teile Ihres Workloads von der Zuweisung weiterer Ressourcen profitieren könnten.

Beispiel

Wenn Ihre Organisation in der Regel Workloads ausführt, die nur 32 RPUs benötigen, plötzlich jedoch eine komplexere Abfrage ausführen muss, wissen Sie möglicherweise nicht, welche Basiskapazität Sie benötigen. Die Festlegung einer höheren Basiskapazität führt zu einer höheren Leistung, verursacht jedoch auch höhere Kosten. Daher entsprechen die Kosten möglicherweise nicht Ihren Erwartungen. Mithilfe von AI-driven Skalierung und Ressourcenoptimierung passt Amazon Redshift Serverless die RPUs automatisch an Ihre Preisleistungsziele an und optimiert gleichzeitig die Kosten für Ihr Unternehmen. Diese automatische Optimierung ist unabhängig von der Größe des Workloads nützlich. Die automatische Optimierung kann Ihnen helfen, bei komplexen Abfragen die Preis-Leistungs-Ziele Ihrer Organisation einzuhalten.

Anmerkung

Price-performance Ziele sind eine arbeitsgruppenspezifische Einstellung. Für unterschiedliche Arbeitsgruppen können unterschiedliche Preis-Leistungs-Ziele gelten.

Um die Kosten planen zu können, legen Sie ein Limit für die maximale Kapazität fest, die Amazon Redshift Serverless Ihren Workloads zuweisen darf.

Verwenden Sie die Konsole, um Preis-/Leistungsziele zu konfigurieren. AWS Das Preis-/Leistungsziel ist standardmäßig für alle neuen serverlosen Arbeitsgruppen aktiviert und auf Ausgewogen festgelegt. Sie können das Preis-/Leistungsziel ändern, nachdem Sie die Serverless-Arbeitsgruppe erstellt haben.

So bearbeiten Sie das Preis-Leistungs-Ziel für Ihre Arbeitsgruppe:

  1. Wählen Sie in der Konsole von Amazon Redshift Serverless die Option Arbeitsgruppenkonfiguration aus.

  2. Wählen Sie die Arbeitsgruppe aus, deren Preis-Leistungs-Ziel Sie bearbeiten möchten. Wählen Sie die Registerkarte Leistung und anschließend Bearbeiten aus.

  3. Wählen Sie „Price-performanceZiel“ und passen Sie den Schieberegler an die gewünschte Einstellung an.

  4. Wählen Sie Änderungen speichern aus.

  5. Um die maximale Anzahl der RPUs zu aktualisieren, die Amazon Redshift Serverless Ihrem Workload zuweisen kann, wählen Sie im Abschnitt Arbeitsgruppenkonfiguration die Registerkarte Limits aus.

Sie können den Price-performance Zielschieberegler verwenden, um das gewünschte Gleichgewicht zwischen Kosten und Leistung einzustellen. Durch Verschieben des Schiebereglers können Sie eine der folgenden Optionen auswählen:

  • Kostenoptimiert – Diese Einstellung priorisiert Kosteneinsparungen. Amazon Redshift Serverless versucht, die Rechenkapazität automatisch hochzuskalieren, wenn dies keine zusätzlichen Kosten verursacht. Amazon Redshift Serverless versucht auch, die Rechenkapazität herunterzuskalieren, um die Kosten zu senken, was die Abfragelaufzeiten möglicherweise verlängert.

  • Ausgewogen – Diese Einstellung stellt ein Gleichgewicht zwischen Leistung und Kosten her. Amazon Redshift Serverless kann hinsichtlich der Leistung skaliert werden, was zu einer moderaten Kostenerhöhung oder Kostensenkung führen kann. Dies ist die empfohlene Einstellung für die meisten Data Warehouses in Amazon Redshift Serverless.

  • Leistungsoptimiert – Dieser Einstellung priorisiert die Leistung. Amazon Redshift skaliert aggressiv, um eine hohe Leistung zu erzielen, was möglicherweise zu höheren Kosten führt.

  • Zwischenpositionen: Sie können den Schieberegler auch auf eine von zwei Zwischenpositionen zwischen Ausgewogen und Kostenoptimiert oder Leistungsoptimiert festlegen. Sie können dies verwenden, wenn eine vollständige Optimierung hinsichtlich Kosten oder Leistung zu extrem ist.

Überlegungen bei der Wahl Ihres Preis-Leistungs-Ziels

Mithilfe des Preis-Leistungs-Schiebereglers können Sie das gewünschte Preis-Leistungs-Ziel für Ihren Workload auswählen. Der AI-driven Skalierungs- und Optimierungsalgorithmus lernt im Laufe der Zeit aus Ihrem Workload-Verlauf und verbessert die Prognose- und Entscheidungsgenauigkeit.

Beispiel

Angenommen, es gibt eine Abfrage, die sieben Minuten dauert und 7 USD kostet. In der folgenden Abbildung werden Abfragelaufzeiten und Kosten ohne Skalierung dargestellt.

Grafik der Beispielabfrage für das Autoscaling in Amazon Redshift Serverless.

Eine bestimmte Abfrage kann auf verschiedene Arten abskaliert werden, wie unten gezeigt. Auf der Grundlage des von Ihnen gewählten Preis-Leistungs-Ziels prognostiziert die AI-driven Skalierung, wie Leistung und Kosten bei der Abfrage gegeneinander abgewogen werden, und sie wird entsprechend skaliert. Die Auswahl der verschiedenen Schieberegleroptionen führt zu folgenden Ergebnissen:

Grafik der Beispielabfrage für das Autoscaling in Amazon Redshift Serverless.

  • Kostenoptimiert – Bei Auswahl der Option Kostenoptimiert führt Ihr Data Warehouse die Skalierung so durch, dass die Kosten gesenkt werden. Im vorherigen Beispiel zeigt der superlineare Skalierungsansatz dieses Verhalten. Eine Skalierung erfolgt nur, wenn sie gemäß den Skalierungsmodellprognosen kostengünstig durchgeführt werden kann. Wenn die Skalierungsmodelle voraussagen, dass eine kostenoptimierte Skalierung für den jeweiligen Workload nicht möglich ist, wird das Data Warehouse nicht skaliert.

  • Ausgewogen – Bei Auswahl der Option Ausgewogen wird das System unter Berücksichtigung von Kosten- und Leistungsaspekten skaliert, wobei die Kosten möglicherweise einem Limit unterliegen. Die Option Ausgewogen ermöglicht eine superlineare, lineare und möglicherweise sublineare Skalierung des Workloads.

  • Leistungsoptimiert – Bei Auswahl der Option Leistungsoptimiert kann das System zusätzlich zu den bisherigen Methoden zur Leistungsverbesserung auch dann skaliert werden, wenn die Kosten höher sind – und möglicherweise nicht proportional zur Laufzeitverbesserung sind. Bei Auswahl der Option Leistungsoptimiert führt das System eine superlineare Skalierung, lineare Skalierung und sublineare Skalierung durch, wenn möglich. Je näher der Schieberegler an der Position Leistungsoptimiert liegt, desto eher ermöglicht Amazon Redshift Serverless eine sublineare Skalierung.

Beachten Sie beim Einstellen des Schiebereglers Folgendes: Price-Performance

  • Sie können die Einstellung für das Preis-Leistungs-Ziel jederzeit ändern. Die Skalierung des Workloads ändert sich jedoch nicht sofort. Die Skalierung ändert sich im Laufe der Zeit, wenn das System mehr über den aktuellen Workload erfährt. Wir empfehlen, eine Serverless-Arbeitsgruppe 1 bis 3 Tage zu überwachen, um die Auswirkungen der neuen Einstellung zu überprüfen.

  • Die Slider-Optionen Max. Kapazität und Max RPU-hours funktionieren zusammen mit dem Preis-Leistungs-Verhältnis. Max Capacity und Max RPU-hours sind die Steuerelemente zur Begrenzung der maximalen RPUs, die Amazon Redshift Serverless dem Data Warehouse zur Skalierung erlaubt, sowie der maximalen RPU-Stunden, die Amazon Redshift Serverless dem Data Warehouse zur Verfügung stellt. Amazon Redshift Serverless berücksichtigt diese Einstellungen immer und setzt sie durch, unabhängig von der Einstellung des Preis-Leistungs-Ziels.

Überwachen der automatischen Skalierung von Ressourcen

Sie können die AI-driven RPU-Skalierung auf folgende Weise überwachen:

  • Überprüfen Sie das Diagramm für die verbrauchte RPU-Kapazität in der Konsole für Amazon Redshift.

  • Überwachen Sie die ComputeCapacity Metrik unter AWS/Redshift-Serverless und Workgroup in CloudWatch.

  • Fragen Sie die Ansicht SYS_QUERY_HISTORY ab. Geben Sie die spezifische Abfrage-ID oder den spezifischen Abfragetext an, um den Zeitraum zu identifizieren. Verwenden Sie diesen Zeitraum, um die Systemansicht SYS_SERVERLESS_USAGE abzufragen und den compute_capacity-Wert zu suchen. Das Feld compute_capacity zeigt die RPUs an, die während der Laufzeit der Abfrage skaliert wurden.

Verwenden Sie eine ähnliche Abfrage wie im folgenden Beispiel, um die Ansicht SYS_QUERY_HISTORY abzufragen. Ersetzen Sie die Beispielwerte durch Ihren Abfragetext.

select query_id,query_text,start_time,end_time, elapsed_time/1000000.0 duration_in_seconds
from sys_query_history
where query_text like '<query_text>'
and query_text not like '%sys_query_history%'
order by start_time desc

Führen Sie die folgende Abfrage aus, um zu sehen, wie compute_capacity während des Zeitraums von start_time bis end_time skaliert wurde. Ersetzen Sie start_time und end_time in der folgenden Abfrage durch die Ausgabe der vorherigen Abfrage:

select * from sys_serverless_usage
where end_time >= 'start_time'
and end_time <= DATEADD(minute,1,'end_time')
order by end_time asc

Eine schrittweise Anleitung zur Verwendung dieser Features finden Sie unter Konfigurieren von Überwachung, Limits und Alarmen in Amazon Redshift Serverless zur Kostenplanbarkeit.

Überlegungen zur Verwendung von AI-driven Skalierung und Optimierung

Beachten Sie bei der Verwendung von AI-driven Skalierung und Optimierung Folgendes:

  • Für bestehende Workloads auf Amazon Redshift Serverless, die 8 bis 512 Base-RPU erfordern, empfehlen wir die AI-driven Skalierung und Optimierung von Amazon Redshift Serverless, um optimale Ergebnisse zu erzielen. Wir empfehlen, diese Funktion nicht für 4 Base-RPU oder mehr als 512 Base-RPU-Workloads zu verwenden.

  • Price-performance Ziele optimieren die Arbeitslast automatisch, obwohl die Ergebnisse variieren können. Wir empfehlen, dieses Feature über die Zeit zu verwenden, damit das System anhand eines repräsentativen Workloads mehr über Ihre spezifischen Muster lernen kann.

  • AI-driven Bei Skalierung und Optimierung werden optimale Zeiten verwendet, um Optimierungen auf serverlose Arbeitsgruppen anzuwenden, abhängig von der Arbeitslast, die auf Ihrer Amazon Redshift Serverless-Instance ausgeführt wird.

Um mehr über AI-driven Optimierungen und Ressourcenskalierung zu erfahren, schauen Sie sich das folgende Video an.