Kapazitätsanforderungen bestimmen
Bevor Sie eine Kapazitätsreservierung erstellen, können Sie die benötigte Kapazität schätzen, sodass Sie ihr die richtige Anzahl von DPUs zuweisen können. Und wenn eine Reservierung genutzt wurde, sollten Sie die Reservierung möglicherweise auf unzureichende oder überschüssige Kapazität überprüfen. In diesem Thema werden Techniken beschrieben, mit denen Sie diese Schätzungen vornehmen können, und es werden auch einige AWS-Tools zur Bewertung von Nutzung und Kosten beschrieben.
Themen
Erforderliche Kapazität einscchätzen
Bei der Schätzung des Kapazitätsbedarfs ist es sinnvoll, zwei Aspekte zu berücksichtigen: wie viel Kapazität eine bestimmte Abfrage möglicherweise benötigt, und wie viel Kapazität Sie im Allgemeinen benötigen könnten.
Kapazitätsbedarf pro Abfrage einschätzen
Um zu ermitteln, wie viele DPUs für eine Abfrage erforderlich sein könnten, können Sie die folgenden Richtlinien verwenden:
-
DDL-Abfragen verbrauchen 4 DPUs.
-
DML-Abfragen verbrauchen in der Regel zwischen 4 und 124 DPUs.
Athena bestimmt die Anzahl der DPUs, die für eine DML-Abfrage erforderlich sind, wenn die Anfrage gesendet wird. Die Anzahl variiert je nach Datengröße, Speicherformat, Abfragekonstruktion und anderen Faktoren. Im Allgemeinen versucht Athena, die niedrigste und effizienteste DPU-Nummer auszuwählen. Wenn Athena feststellt, dass mehr Rechenleistung erforderlich ist, damit die Abfrage erfolgreich abgeschlossen werden kann, wird die Anzahl der der Abfrage zugewiesenen DPUs erhöht.
Für die Workload spezifischen Kapazitätsanforderungen einschätzen
Beachten Sie die allgemeinen Richtlinien in der folgenden Tabelle, um zu ermitteln, wie viel Kapazität Sie möglicherweise benötigen, um mehrere Abfragen gleichzeitig auszuführen:
| Gleichzeitige Abfragen | DPUs erforderlich |
|---|---|
| 10 | 40 oder mehr |
| 20 | 96 oder mehr |
| 30 oder mehr | 240 oder mehr |
Beachten Sie, dass die tatsächliche Anzahl der benötigten DPUs von Ihren Zielen und Analysemustern abhängt. Wenn Sie beispielsweise möchten, dass Abfragen sofort und ohne Warteschlangen gestartet werden, ermitteln Sie den höchsten Bedarf an gleichzeitigen Abfragen und stellen Sie dann die Anzahl der DPUs entsprechend bereit.
Sie können weniger DPUs bereitstellen, als Sie zu Spitzenzeiten benötigen. Bei Spitzenauslastung kann es jedoch zu Warteschlangen kommen. Wenn es zu Warteschlangen kommt, hält Athena Ihre Abfragen in einer Warteschlange und führt sie aus, sobald Kapazität verfügbar ist.
Wenn Sie Abfragen innerhalb eines festen Budgets ausführen möchten, können Sie den AWS-Preisrechner
Denken Sie abschließend daran, dass die Datengröße, das Speicherformat und die Art und Weise, wie eine Abfrage geschrieben wird, die DPUs beeinflussen, die für eine Abfrage benötigt werden. Um die Abfrageleistung zu erhöhen, können Sie Ihre Daten komprimieren, partitionieren oder in spaltenförmige Formate konvertieren. Weitere Informationen finden Sie unter Optimieren der Leistung von Athena.
Anzeichen dafür, dass mehr Kapazität benötigt wird
Fehlermeldungen zu unzureichender Kapazität und Queuing bei Abfragen sind zwei Anzeichen dafür, dass die zugewiesene Kapazität unzureichend ist.
Wenn Ihre Abfragen mit einer Fehlermeldung über unzureichende Kapazität fehlschlagen, ist die DPU-Anzahl Ihrer Kapazitätsreservierung zu niedrig für Ihre Abfrage. Wenn Sie beispielsweise eine Reservierung mit 24 DPUs haben und eine Abfrage ausführen, für die mehr als 24 DPUs erforderlich sind, schlägt die Abfrage fehl. Um diesen Abfragefehler zu überwachen, können Sie EventBridge-Ereignisse von Athena verwenden. Versuchen Sie, weitere DPUs hinzuzufügen und Ihre Abfrage erneut auszuführen.
Wenn sich viele Abfragen in der Warteschlange befinden, bedeutet dies, dass Ihre Kapazität durch andere Abfragen voll ausgelastet ist. Um die Warteschlangen zu reduzieren, gehen Sie wie folgt vor:
-
Fügen Sie Ihrer Reservierung DPUs hinzu, um die Parallelität der Abfragen zu erhöhen.
-
Entfernen Sie Arbeitsgruppen aus Ihrer Reservierung, um Kapazitäten für andere Abfragen freizugeben.
Um zu prüfen, ob die Abfrage-Warteschlangen übermäßig lang sind, verwenden Sie die CloudWatch-Metrik „Athena-Abfrage-Warteschlangenzeit“ für die Arbeitsgruppen in Ihrer Kapazitätsreservierung. Wenn der Wert über Ihrem bevorzugten Schwellenwert liegt, können Sie der Kapazitätsreservierung DPUs hinzufügen.
Auf ungenutzte Kapazität prüfen
Um nach ungenutzter Kapazität zu suchen, können Sie entweder die Anzahl der DPUs in der Reservierung verringern oder den Workload erhöhen und dann die Ergebnisse beobachten.
Auf untätige Kapazität prüfen
-
Führen Sie eine der folgenden Aktionen aus:
-
Reduzieren Sie die Anzahl der DPUs in Ihrer Reservierung (reduzieren Sie die verfügbaren Ressourcen)
-
Fügen Sie Ihrer Reservierung Arbeitsgruppen hinzu (erhöhen Sie den Workload)
-
-
Verwenden Sie CloudWatch, um die Zeit der Abfragewarteschlange zu messen.
-
Wenn die Warteschlangenzeit einen gewünschten Wert überschreitet, gehen Sie wie folgt vor:
-
Entfernen Sie Arbeitsgruppen
-
Fügen Sie Ihrer Kapazitätsreservierung DPUs hinzu
-
-
Überprüfen Sie nach jeder Änderung die Leistung und die Warteschlangenzeit für Abfragen.
-
Passen Sie den Workload und/oder die DPU-Anzahl weiter an, um das gewünschte Gleichgewicht zu erreichen.
Wenn Sie die Kapazität außerhalb eines bevorzugten Zeitraums nicht aufrechterhalten möchten, können Sie die Reservierung stornieren und später eine weitere Reservierung erstellen. Selbst wenn Sie kürzlich Kapazitäten für eine andere Reservierung storniert haben, können Anfragen nach neuen Kapazitäten nicht garantiert werden, und die Erstellung neuer Reservierungen dauert einige Zeit.
Sie können die folgenden Services und Feature in AWS verwenden, um Ihre Nutzung und Kosten von Athena zu messen.
CloudWatch-Metriken
Sie können Athena so konfigurieren, dass abfragebezogene Metriken auf Arbeitsgruppenebene in Amazon CloudWatch veröffentlicht werden. Nachdem Sie Metriken für die Arbeitsgruppe aktiviert haben, werden die Metriken für die Abfragen der Arbeitsgruppe in der Athena-Konsole auf der Detailseite der Arbeitsgruppe angezeigt.
Informationen zu den auf CloudWatch veröffentlichten Athena-Metriken und ihren Dimensionen finden Sie unter Athena-Abfragenmetriken mit CloudWatch überwachen.
CloudWatch-Nutzungsmetriken
Sie können CloudWatch-Nutzungsmetriken verwenden, um einen Einblick in Ihr Konto zu gewähren, indem Sie Ihre aktuelle Servicenutzung in CloudWatch-Diagrammen und Dashboards anzeigen. Für Athena entsprechen Metriken zur Nutzungsverfügbarkeit AWS Servicekontingente für Athena. Sie können Alarme konfigurieren, mit denen Sie benachrichtigt werden, wenn sich Ihre Nutzung einem Servicekontingent nähert.
Weitere Informationen finden Sie unter Athena-Nutzungsmetriken mit CloudWatch überwachen.
Amazon-EventBridge-Ereignisse
Sie können Amazon Athena mit Amazon EventBridge verwenden, um Echtzeitbenachrichtigungen zum Status Ihrer Abfragen zu erhalten. Wenn eine von Ihnen übermittelte Abfrage in andere Zustände übergeht, veröffentlicht Athena ein Ereignis in EventBridge, das Informationen über diesen Abfragezustandübergang enthält. Sie können einfache Regeln für Ereignisse schreiben, die für Sie von Interesse sind, und automatisierte Aktionen ausführen, wenn ein Ereignis mit einer Regel übereinstimmt.
Weitere Informationen finden Sie in den folgenden Ressourcen.
Tags
In Athena unterstützen Kapazitätsreservierungen Tags. Ein Tag besteht aus einem Schlüssel und einem Wert. Um Ihre Kosten in Athena zu verfolgen, können Sie AWS-generierte Kostenzuordnungs-Tags verwenden. AWS verwendet Kostenzuordnungs-Tags, um Ihre Ressourcenkosten in Ihrem Kosten- und Nutzungsbericht zu gruppieren. Dies erleichtert Ihnen die Kategorisierung und Nachverfolgung Ihrer AWS-Kosten. Um Kostenzuweisungs-Tags für Athena zu aktivieren, verwenden Sie die AWS Fakturierung und Kostenmanagement-Konsole
Weitere Informationen finden Sie in den folgenden Ressourcen.