View a markdown version of this page

Servicekontingente und Drosselung für Deadline Cloud - AWS Deadline Cloud
Drosselung von API-AnforderungenKontingente für verwandte Dienste

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Servicekontingente und Drosselung für Deadline Cloud

AWS Deadline Cloud stellt Ressourcen wie Farmen, Flotten und Warteschlangen bereit, die Sie zur Verarbeitung von Aufträgen verwenden können. Wenn Sie Ihre erstellen AWS-Konto, legen wir für diese Ressourcen jeweils Standardkontingente fest. AWS-Region Deadline Cloud begrenzt auch die Rate der API-Anfragen. Weitere Informationen finden Sie unter Drosselung von API-Anforderungen.

Service Quotas ist ein zentraler Ort, an dem Sie Ihre Kontingente für einsehen und verwalten können AWS-Services. Sie können auch eine Kontingenterhöhung für viele der von Ihnen verwendeten Ressourcen beantragen.

Um die Kontingente für anzuzeigen Deadline Cloud, öffnen Sie die Service-Kontingente-Konsole. Wählen Sie im Navigationsbereich AWS-Services und anschließend Deadline Cloud aus.

Informationen zur Erhöhung eines Kontingents finden Sie unter Anfordern einer Kontingenterhöhung im Service-Quotas-Benutzerhandbuch. Wenn das Kontingent in den Dienstkontingenten noch nicht verfügbar ist, verwenden Sie das Formular zur Erhöhung des Dienstkontingents.

Für Ihr AWS Konto gelten die folgenden Kontingente im Zusammenhang mit Deadline Cloud.

Die zugehörigen Mitgliederkontingente zählen die Mitgliedschaften, die Sie einer Farm, Flotte, Warteschlange oder einem Job zuweisen. Jeder Benutzerzuschuss und jeder Gruppenzuschuss zählen als eine Mitgliedschaft. Eine Gruppe zählt also als ein Mitglied, unabhängig davon, wie viele Benutzer sie enthält. Deadline Cloud begrenzt nicht die Anzahl der Benutzer in einer Gruppe oder die Anzahl der Gruppen, denen ein Benutzer angehört; stattdessen AWS IAM Identity Center gelten die Kontingente für. Um mehr Benutzern innerhalb des Mitgliedschaftskontingents Zugriff zu gewähren, weisen Sie Gruppen statt einzelnen Benutzern zu. Weitere Informationen finden Sie unter So funktionieren Berechtigungen in Deadline Cloud.

Compute for service managed fleet wird auf die Deadline Cloud vCPU- und GPU-Kontingente in der folgenden Tabelle angerechnet, nicht auf Ihre Amazon Elastic Compute Cloud (Amazon EC2) -Servicekontingente. Weitere Informationen finden Sie unter Kontingente für verwandte Dienste.

Die folgende Tabelle enthält Kontingente für persistente Speichervolumes, die von dienstverwalteten Flotten genutzt werden. Weitere Informationen zu persistentem Speicher finden Sie unter. Persistenter Speicher für serviceverwaltete Flotten

Name Standard Anpassbar Description
Assoziierte Mitglieder pro Farm Jede unterstützte Region: 75 Nein Die maximale Anzahl von Principals (Benutzer oder Gruppen), die jeder Farm in der aktuellen AWS Region zugeordnet werden können. Jede zugeordnete Gruppe zählt als ein Mitglied, unabhängig davon, wie viele Benutzer sie enthält.
Assoziierte Mitglieder pro Flotte Jede unterstützte Region: 75 Nein Die maximale Anzahl von Hauptbenutzern (Benutzern oder Gruppen), die jeder Flotte in der aktuellen AWS Region zugeordnet werden können. Jede zugeordnete Gruppe zählt als ein Mitglied, unabhängig davon, wie viele Benutzer sie enthält.
Assoziierte Mitglieder pro Job Jede unterstützte Region: 75 Nein Die maximale Anzahl von Principals (Benutzern oder Gruppen), die jedem Job in der aktuellen AWS Region zugeordnet werden können. Jede zugeordnete Gruppe zählt als ein Mitglied, unabhängig davon, wie viele Benutzer sie enthält.
Assoziierte Mitglieder pro Warteschlange Jede unterstützte Region: 75 Nein Die maximale Anzahl von Hauptbenutzern (Benutzern oder Gruppen), die jeder Warteschlange in der aktuellen AWS Region zugeordnet werden können. Jede zugeordnete Gruppe zählt als ein Mitglied, unabhängig davon, wie viele Benutzer sie enthält.
Budgets pro Farm Jede unterstützte Region: 20 Ja Die maximale Anzahl von Budgets pro Farm in der aktuellen AWS Region
Farmen pro Region Jede unterstützte Region: 2 Ja Die maximale Anzahl von Farmen, die in der aktuellen AWS Region erstellt werden können.
Flotten pro Betrieb Jede unterstützte Region: 5 Yes (Ja) Die maximale Anzahl von Flotten, die für jede Farm in der aktuellen AWS Region erstellt werden können.
Arbeitsplätze pro Farm Jede unterstützte Region: 100 000 Ja Die maximale Anzahl von Arbeitsplätzen pro Farm in der aktuellen AWS Region.
Lizenzieren Sie Endpunkte pro Region Jede unterstützte Region: 5 Yes (Ja) Die maximale Anzahl von Lizenzendpunkten in der aktuellen AWS Region.
Lizenzsitzungen pro Lizenzendpunkt Jede unterstützte Region: 500 Ja Die maximale Anzahl von Lizenzsitzungen pro Lizenzendpunkt in der aktuellen AWS Region.
Grenzwerte pro Farm Jede unterstützte Region: 50 Ja Die maximale Anzahl von Grenzwerten, die für jede Farm in der aktuellen AWS Region erstellt werden können.
Monitore pro Region Jede unterstützte Region: 1 Nein Die maximale Anzahl von Monitoren in der aktuellen AWS Region.
OnDemand G-Instance-GPUs pro Region Jede unterstützte Region: 0 Ja Die maximale Anzahl von On-Demand-G-Instance-GPUs, die für alle dienstverwalteten Flotten in der aktuellen Region bereitgestellt werden können. AWS
OnDemand vCPUs pro Region Jede unterstützte Region: 50 Ja Die maximale Anzahl von On-Demand-vCPUs, die für alle dienstverwalteten Flotten in der aktuellen Region bereitgestellt werden können. AWS
Warteschlangenumgebungen pro Warteschlange Jede unterstützte Region: 10 Nein Die maximale Anzahl von Warteschlangenumgebungen, die für jede Warteschlange in der aktuellen AWS Region erstellt werden können.
Flottenzuordnungen pro Farm in die Warteschlange stellen Jede unterstützte Region: 100 Yes (Ja) Die maximale Anzahl von Flottenverbänden in Warteschlangen pro Farm in der aktuellen AWS Region
Limit der Warteschlangenzuordnungen pro Warteschlange Jede unterstützte Region: 10 Yes (Ja) Die maximale Anzahl von Grenzwerten, die jeder Warteschlange in der aktuellen AWS Region zugeordnet werden können.
Warteschlangen pro Farm Jede unterstützte Region: 20 Ja Die maximale Anzahl von Warteschlangen, die für jede Farm in der aktuellen AWS Region erstellt werden können.
Ressourcenkonfigurationen pro Flotte Jede unterstützte Region: 1 Ja Die maximale Anzahl von VPC Lattice-Ressourcenkonfigurationen, die jeder Flotte hinzugefügt werden können.
Spot-G-Instance-GPUs pro Region Jede unterstützte Region: 0 Ja Die maximale Anzahl von Spot-G-Instance-GPUs, die für alle von Diensten verwalteten Flotten in der aktuellen Region bereitgestellt werden können. AWS
Spot-vCPUs pro Region Jede unterstützte Region: 50 Ja Die maximale Anzahl von Spot-vCPUs, die für alle vom Service verwalteten Flotten in der aktuellen Region bereitgestellt werden können. AWS
Schrittweise Verbraucher pro Schritt Jede unterstützte Region: 32 Ja Die maximale Anzahl von Schritten, die eine Abhängigkeit von einem einzelnen Schritt innerhalb eines Jobs in der aktuellen AWS Region deklarieren (verbrauchen) können.
Schrittabhängigkeiten pro Schritt Jede unterstützte Region: 128 Ja Die maximale Anzahl von Schritten, von denen ein einzelner Schritt innerhalb eines Jobs eine Abhängigkeit in der aktuellen AWS Region angeben kann.
Schritte pro Auftrag Jede unterstützte Region: 200 Ja Die maximale Anzahl von Schritten pro Job in der aktuellen AWS Region.
Speicher für Universelle-SSD-Volumes (gp3), in TiB Jede unterstützte Region: 1 Ja Die maximale aggregierte Menge an EBS-Speicher, gemessen in TiB, die für alle Flotten in der aktuellen Region verwendet werden kann. AWS
Speicher für persistente Allzweck-SSD-Volumes (gp3), in TiB Jede unterstützte Region: 4 Ja Die maximale aggregierte Speichermenge in TiB, die auf persistenten Allzweck-SSD-Volumes (gp3) in der aktuellen Region bereitgestellt werden kann. AWS
Speicherprofile pro Farm Jede unterstützte Region: 50 Nein Die maximale Anzahl von Speicherprofilen, die für jede Farm in der aktuellen AWS Region erstellt werden können.
Aufgaben pro Block Jede unterstützte Region: 150 Nein Die maximale Anzahl von Aufgaben, die bei der Einreichung eines Jobs zu einem einzigen Block zusammengefasst werden können.
Aufgaben pro Auftrag Jede unterstützte Region: 10 000 Ja Die maximale Anzahl von Aufgaben pro Job in der aktuellen AWS Region.
Aufgaben pro Schritt Jede unterstützte Region: 10 000 Ja Die maximale Anzahl von Aufgaben pro Schritt in der aktuellen AWS Region.
Wait-and-save vCPUs pro Region Jede unterstützte Region: 50 Ja Die maximale Anzahl von Wait-and-Save-vCPUs, die für alle vom Service verwalteten Flotten in der aktuellen Region bereitgestellt werden können. AWS
Arbeiter pro Betrieb Jede unterstützte Region: 7.500 Ja Die maximale Anzahl von Arbeitern pro Betrieb in der aktuellen AWS Region.

Drosselung von API-Anforderungen

Deadline Cloud begrenzt die Anzahl der API-Anfragen für jede AWS-Konto einzelne AWS-Region. Die Standardanforderungsraten unterstützen umfangreiche Workloads und Nutzungen. Wenn Ihre Anfragen die zulässige Rate überschreiten, Deadline Cloud lehnt die Anfrage mit einem HTTP 429-Statuscode und einem Fehler ab. ThrottlingException

Die AWS SDKs und die gedrosselten Anfragen wiederholen AWS CLI automatisch den Vorgang mithilfe eines exponentiellen Backoffs. Gelegentliche Drosselungen werden behoben, ohne dass Änderungen an Ihrer Anwendung erforderlich sind. Wenn Sie eine anhaltende Drosselung feststellen, wenden Sie sich an den AWS Support, um höhere Anforderungsraten anzufordern.

Einige Deadline Cloud Funktionen verwenden andere AWS-Services, und die Kontingente für diese Dienste gelten ebenfalls.

Amazon EC2-Kontingente für vom Kunden verwaltete Flotten

Ihre Amazon Elastic Compute Cloud (Amazon EC2) -Kontingente gelten für von Kunden verwaltete Flotten, da diese Mitarbeiter auf Instances in Ihrem eigenen Konto arbeiten. Rechenleistung für von Diensten verwaltete Flotten wird stattdessen auf die Deadline Cloud vCPU- und GPU-Kontingente in der vorherigen Tabelle angerechnet.

Um Ihre Amazon EC2-Kontingente anzuzeigen oder zu erhöhen, öffnen Sie die Service Quota-Konsole und wählen Sie Amazon Elastic Compute Cloud aus. Weitere Informationen finden Sie unter Amazon EC2-Servicekontingente im Amazon EC2-Benutzerhandbuch.

Amazon Bedrock-Kontingente für Deadline Cloud assistant

Das Deadline Cloud-Assistent verwendet Amazon Bedrock On-Demand-Inferenz in Ihrem AWS-Konto, sodass die Amazon Bedrock-Servicekontingente Ihres Kontos gelten. Die beiden Haupteinschränkungen sind:

  • Anfragen pro Minute (RPM) — Die Anzahl der pro Minute zulässigen Modellaufrufanfragen.

  • Tokens per Minute (TPM) — Die Gesamtzahl der Eingabe- und Ausgabetokens, die pro Minute verarbeitet werden.

Die Standardkontingente variieren je nach Region. In einigen Regionen gelten niedrigere Standardgrenzwerte, die bereits bei 20 Umdrehungen pro Minute liegen, was bei intensiver Nutzung des Assistenten zu einer Drosselung führen kann. Der Assistent verwendet regionsübergreifende Inferenzprofile, die mindestens 200 U/min unterstützen. Cross-regionInferenz kann dazu beitragen, die Drosselung in Regionen mit niedrigeren Grenzwerten für einzelne Regionen zu verringern. Wenn Ihre Region regionsübergreifende Inferenz verwendet, gelten auch die Servicekontingente in den Zielregionen.

Wenn bei der Verwendung des Assistenten Drosselungsfehler auftreten, können Sie eine Erhöhung des Amazon Bedrock-Servicekontingents beantragen:

So fordern Sie eine Kontingenterhöhung an

  1. Öffnen Sie die Service Quotas-Konsole.

  2. Wählen Sie im Navigationsbereich AWS Dienste und dann Amazon Bedrock aus.

  3. Finden Sie das Kontingent für das vom Assistenten verwendete Modell (suchen Sie nach Kontingenten, die sich auf InvokeModelWithResponseStream das entsprechende Modell beziehen).

  4. Wählen Sie den Kontingentnamen und dann „Erhöhung auf Kontoebene anfordern“.

  5. Geben Sie den gewünschten Kontingentwert ein und senden Sie die Anfrage ab.

Sie können Ihre Amazon Bedrock-Kontingentnutzung anhand von CloudWatch Kennzahlen überwachen. Richten Sie CloudWatch Alarme für die Drosselungsmetriken von Amazon Bedrock ein, um zu erkennen, wann Sie sich Ihren Kontingentgrenzen nähern. Weitere Informationen finden Sie unter Überwachung von Amazon Bedrock im Amazon Bedrock-Benutzerhandbuch.