View a markdown version of this page

的服務配額和限流 Deadline Cloud - AWS 截止日期雲端

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

的服務配額和限流 Deadline Cloud

AWS Deadline Cloud 提供可用於處理任務的資源,例如陣列、機群和佇列。當您建立 時 AWS 帳戶,我們會為每個資源設定這些資源的預設配額 AWS 區域。 Deadline Cloud 也會限制 API 請求的速率。如需詳細資訊,請參閱API 請求限流。

Service Quotas 是一個集中位置,您可以在其中檢視和管理 的配額 AWS 服務。您也可以請求提高使用許多資源的配額。

若要檢視 的配額 Deadline Cloud,請開啟 Service Quotas 主控台。在導覽窗格中,選擇 AWS 服務並選取 Deadline Cloud。

若要請求提高配額,請參閱《Service Quotas 使用者指南》中的請求提高配額。如果 Service Quotas 中尚未提供配額,請使用服務配額增加表單。

AWS 您的帳戶具有下列與 相關的配額 Deadline Cloud。

關聯的成員配額會計算您指派給陣列、機群、佇列或任務的成員資格。每個使用者授予和每個群組授予都計為一個成員資格,因此無論包含多少使用者,群組都會計為一個成員。 Deadline Cloud 不會限制群組中的使用者數量或使用者所屬的群組數量;而是 AWS IAM Identity Center 套用 的配額。若要將存取權授予成員資格配額中的更多使用者,請指派群組,而非個別使用者。如需詳細資訊,請參閱許可如何在截止日期雲端中運作。

下表的服務受管機群運算會計入 Deadline Cloud vCPU 和 GPU 配額,而不是 Amazon Elastic Compute Cloud (Amazon EC2) 服務配額。如需詳細資訊,請參閱相關服務的配額。

下表包含服務受管機群使用的持久性儲存磁碟區配額。如需持久性儲存體的詳細資訊,請參閱 服務受管機群的持久性儲存。

名稱 預設 可調整 說明
每個陣列的關聯成員 每個支援的區域:75 否 可與目前 AWS 區域中的每個陣列相關聯的主體 (使用者或群組) 數目上限。無論包含多少使用者,每個相關聯的群組都會計為一個成員。
每個機群的關聯成員 每個支援的區域:75 否 可與目前 AWS 區域中的每個機群相關聯的主體 (使用者或群組) 數目上限。無論包含多少使用者,每個相關聯的群組都會計為一個成員。
每個任務的相關成員 每個支援的區域:75 否 可與目前 AWS 區域中的每個任務相關聯的主體 (使用者或群組) 數目上限。無論包含多少使用者,每個相關聯的群組都會計為一個成員。
每個佇列的關聯成員 每個支援的區域:75 否 可與目前 AWS 區域中的每個佇列相關聯的主體 (使用者或群組) 數目上限。無論包含多少使用者,每個相關聯的群組都會計為一個成員。
每個陣列的預算 每個受支援的區域:20 是 目前 AWS 區域中每個陣列的預算數量上限
每個區域的陣列數 每個受支援的區域:2 是 可在目前 AWS 區域中建立的陣列數目上限。
每個陣列的機群數 每個受支援的區域:5 是 目前 AWS 區域中每個陣列可建立的機群數量上限。
每個陣列的任務 每個受支援的區域:100,000 是 目前 AWS 區域中每個陣列的任務數量上限。
每個區域的授權端點 每個受支援的區域:5 是 目前 AWS 區域中的授權端點數量上限。
每個授權端點的授權工作階段 每個受支援的區域:500 是 目前 AWS 區域中每個授權端點的授權工作階段數量上限。
每個陣列的限制 每個受支援的區域:50 是 目前 AWS 區域中每個陣列可建立的限制數目上限。
每個區域的監視器 每個受支援的區域:1 否 目前 AWS 區域中的監視器數量上限。
每個區域的 OnDemand G 執行個體 GPUs 每個支援的區域:0 是 可在目前 AWS 區域中所有服務受管機群之間佈建的隨需 G 執行個體 GPUs 數量上限。
每個區域的 OnDemand vCPUs 每個受支援的區域:50 是 可在目前 AWS 區域中所有服務受管機群之間佈建的隨需 vCPUs 數量上限。
每個佇列的佇列環境 每個受支援的區域:10 否 目前 AWS 區域中每個佇列可建立的佇列環境數目上限。
每個陣列的佇列機群關聯 每個受支援的區域:100 是 目前 AWS 區域中每個陣列的佇列機群關聯數目上限
每個佇列的佇列限制關聯 每個受支援的區域:10 是 可與目前 AWS 區域中的每個佇列相關聯的限制數目上限。
每個陣列的佇列數 每個受支援的區域:20 是 目前 AWS 區域中每個陣列可建立的佇列數量上限。
每個機群的資源組態 每個受支援的區域:1 是 可新增至每個機群的 VPC Lattice 資源組態數目上限。
每個區域的 Spot G 執行個體 GPUs 每個支援的區域:0 是 目前 AWS 區域中可跨所有服務受管機群佈建的 Spot G 執行個體 GPUs 數量上限。
每個區域的 Spot vCPUs 每個受支援的區域:50 是 目前 AWS 區域中可跨所有服務受管機群佈建的 Spot vCPUs 數量上限。
每個步驟的步驟取用者 每個受支援的區域:32 是 可在目前 AWS 區域中的任務中宣告相依性 (取用) 的單一步驟的最大步驟數量。
每個步驟的步驟相依性 每個支援的區域:128 是 任務中單一步驟在目前 AWS 區域中可能宣告相依性的步驟數目上限。
每個任務的步驟 每個受支援的區域:200 是 目前 AWS 區域中每個任務的步驟數目上限。
一般用途 SSD (gp3) 磁碟區的儲存體,以 TiB 為單位 每個受支援的區域:1 是 EBS 儲存體的彙總數量上限,以 TiB 為單位,可用於目前 AWS 區域中的所有機群。
持久性一般用途 SSD (gp3) 磁碟區的儲存體,以 TiB 為單位 每個受支援的區域:4 是 可在目前 AWS 區域中的持久性一般用途 SSD (gp3) 磁碟區之間佈建的最大彙總儲存量,以 TiB 為單位。
每個陣列的儲存設定檔 每個受支援的區域:50 否 目前 AWS 區域中每個陣列可建立的儲存設定檔數目上限。
每個區塊的任務 每個受支援的區域:150 否 提交任務時可合併為單一區塊的任務數量上限。
每個任務的任務 每個受支援的區域:10,000 是 目前 AWS 區域中每個任務的任務數量上限。
每個步驟的任務 每個受支援的區域:10,000 是 目前 AWS 區域中每個步驟的任務數量上限。
每個區域的Wait-and-save vCPUs 每個受支援的區域:50 是 可在目前 AWS 區域中所有服務受管機群之間佈建的wait-and-save vCPUs 數量上限。
每個陣列的工作者數 每個支援的區域:7,500 是 目前 AWS 區域中每個陣列的工作者數量上限。

API 請求限流

Deadline Cloud 會限制每個 AWS 帳戶 中每個 的 API 請求速率 AWS 區域。預設請求率支援大規模工作負載和用量。當您的請求超過允許的速率時, 會使用 HTTP 429 狀態碼和ThrottlingException錯誤 Deadline Cloud 拒絕請求。

使用指數退避, AWS SDKs 和 AWS CLI 會自動重試限流請求。偶爾限流會解決 ,而不需要變更您的應用程式。如果您遇到持續限流,請聯絡 AWS Support 請求更高的請求率。

有些 Deadline Cloud 功能使用其他 AWS 服務,而這些服務的配額也適用。

客戶受管機群的 Amazon EC2 配額

您的 Amazon Elastic Compute Cloud (Amazon EC2) 配額適用於客戶受管機群,因為這些工作者會在您自己帳戶中的執行個體上執行。服務受管機群的運算會改為計入上表中的 Deadline Cloud vCPU 和 GPU 配額。

若要檢視或增加 Amazon EC2 配額,請開啟 Service Quotas 主控台,然後選擇 Amazon Elastic Compute Cloud。如需詳細資訊,請參閱《Amazon EC2 使用者指南》中的 Amazon EC2 服務配額。 Amazon EC2

Deadline Cloud 助理的 Amazon Bedrock 配額

在您的 中使用 截止日期雲端助理 Amazon Bedrock 隨需推論 AWS 帳戶,因此適用您帳戶的 Amazon Bedrock 服務配額。兩個主要限制條件為:

  • 每分鐘請求數 (RPM) – 每分鐘允許的模型調用請求數。

  • 每分鐘字符 (TPM) – 每分鐘處理的輸入和輸出字符總數。

預設配額因區域而異。某些區域的預設限制較低,低至 20 RPM,這可能會導致在大量助理使用期間限流。助理使用跨區域推論設定檔,支援至少 200 RPM。跨區域推論有助於緩解單一區域限制較低的區域中的限流。如果您的區域使用跨區域推論,則目的地區域中的服務配額也會套用。

如果您在使用助理時遇到限流錯誤,您可以請求提高 Amazon Bedrock 服務配額:

請求提高配額
  1. 開啟 Service Quotas 主控台。

  2. 在導覽窗格中,選擇AWS 服務,然後選擇 Amazon Bedrock。

  3. 尋找助理使用的模型配額 (尋找相關模型InvokeModelWithResponseStream的 相關配額)。

  4. 選擇配額名稱,然後選擇帳戶層級的請求增加。

  5. 輸入所需的配額值並提交請求。

您可以透過 CloudWatch 指標監控 Amazon Bedrock 配額用量。在 Amazon Bedrock 限流指標上設定 CloudWatch 警示,以識別您何時接近配額限制。如需詳細資訊,請參閱《Amazon Bedrock 使用者指南》中的監控 Amazon Bedrock。