本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon MSK 配額
您的 AWS 帳戶具有 Amazon MSK 的預設配額。除非另有說明,否則每個帳戶配額都是您 內的區域特定配額AWS 帳戶。
主題
請求提高 Amazon MSK 配額
您可以使用 Service Quotas 主控台AWS CLI或支援案例,請求提高每個區域的配額。如果 Service Quotas 主控台中無法使用可調整配額,請使用 AWS Support Center Console建立服務配額增加案例。 https://console.aws.amazon.com/support/home#/
支援可以核准、拒絕或部分核准您的配額增加請求。增加的配額不會立即授予,可能需要幾天的時間才會生效。
使用 Service Quotas 主控台請求提高
-
開啟 Service Quotas 主控台,網址為 https://console.aws.amazon.com/servicequotas/
。 -
從導覽列 (位於畫面頂部) 中,選取一個區域。
-
在左側導覽窗格中,選擇 AWS 服務。
-
在尋找服務方塊中,輸入
msk,然後選擇 Amazon Managed Streaming for Apache Kafka (MSK)。 -
在服務配額中,選擇您要請求增加的配額名稱。例如
Number of brokers per account。 -
選擇在帳戶層級請求增加。
-
針對增加配額值,輸入新的配額值。
-
選擇請求。
-
(選用) 若要在主控台中檢視任何待處理或最近已解決的請求,請選擇左側導覽窗格中的儀表板。對於擱置的請求,請選擇請求狀態以開啟請求回條。請求的初始狀態為 Pending (待定)。狀態變更為請求的配額後,您會在 Support 中看到案例編號。選擇案例編號,為請求開啟票證。
如需詳細資訊,包括如何使用 AWS CLI或 SDKs請求提高配額,請參閱《Service Quotas 使用者指南》中的請求提高配額。
Amazon MSK Standard 代理程式配額
下表說明標準代理程式的配額。
| 維度 | 配額 | 備註 |
|---|---|---|
| 每個帳戶的中介裝置 | 90 | 若要請求更高的配額,請前往 Service Quotas 主控台 |
| 每個叢集的代理程式數量 | 30 表示 ZooKeeper 型叢集 60 表示 KRaft 型叢集 | 若要請求更高的配額,請前往 Service Quotas 主控台 |
| 每個代理程式的最小儲存空間 | 1 GiB | |
| 每個代理程式的最大儲存空間 | 16384 GiB | |
| 每個代理程式的最大 TCP 連線數 (IAM 存取控制) | 3000 | 若要提高此限制,您可以使用 Kafka AlterConfig API listener.name.client_iam.max.connections或 kafka-configs.sh工具來調整 或 listener.name.client_iam_public.max.connections組態屬性。請務必注意,將任一屬性值提高可能會導致無法使用。 |
| 每個代理程式的最大 TCP 連線速率 (IAM) | 每秒 100 個 (M5 和 M7g 執行個體大小) 每秒 4 個 (t3 執行個體大小) | 若要處理失敗連線的重試,您可在用戶端設定 reconnect.backoff.ms 組態參數。例如,如果您希望用戶端在 1 秒後重試連線,請將 reconnect.backoff.ms設定為 1000。如需詳細資訊,請參閱 Apache Kafka 文件中的 reconnect.backoff.ms |
| 每個代理程式的最大 TCP 連線數 (非 IAM) | N/A | MSK 不會強制執行非 IAM 驗證的連線限制。您應該監控其他指標,例如 CPU 和記憶體用量,以確保您不會因為連線過多而讓叢集超載。 |
| 每個 帳戶的組態數 | 100 | 若要請求更高的配額,請前往 Service Quotas 主控台 若要更新 MSK 叢集的組態或 Apache Kafka 版本,請先確認每個代理程式的分區數量未超過 正確調整叢集大小:每個標準代理程式的分割區數量 中所述的限制。 |
| 每個帳戶的組態修訂 | 50 |
Amazon MSK Express 代理程式配額
下表說明 Express 代理程式的配額。
| 維度 | 配額 | 備註 |
|---|---|---|
| 每個帳戶的中介裝置 | 90 | 若要請求更高的配額,請前往 Service Quotas 主控台 |
| 每個叢集的代理程式數量 | 30 表示 ZooKeeper 型叢集 60 表示 KRaft 型叢集 | 若要請求更高的配額,請前往 Service Quotas 主控台 |
| 最大儲存空間 | 無限制 | |
| 每個代理程式的最大 TCP 連線數 (IAM 存取控制) | 3000 |
若要提高連線限制,請使用 Kafka AlterConfig API 或 kafka-configs.sh 工具調整下列其中一個組態屬性:
將這些屬性設定為高值可能會導致叢集無法使用。 |
| 每個代理程式的最大 TCP 連線速率 (IAM) | 每秒 100 次 | 若要處理失敗連線的重試,您可在用戶端設定 reconnect.backoff.ms 組態參數。例如,如果您希望用戶端在 1 秒後重試連線,請將 reconnect.backoff.ms設定為 1000。如需詳細資訊,請參閱 Apache Kafka 文件中的 reconnect.backoff.ms |
| 每個代理程式的最大 TCP 連線數 (非 IAM) | N/A | MSK 不會強制執行非 IAM 驗證的連線限制。不過,您應該監控其他指標,例如 CPU 和記憶體用量,以確保您不會因為連線過多而讓叢集超載。 |
| 每個 帳戶的組態數 | 100 | 若要請求更高的配額,請前往 Service Quotas 主控台 |
| 每個帳戶的組態修訂 | 50 | |
| 每個代理程式的最大輸入數 | 建議:15.6 - 500.0 MBps | 根據執行個體大小。 |
| 每個代理程式的最大輸出 | 建議:31.2 - 1000.0 MBps | 根據執行個體大小。 |
依代理程式大小的快速代理程式輸送量調節限制
下表列出建議和最大輸送量調節限制,與不同中介裝置大小的輸入和輸出相關。在此表格中,建議的輸送量會以持續效能表示,也就是您的應用程式不會遇到任何效能降低的閾值。如果您在任一維度上操作超過這些限制,可能會獲得更多輸送量,但也可能遇到效能降低。最大配額是叢集將調節讀取/寫入流量的閾值。您的應用程式將無法操作超過此閾值。
| 執行個體大小 | 輸入持續效能 (MBps) | 輸入的最大配額 (MBps) | 輸出的持續效能 (MBps) | 輸出的最大配額 (MBps) |
|---|---|---|---|---|
| express.m7g.large | 15.6 | 23.4 | 31.2 | 58.5 |
| express.m7g.xlarge | 31.2 | 46.8 | 62.5 | 117 |
| express.m7g.2xlarge | 62.5 | 93.7 | 125 | 234.2 |
| express.m7g.4xlarge | 124.9 | 187.5 | 249.8 | 468.7 |
| express.m7g.8xlarge | 250 | 375 | 500 | 937.5 |
| express.m7g.12xlarge | 375 | 562.5 | 750 | 1406.2 |
| express.m7g.16xlarge | 500 | 750 | 1000 | 1875 |
快速代理程式分割區配額
下表顯示每個 Express 代理程式的建議分割區數量 (包括領導者和跟隨者複本)。對於每個 Express 代理程式,您無法超過下表中提到的分割區數量上限。
如需將分割區指派給 Express 代理程式時應考量的最佳實務資訊,請參閱 正確調整叢集大小:每個 Express 代理程式的分割區數量。
| 中介裝置大小 | 每個代理程式的建議分區數量 (包括領導者和追隨複本) | 每個中介裝置的分割區數目上限 |
|---|---|---|
|
|
1000 | 1500 |
|
1000 | 2000 |
|
|
2500 | 4000 |
|
|
6000 | 8000 |
|
12000 | 16000 |
|
16000 | 24000 |
|
20000 | 32000 |
MSK Replicator 配額
每個帳戶最多 15 個 MSK Replicator。
-
MSK Replicator 最多只會依排序複寫 750 個主題。如果您需要複寫更多主題,建議您建立個別的複寫器。如果您需要每個複寫器支援超過 750 個主題,請前往 Service Quotas 主控台
。您可以使用「TopicCount」指標來監控複寫的主題數量。 -
每個 MSK Replicator 的傳入輸送量上限為每秒 1 GB。透過 Service Quotas 主控台
請求更高的配額。 -
MSK Replicator 記錄大小 - 記錄大小上限為 10MB (message.max.bytes)。透過 Service Quotas 主控台
請求更高的配額。
MSK Serverless 配額
除非另有說明,否則下表中指定的配額是每個叢集。
注意
如果您遇到服務配額限制的任何問題,請使用您的使用案例和請求的限制建立支援案例。
| 維度 | 配額 | 配額違反結果 |
|---|---|---|
|
傳入輸送量上限 |
200 MBps |
回應變慢,遭遇限流 |
| 傳出輸送量上限 | 400 MBps |
回應變慢,遭遇限流 |
| 保留期間上限 | 無限制 | N/A |
|
用戶端連線數上限 |
3000 | 連線關閉 |
| 連線嘗試次數上限 | 每秒 100 次 | 連線關閉 |
|
訊息大小上限 |
8 MiB | 請求失敗,ErrorCode:INVALID_REQUEST |
| 請求速率上限 | 每秒 15,000 個 | 回應變慢,遭遇限流 |
|
主題管理 API 請求速率上限 |
每秒 2 個 | 回應變慢,遭遇限流 |
|
每個請求的擷取位元組數上限 |
55 MB |
請求失敗,ErrorCode:INVALID_REQUEST |
|
取用者群組數上限 |
500 | JoinGroup 請求失敗 |
| 分割區數目上限 (領導者) | 非壓縮主題為 2400 個;壓縮主題為 120 個。若要請求調整服務配額,請使用您的使用案例和請求的限制來建立支援案例。 | 請求失敗,ErrorCode:INVALID_REQUEST |
| 分區建立和刪除速率上限 | 5 分鐘 250 個 | 請求失敗,ErrorCode:THROUGHPUT_QUOTA_EXCEEDED |
|
每個分區的傳入輸送量上限 |
5 MBps | 回應變慢,遭遇限流 |
|
每個分區的傳出輸送量上限 |
10 MBps | 回應變慢,遭遇限流 |
|
分區大小上限 (適用於壓縮主題) |
250 GB | 請求失敗,ErrorCode:THROUGHPUT_QUOTA_EXCEEDED |
| 每個無伺服器叢集的用戶端 VPC 數量上限 | 5 | |
| 每個帳戶的無伺服器叢集數量上限 | 10. 若要請求調整服務配額,請使用您的使用案例和請求的限制來建立支援案例。 |
MSK Connect 配額
最高 100 個自訂外掛程式。
-
最高 100 個工作程序組態。
-
最高 60 個連線工作程序。若連接器設定為具有自動擴展容量,則連接器設定擁有的工作程序數量上限會是 MSK Connect 用來計算帳戶配額的數量。
-
每個連接器最多 10 個工作程序。
若要請求提高 MSK Connect 配額,請前往 Service Quotas 主控台