Amazon MSK クォータ - Amazon Managed Streaming for Apache Kafka
Amazon MSK のクォータ引き上げをリクエストします標準 ブローカークォータExpress ブローカークォータMSK レプリケータークォータサーバーレスクラスターのクォータMSK Connect クォータ

Amazon MSK クォータ

Amazon MSK にデフォルトのクォータがAWS アカウント設定されています。特に明記されていない限り、各アカウントのクォータは、AWS アカウント領域特異的な範囲内です。

Amazon MSK のクォータ引き上げをリクエストします

各リージョンごとに、Service Quotas コンソール、AWS CLI、またはサポートケースを使用して、クォータの引き上げをリクエストできます。調整可能なクォータが Service Quotas で利用できない場合は、AWS Support Center Console を使用してサービスクォータの引き上げケースを作成します。

サポートは、クォータ引き上げリクエストを承認、拒否、または部分的に承認することがあります。引き上げはすぐには許可されず、有効になるまでに数日かかる場合があります。

増加をリクエストするには、Service Quotas コンソールを使用してください。

  1. Service Quotas コンソールを開きますhttps://console.aws.amazon.com/servicequotas/

  2. 画面上部のナビゲーションバーで、リージョンを選択します。

  3. 左側のナビゲーションペインで、[AWS のサービス] を選択します。

  4. [サービスの検索] ボックスにmskを入力し、次に 「Amazon Managed Streaming for Apache Kafka (MSK)」を選択します。

  5. Service Quotas で、引き上げをリクエストするクォータ名を選択します。例えば、Number of brokers per account。

  6. [アカウントレベルでの引き上げをリクエスト] をクリックします。

  7. [クォータ値を引き上げる] には、新しいクォータ値を入力します。

  8. [リクエスト] を選択します。

  9. (任意) コンソールで保留中または最近解決されたリクエストを表示するには、左側のナビゲーションペインで ダッシュボード を選択します。保留中のリクエストの場合は、リクエストのステータスを選択してリクエストの受信をオープンします。リクエストの初期ステータスは [Pending] (保留中) です。ステータスが「クォータ要求中」に変わった後、サポートでケース番号が表示されます。リクエストのチケットを開くには、ケース番号を選択します。

AWS CLI や SDK を使用してクォータの増加をリクエストする方法などの詳細については、「Service Quotas ユーザーガイド」の「クォータ増加のリクエスト」を参照してください。

Amazon MSK 標準 ブローカークォータ

次の表に、標準 ブローカーのクォータを示します。

ディメンション クォータ メモ
アカウントあたりのブローカー 90 クォータの引き上げをリクエストするには、Service Quotas コンソールに移動します。
クラスターあたりのブローカー ZooKeeper ベースのクラスターの場合は 30、KRaft ベースのクラスターの場合は 60 クォータの引き上げをリクエストするには、Service Quotas コンソールに移動します。
ブローカーあたりの最小ストレージ 1 GiB
ブローカーあたりの最大ストレージ 16384 GiB
ブローカーあたりの最大 TCP 接続数 (IAM アクセスコントロール) 3000 この制限値を増やすには、Kafka AlterConfig API または kafka-configs.sh ツールを使用して、listener.name.client_iam.max.connections または listener.name.client_iam_public.max.connections の設定プロパティを調整できます。いずれかのプロパティを高い値に増やすと、使用できなくなる可能性があることに注意してください。
ブローカーあたりの最大 TCP 接続レート (IAM) 100/秒 (M5 および M7g インスタンスサイズ) 4/秒 (t3 インスタンスサイズ) 接続に失敗した場合の再試行を処理するには、クライアント側で reconnect.backoff.ms 設定パラメータを設定できます。例えば、クライアントに 1 秒後に接続を再試行させたい場合は、reconnect.backoff.ms を 1000 に設定します。詳細については、Apache Kafka のドキュメントの reconnect.backoff.ms を参照してください。
ブローカーあたりの最大 TCP 接続数 (非 IAM) 該当なし MSK は、非 IAM 認証に対して接続制限を適用しません。過剰な接続によりクラスターに負荷がかかりすぎないように、CPU やメモリ使用率などの他の指標も監視する必要があります。
アカウントあたりの設定 100 クォータの引き上げをリクエストするには、Service Quotas コンソールに移動します。

MSK クラスターの設定または Apache Kafka バージョンを更新するには、最初に、ブローカーごとのパーティションの数が クラスターの適切なサイズ設定: 標準ブローカーあたりのパーティション数 で説明されている制限を下回っていることを確認します。
アカウントあたりの設定変更 50

Amazon MSK Express ブローカークォータ

次の表は、Express ブローカーのクォータについて説明しています。

ディメンション クォータ メモ
アカウントあたりのブローカー 90 クォータの引き上げをリクエストするには、Service Quotas コンソールに移動します。
クラスターあたりのブローカー 30 クォータの引き上げをリクエストするには、Service Quotas コンソールに移動します。
最大ストレージ 無制限
ブローカーあたりの最大 TCP 接続数 (IAM アクセスコントロール) 3000

接続制限を引き上げるには、Kafka AlterConfig API または kafka-configs.sh ツールを使用して、次のいずれかの設定プロパティを調整します。

  • listener.name.client_iam.max.connections

  • listener.name.client_iam_public.max.connections

これらのプロパティを高い値に設定すると、クラスターが利用不可になる可能性があります。
ブローカーあたりの最大 TCP 接続レート (IAM) 100/秒 接続に失敗した場合の再試行を処理するには、クライアント側で reconnect.backoff.ms 設定パラメータを設定できます。例えば、クライアントに 1 秒後に接続を再試行させたい場合は、reconnect.backoff.ms を 1000 に設定します。詳細については、Apache Kafka のドキュメントの reconnect.backoff.ms を参照してください。
ブローカーあたりの最大 TCP 接続数 (非 IAM) 該当なし MSK は、非 IAM 認証に対して接続制限を適用しません。ただし、CPU やメモリの使用率などの他のメトリクスをモニタリングして、過剰な接続が原因で クラスター が過負荷にならないようにする必要があります。
アカウントあたりの設定 100 クォータの引き上げをリクエストするには、Service Quotas コンソールにアクセスしてください MSK クラスターの設定または Apache Kafka バージョンを更新するには、最初に、ブローカーごとのパーティションの数が クラスターの適切なサイズ設定: Express ブローカーあたりのパーティション数 で説明されている制限を下回っていることを確認します。
アカウントあたりの設定変更 50
ブローカーあたりの最大アクセス 推奨: 15.6～500.0 MBps インスタンスサイズに基づきます。
ブローカーあたりの最大出力 推奨: 31.2～1000.0 MBps インスタンスサイズに基づきます。

ブローカーサイズ別の Express ブローカースループットスロットル制限

以下の表は、異なるブローカーサイズにおける入力および出力に関連する推奨スループット制限と最大スループット制限を示しています。この表では、推奨スループットは持続性能として示されており、これはアプリケーションが性能低下を経験しない閾値です。いずれかの次元でこれらの制限を超えて動作させると、スループットは向上する可能性がありますが、パフォーマンスの低下を経験する可能性もあります。最大クォータは、クラスターが読み取り/書き込みトラフィックを制限するしきい値です。アプリケーションは、このしきい値を超えて動作することはできません。

インスタンスサイズ 入力時の持続的な性能 (MBps) 入力の最大クォータ (MBps) 持続的な性能 (MBps)の出力 出力の最大クォータ (MBps)
express.m7g.large 15.6 23.4 31.2 58.5
express.m7g.xlarge 31.2 46.8 62.5 117
express.m7g.2xlarge 62.5 93.7 125 234.2
express.m7g.4xlarge 124.9 187.5 249.8 468.7
express.m7g.8xlarge 250 375 500 937.5
express.m7g.12xlarge 375 562.5 750 1406.2
express.m7g.16xlarge 500 750 1,000 1875

Express ブローカーパーティションクォータ

以下の表は、各 Express ブローカーに対する推奨パーティション数 (リーダーおよびフォロワーレプリカを含む) を示しています。Express ブローカーごとに、以下の表に記載されているパーティションの最大数を超えることはできません。

Express ブローカーにパーティションを割り当てる際に考慮すべきベストプラクティスについては、「クラスターの適切なサイズ設定: Express ブローカーあたりのパーティション数」を参照してください。

ブローカーサイズ 推奨されるブローカーあたりのパーティション数 (リーダーとフォロワーのレプリカを含む) ブローカーあたりのパーティションの最大数

express.m7g.large

 1,000 1500

express.m7g.xlarge

 1,000 2000

express.m7g.2xlarge

 2500 4000

express.m7g.4xlarge

 6000 8000

express.m7g.8xlarge

 12000 16000

express.m7g.12xlarge

 16000 24000

express.m7g.16xlarge

 20000 32000

MSK レプリケータークォータ

  • アカウントあたり最大 15 個の MSK レプリケーター。

  • MSK Replicator は、ソート順に最大 750 のトピックのみをレプリケートします。より多くのトピックをレプリケートする必要がある場合は、別のレプリケーターを作成することをお勧めします。レプリケーターごとに 750 を超えるトピックのサポートが必要な場合は、Service Quotas コンソールに移動します。レプリケートされるトピックの数は、「TopicCount」メトリクスを使用してモニタリングできます。

  • MSK レプリケーターごとに 1 秒あたり 1 GB の最大入力スループット。Service Quotas コンソールを使用して、クオータの引き上げをリクエストします。

  • MSK Replicator レコードサイズ – 最大 10 MB のレコードサイズ (message.max.bytes)。Service Quotas コンソールを使用して、クオータの引き上げをリクエストします。

MSK サーバーレス クォータ

次の表で指定されているクォータは、特に明記されていない限り、クラスターごとの値です。

注記

サービスクォータの制限に関する問題が発生した場合は、ユースケースとリクエストした制限を記載したサポートケースを作成してください。

ディメンション クォータ クォータ違反の結果

最大入力スループット

200 MBps

レスポンスのスロットル時間による速度低下
最大出力スループット 400 MBps

レスポンスのスロットル時間による速度低下
最大保持期間 無制限 該当なし

クライアント接続の最大数

 3000 接続終了
最大接続試行回数 100/秒 接続終了

最大メッセージサイズ (MB)

 8 MiB リクエストの失敗 (エラーコード: INVALID_REQUEST)
最大リクエストレート 1 秒あたり 15,000 レスポンスのスロットル時間による速度低下

トピック管理 API の最大リクエストレート

 2/秒 レスポンスのスロットル時間による速度低下

リクエストあたりの最大フェッチバイト数

55 MB

 リクエストの失敗 (エラーコード: INVALID_REQUEST)

ユーザーグループの最大数

 500 JoinGroup リクエストの失敗
パーティション (リーダー) の最大数 圧縮されていないトピックの場合は 2400、圧縮されたトピックの場合は 120。サービスクォータの調整をリクエストするには、ユースケースとリクエストした制限を記載したサポートケースを作成します。 リクエストの失敗 (エラーコード: INVALID_REQUEST)
パーティションの作成と削除の最大レート 5 分で 250 リクエストの失敗 (エラーコード: THROUGHPUT_QUOTA_EXCEEDED)

パーティションあたりの最大入力スループット

 5 MBps レスポンスのスロットル時間による速度低下

パーティションあたりの最大出力スループット

 10 MBps レスポンスのスロットル時間による速度低下

最大パーティションサイズ (圧縮されたトピック用)

 250 GB リクエストの失敗 (エラーコード: THROUGHPUT_QUOTA_EXCEEDED)
サーバーレスクラスターあたりのクライアント VPC の最大数 5
アカウントあたりのサーバーレスクラスターの最大数 10. サービスクォータの調整をリクエストするには、ユースケースとリクエストした制限を記載したサポートケースを作成します。

MSK Connect クォータ

  • 最大 100 個のカスタムプラグイン。

  • 最大 100 個のワーカー構成。

  • 最大 60 人のコネクトワーカー。コネクタがオートスケーリングされた容量を持つように設定されている場合、コネクタが持つように設定されているワーカーの最大数は、MSK Connect がアカウントのクォータを計算するために使用する数です。

  • コネクタごとに最大 10 人のワーカー。

MSK Connect のクォータの引き上げをリクエストするには、Service Quotas コンソールに移動します。