Amazon MSK Express ブローカー - Amazon Managed Streaming for Apache Kafka

Amazon MSK Express ブローカー

MSK プロビジョニングの Express ブローカーを使用すると、Apache Kafka の管理が簡単になり、大規模に実行するためのコスト効率が向上し、予想される低レイテンシーで伸縮性が向上します。ブローカーには、自動的にスケールする pay-as-you-go のストレージが含まれており、サイジング、プロビジョニング、プロアクティブモニタリングは必要ありません。選択したインスタンスサイズに応じて、各ブローカーノードは標準の Apache Kafka ブローカーと比較して、ブローカーあたり最大 3 倍のスループットを提供し、最大 20 倍の速度でスケールアップし、 90% 速く回復します。Express ブローカーは Amazon MSK のベストプラクティスに基づくデフォルト設定で事前構成されており、クライアントのスループットクォータを強制適用することで、クライアント間および Kafka のバックグラウンド操作とのリソース競合を最小限に抑えます。

エクスプレスブローカーを利用する際の主な考慮事項と機能は以下の通りです。

  • ストレージ管理なし: Express ブローカーを使用すると、ストレージリソースをプロビジョニングまたは管理する必要がなくなります。弾力性があり、事実上無制限で、従量課金制、かつ完全に管理されたストレージを利用できます。高スループットのユースケースでは、コンピューティングインスタンスとストレージボリューム間の相互作用、および関連するスループットのボトルネックについて考慮する必要はありません。これらの機能によりクラスタ管理が簡素化され、ストレージ管理の運用オーバーヘッドが排除されます。

  • 高速なスケーリング: Express ブローカーでは、クラスターのスケーリングとパーティションの移動を、Standard ブローカーに比べて最大 20 倍高速に行えます。この機能は、今後の負荷急増に対応するためにクラスターをスケールアウトする必要がある場合や、コスト削減のためにクラスターをスケールインする必要がある場合に極めて重要です。クラスターのスケーリングの詳細については、 クラスターの拡張 ブローカーの削除 パーティションの再割り当て 再調整のための LinkedIn の Cruise Control の設定 に関するセクションを参照してください。

  • 高いスループット: Express ブローカーは、スタンダードブローカーと比較して、ブローカー1台あたり最大 3 倍のスループットを提供します。例えば、m7g.16xlarge サイズの Express ブローカー 1 台あたり最大 500 MBps で安全にデータを書き込みできます。これは同等の Standard ブローカーの 153.8 MBps と比較して高い性能です (両数値とも、レプリケーションやリバランスなどのバックグラウンド操作に十分な帯域幅が割り当てられていることを前提としています)。

  • 高いレジリエンスのために設定: Express ブローカーは、クラスターの耐障害性を向上させるための様々なベストプラクティスを自動的に提供します。これには、重要な Apache Kafka 設定に対するガードレール、スループットクォータ、およびバックグラウンド操作や予期せぬ修復のためのキャパシティ予約が含まれます。これらの機能により、大規模な Apache Kafka アプリケーションを安全かつ容易に実行できるようになります。詳細については、Express ブローカー設定およびAmazon MSK Express ブローカークォータのセクションを参照してください。

  • メンテナンスウィンドウなし: Express ブローカーのメンテナンスウィンドウはありません。Amazon MSK は、クラスターのハードウェアを継続的に自動的に更新します。詳細については、Express ブローカーのパッチ適用 を参照してください。

Express ブローカーに関する追加情報

  • Express ブローカーは Apache Kafka API を使用しますが、KStreams API はまだ完全にはサポートしていません。

  • Express ブローカーは 3AZs 設定でのみ使用できます。

  • Express ブローカーは、一部のインスタンスサイズでのみ使用できます。更新されたリストについては、Amazon MSK の料金 を参照してください。

  • Express ブローカーは、Apache Kafka バージョン 3.6 および 3.8 でサポートされています。

これらのブログを見る

MSK Express ブローカーの詳細と使用中の Express ブローカーの実際の例については、以下のブログを参照してください。