を使用して MSK プロビジョンドクラスターを作成する AWS Management Console

https://console.aws.amazon.com/msk/ で Amazon MSK コンソールを開きます。

Create cluster (クラスターの作成) を選択します。

[クラスターの作成方法] で、[カスタム作成] を選択します。

クラスター名には、一意で 64 文字以下の名前を指定します。

[クラスタータイプ] に [プロビジョンド] を選択します。

Apache Kafka バージョンでは、ブローカーで実行するバージョンを選択します。各 Apache Kafka バージョンでサポートされている Amazon MSK 機能の比較を確認するには、「バージョンの互換性を表示」を選択します。

ブローカーセクションで、次の操作を行います。

1. ブローカータイプで、次のいずれかのオプションを選択します。

   • Express ブローカー: フルマネージド仮想ストレージを備えた高性能でスケーラブルなブローカー。要求の厳しい高スループットアプリケーションには、このブローカータイプを選択します。

   • 標準ブローカー: フル設定制御を備えた従来の Kafka ブローカー。スループット要件が中程度の汎用ワークロードには、このブローカータイプを選択します。

   これらのブローカータイプの詳細については、「」を参照してくださいAmazon MSK ブローカータイプ。

2. ブローカーサイズでは、クラスターのコンピューティング、メモリ、ストレージのニーズに基づいて、クラスターに使用するサイズを選択します。

3. ゾーンの数 で、ブローカーが分散AWS アベイラビリティーゾーンされる の数を選択します。

   Express ブローカーでは、可用性を高めるために 3 つのアベイラビリティーゾーンが必要です。

4. ゾーンあたりのブローカーについては、Amazon MSK が各アベイラビリティーゾーンに作成するブローカーの数を指定します。最小値はアベイラビリティーゾーンごとに 1、最大値は ZooKeeper ベースのクラスターの場合クラスターごとに 30、KRaft ベースのクラスターの場合クラスターごとに 60 です。

ブローカータイプを標準として選択した場合は、ストレージセクションで次の操作を行います。

1. Storage で、クラスターに必要なストレージの初期量を選択します。クラスターの作成後にストレージ容量を減らすことはできません。

2. （オプション) 選択したブローカーサイズ (インスタンスサイズ) に応じて、ブローカーごとにプロビジョンドストレージスループットを指定することもできます。このオプションを使用すると、各ブローカーの Amazon EBS ボリュームに専用の入出力 (I/O) パフォーマンスを割り当てることができます。

   このオプションを有効にするには、x86 の場合 kafka.m5.4xlarge 以上、Graviton ベースのインスタンスの場合 kafka.m7g.2xlarge 以上のブローカーサイズ (インスタンスサイズ) を選択します。次に、プロビジョニングされたストレージスループットを有効にするチェックボックスをオンにします。このチェックボックスをオンにすると、1 秒あたり最低 250 MiB のスループットを手動で設定できます。これは、I/O を多用するワークロードや、高速で予測可能なストレージパフォーマンスを必要とするアプリケーションに役立ちます。詳細については、「Amazon MSK クラスター内の標準ブローカーのストレージスループットをプロビジョニングする」を参照してください。

3. クラスターストレージモードでは、クラスター内でデータを保存および管理する方法を指定します。このオプションは、ブローカーに使用されるストレージのタイプと設定を決定します。以下のオプションのいずれかを選択してください：

   • EBS ストレージのみ: すべてのトピックデータを各ブローカーにアタッチされた Amazon Elastic Block Store (Amazon EBS) ボリュームにローカルに保存します。一貫したパフォーマンスニーズと最近のメッセージへの迅速なアクセスのために、このモードを選択します。

   • 階層型ストレージと EBS ストレージ: ローカル Amazon EBS データと Amazon S3 の大規模なデータセットのリモートでコスト効率の高いストレージを組み合わせます。このモードでは、Amazon EBS ストレージコストを削減し、より長いデータ保持をサポートし、手動による介入なしでストレージを自動的にスケーリングします。データを低コストで長期間保持する場合や、ストレージの大幅な増加が予想される場合は、このモードを選択します。

クラスター設定では、次のいずれかのオプションを指定してクラスターの動作を定義します。

[Next] (次へ) をクリックして先に進みます。

ネットワーキングの場合は、次の操作を行います。

1. クラスターに使用する VPC を選択します。

2. 以前に選択したアベイラビリティーゾーンの数に基づいて、ブローカーがデプロイするアベイラビリティーゾーンとサブネットを指定します。

   米国西部 (北カリフォルニア) リージョンのスタンダードブローカーの場合、2 つの異なるアベイラビリティーゾーンに 2 つのサブネットが必要です。Amazon MSK が使用可能なその他のリージョンでは、サブネットを 2 つまたは 3 つ指定できます。サブネットはすべて、異なるアベイラビリティーゾーンに存在している必要があります。

   Express ブローカーの場合、3 つの異なるアベイラビリティーゾーンに 3 つのサブネットが必要です。

   MSK プロビジョンドクラスターを作成すると、MSK は指定したサブネットにブローカーノードを均等に分散します。

3. Amazon EC2 のセキュリティグループでは、クラスターへのアクセスを許可する 1 つ以上のセキュリティグループを選択または作成します。これらの Amazon EC2 セキュリティグループは、ブローカーへのインバウンドトラフィックとアウトバウンドトラフィックを制御します。たとえば、クライアントマシンのセキュリティグループなどです。

   共有されるセキュリティグループを指定する場合は、そのセキュリティグループを使用するアクセス許可があることを確認する必要があります。具体的には、 ec2:DescribeSecurityGroups アクセス許可が必要です。詳細については、「MSK クラスターへの接続」を参照してください。

[Next] (次へ) をクリックして先に進みます。

セキュリティ設定セクションで、次の操作を行います。

1. Kafka クラスターへのクライアントアクセスを制御するには、次の認証および認可方法を 1 つ以上選択します。

   • 認証されていないアクセス: クライアントが認証情報を指定せずにクラスターにアクセスできるようにします。この方法はセキュリティリスクであり、セキュリティのベストプラクティスに準拠していない可能性があります。詳細については、「msk-unrestricted-access-check」を参照してください。

   • IAM ロールベースの認証: AWS IAM ユーザー/ロールを使用したクライアント認証と認可を有効にします。この方法では、IAM ポリシーによるクラスターアクセスをきめ細かく制御できます。この方法は、すでに で実行されているアプリケーションに推奨されます AWS。

   • SASL/SCRAM 認証: クライアントは認証 AWS Secrets Manager のために に保存されているユーザー名とパスワードの認証情報を提供する必要があります。Amazon MSK は、Secrets Manager からこれらの認証情報を取得し、ユーザーを安全に認証します。

     クラスターの認証に関するサインイン認証情報を設定するには、まず Secrets Manager で Secret リソースを作成します。次に、サインイン認証情報をそのシークレットに関連付けます。このアクセスコントロール方法の詳細については、「」を参照してくださいAmazon MSK クラスターの SASL/SCRAM 認証を設定する。

   • AWS Certificate Manager (ACM) による TLS クライアント認証: デジタル証明書を使用したクライアントとブローカー間の相互認証を有効にします。 AWS Private Certificate Authority （AWS Private CA) は、 AWS アカウント クラスターと同じ または異なる で設定する必要があります。

     mTLS AWS Private CAを実装するときは、MSK クラスターごとに独立した を使用することを強くお勧めします。これにより、PCAs によって署名された TLS 証明書は 1 つの MSK クラスターでのみ認証されるため、厳格なアクセスコントロールが維持されます。

暗号化で、保管中のデータの暗号化に使用する KMS キーの種類を選択します。詳細については、「保管中の Amazon MSK 暗号化」を参照してください。

保管中のデータを暗号化すると保存データの整合性が保護され、転送中のデータを暗号化すると転送中のネットワークモニタリングからデータの機密性が保護されます。

[Next] (次へ) をクリックして先に進みます。

このクラスターの Amazon CloudWatch メトリクスでは、次のいずれかのモニタリングレベルを選択します。各モニタリングレベルで収集されたメトリクスは、可視化とアラートのために CloudWatch と統合されています。

1. 基本モニタリング: クラスターレベルの必須メトリクスのセットを追加料金なしで提供します。このレベルは、一般的なモニタリングが必要なほとんどのユースケースに適しています。

2. ブローカーレベルのモニタリングの強化: 詳細なブローカーメトリクスを追加料金で提供します。このレベルには、基本的なモニタリングと、他のブローカーの階層型ストレージメトリクスのバイトイン/アウト、読み取り/書き込みオペレーションの合計時間など、より詳細なブローカーメトリクスが含まれます。このレベルのメトリクスに対して料金が発生しますが、基本レベルのメトリクスは引き続き無料です。

3. トピックレベルのモニタリングの強化: 個々のトピックのメトリクスを追加料金で提供します。このレベルを選択すると、ブローカー全体のトピックパフォーマンスをより詳細に確認できます。このレベルには、ブローカーレベルのモニタリングの強化と、指定されたトピックの階層型ストレージメトリクスや 1 秒あたりに受信されたメッセージ数などのトピックレベルのメトリクスが含まれます。

4. 拡張パーティションレベルのモニタリング: パーティションあたりのメトリクスの最も詳細なビューを追加料金で提供します。このレベルを選択すると、ブローカー間で各トピック内の各パーティションのメトリクスをキャプチャして、最も詳細なモニタリングを取得できます。このレベルには、強化されたトピックレベルのモニタリングと、オフセットラグメトリクスなどのきめ細かなパーティション固有のメトリクスが含まれます。

これらの各モニタリングレベルで Standard および Express ブローカータイプで使用できるメトリクスの詳細については、標準ブローカーの CloudWatch メトリクス「」および「」を参照してくださいExpress ブローカーの CloudWatch メトリクス。

（オプション) JMX Exporter、Node Exporter、またはその両方を使用してメトリクスを Prometheus 形式でエクスポートする場合は、Prometheus でオープンモニタリングを有効にするを選択します。このオプションの詳細については、「Prometheus でモニタリングする」を参照してください。

（オプション) トラブルシューティングと監査 AWS のサービス のためにブローカーログをさまざまな に配信するように MSK クラスターを設定するには、次のオプションを 1 つ以上選択します。Amazon MSK は、これらの宛先リソースがまだ存在しない場合、それらを作成しません。詳細については、「ブローカーログ」を参照してください。

（オプション) クラスターの識別、整理、検索を行うには、新しいタグの追加を選択して、キーと値のペアとしてタグを追加します。たとえば、 Load testingと のキーと値のペアを使用してクラスターにタグを追加しますTest。

クラスターでのタグの使用の詳細については、「」を参照してくださいAmazon MSK クラスターをタグ付ける。

[Next] (次へ) をクリックして先に進みます。

クラスターの設定を確認します。

編集または前 を選択して、以前に指定した設定を変更するか、前のコンソール画面に戻ります。

[クラスターを作成] を選択します。

クラスターの詳細ページのクラスター概要セクションで、このクラスターのステータスを確認します。Amazon MSK がクラスターをプロビジョニングすると、ステータスが [作成中] から [アクティブ] に変わります。ステータスが [アクティブ] の場合、クラスターに接続できます。クラスターのステータスの詳細については、「MSK プロビジョンドクラスターの状態を理解する」を参照してください。