를 사용하여 MSK 프로비저닝 클러스터 생성 AWS Management Console

https://console.aws.amazon.com/msk/에서 Amazon MSK 콘솔을 엽니다.

클러스터 생성을 선택합니다.

클러스터 생성 방법 에서 사용자 지정 생성을 선택합니다.

클러스터 이름에 고유하며 64자를 넘지 않는 이름을 지정합니다.

클러스터 유형으로는 프로비저닝을 선택합니다.

Apache Kafka 버전에서 브로커에서 실행할 버전을 선택합니다. 각 Apache Kafka 버전에서 지원하는 Amazon MSK 기능의 비교를 보려면 버전 호환성 보기를 선택합니다.

브로커 섹션에서 다음을 수행합니다.

1. 브로커 유형에서 다음 옵션 중 하나를 선택합니다.

   • Express 브로커: 완전 관리형 가상 스토리지를 갖춘 확장 가능한 고성능 브로커입니다. 까다로운 고처리량 애플리케이션에 대해이 브로커 유형을 선택합니다.

   • 표준 브로커: 전체 구성 제어가 가능한 기존 Kafka 브로커. 처리량 요구 사항이 중간 수준인 범용 워크로드의 경우이 브로커 유형을 선택합니다.

   이러한 브로커 유형에 대한 자세한 내용은 섹션을 참조하세요Amazon MSK 브로커 유형.

2. 브로커 크기에서 클러스터의 컴퓨팅, 메모리 및 스토리지 요구 사항에 따라 클러스터에 사용할 크기를 선택합니다.

3. 영역 수에서 AWS 가용 영역 브로커가 배포되는의 수를 선택합니다.

   Express 브로커는 고가용성을 위해 3개의 가용 영역이 필요합니다.

4. 영역당 브로커의 경우 Amazon MSK가 각 가용 영역에서 생성할 브로커 수를 지정합니다. 최소 값은 가용 영역당 브로커 1개이고 최대 값은 ZooKeeper 기반 클러스터의 경우 클러스터당 브로커 30개이고 KRaft 기반 클러스터의 경우 클러스터당 브로커 60개입니다.

브로커 유형을 표준으로 선택한 경우 스토리지 섹션에서 다음을 수행합니다.

1. 스토리지에서 클러스터에 포함할 초기 스토리지 양을 선택합니다. 클러스터를 생성한 후에는 스토리지 용량을 줄일 수 없습니다.

2. (선택 사항) 선택한 브로커 크기(인스턴스 크기)에 따라 브로커당 프로비저닝된 스토리지 처리량을 지정할 수도 있습니다. 이 옵션을 사용하면 각 브로커의 Amazon EBS 볼륨에 전용 입력 및 출력(I/O) 성능을 할당할 수 있습니다.

   이 옵션을 활성화하려면 x86의 경우 브로커 크기(인스턴스 크기)로 kafka.m5.4xlarge 이상을 선택하고 Graviton 기반 인스턴스의 경우 kafka.m7g.2xlarge 이상을 선택합니다. 그런 다음 프로비저닝된 스토리지 처리량 활성화 확인란을 선택합니다. 이 확인란을 선택하면 초당 최소 250MiB의 처리량을 수동으로 설정할 수 있습니다. 이는 예측 가능한 고속 스토리지 성능이 필요한 I/O 집약적 워크로드 또는 애플리케이션에 유용합니다. 자세한 내용은 Amazon MSK 클러스터의 표준 브로커에 대한 스토리지 처리량 프로비저닝 단원을 참조하십시오.

3. 클러스터 스토리지 모드에서 클러스터 내에서 데이터를 저장하고 관리하는 방법을 지정합니다. 이 옵션은 브로커에 사용되는 스토리지의 유형과 구성을 결정합니다. 다음 옵션 중 하나를 선택하세요.

   • EBS 스토리지만 해당: 각 브로커에 연결된 Amazon Elastic Block Store(Amazon EBS) 볼륨에 모든 주제 데이터를 로컬로 저장합니다. 일관된 성능 요구 사항과 최신 메시지에 대한 빠른 액세스를 위해이 모드를 선택합니다.

   • 계층형 스토리지 및 EBS 스토리지: 로컬 Amazon EBS 데이터를 Amazon S3의 대규모 데이터 세트를 위한 비용 효율적인 원격 스토리지와 결합합니다. 이 모드는 Amazon EBS 스토리지 비용을 줄이고, 더 긴 데이터 보존을 지원하며, 수동 개입 없이 스토리지를 자동으로 확장합니다. 더 낮은 비용으로 더 오랜 기간 동안 데이터를 보존하거나 스토리지가 크게 확장되어야 하는 경우이 모드를 선택합니다.

클러스터 구성에서 다음 옵션 중 하나를 지정하여 클러스터의 동작을 정의합니다.

다음을 선택하여 계속 진행합니다.

네트워킹의 경우 다음을 수행합니다.

1. 클러스터에 사용할 VPC를 선택합니다.

2. 이전에 선택한 가용 영역 수에 따라 브로커가 배포할 가용 영역 및 서브넷을 지정합니다.

   미국 서부(캘리포니아 북부) 리전의 표준 브로커의 경우 서로 다른 두 가용 영역에 두 개의 서브넷이 필요합니다. Amazon MSK를 사용할 수 있는 다른 모든 리전에서는 2개 또는 3개의 서브넷을 지정할 수 있습니다. 모든 서브넷은 서로 다른 가용 영역에 있어야 합니다.

   Express 브로커의 경우 세 개의 서로 다른 가용 영역에 세 개의 서브넷이 필요합니다.

   MSK 프로비저닝 클러스터를 생성하면 MSK는 지정한 서브넷에 브로커 노드를 균등하게 분산합니다.

3. Amazon EC2의 보안 그룹에서 클러스터에 대한 액세스 권한을 부여하려는 보안 그룹을 하나 이상 선택하거나 생성합니다. 이러한 Amazon EC2 보안 그룹은 브로커에 대한 인바운드 및 아웃바운드 트래픽을 제어합니다. 예를 들어 클라이언트 시스템의 보안 그룹입니다.

   사용자와 공유된 보안 그룹을 지정하는 경우 사용자에게 해당 보안 그룹에 대한 권한이 있어야 합니다. 특히, ec2:DescribeSecurityGroups 권한이 필요합니다. 자세한 내용은 MSK 클러스터에 연결을 참조하세요.

다음을 선택하여 계속 진행합니다.

보안 설정 섹션에서 다음을 수행합니다.

1. 다음 인증 및 권한 부여 방법 중 하나 이상을 선택하여 Kafka 클러스터에 대한 클라이언트 액세스를 제어합니다.

   • 인증되지 않은 액세스: 클라이언트가 인증 자격 증명을 제공하지 않고 클러스터에 액세스할 수 있도록 허용합니다. 이 방법은 보안 위험이며 보안 모범 사례를 준수하지 않을 수 있습니다. 자세한 내용은 msk-unrestricted-access-check를 참조하세요.

   • IAM 역할 기반 인증: AWS IAM 사용자/역할을 사용하여 클라이언트 인증 및 권한 부여를 활성화합니다. 이 방법을 사용하면 IAM 정책을 통해 클러스터 액세스를 세밀하게 제어할 수 있습니다. 이미 실행 중인 애플리케이션에는이 방법을 사용하는 것이 좋습니다 AWS.

   • SASL/SCRAM 인증: 클라이언트가 AWS Secrets Manager 인증을 위해에 저장된 사용자 이름과 암호 자격 증명을 제공해야 합니다. Amazon MSK는 Secrets Manager에서 이러한 자격 증명을 검색하고 사용자를 안전하게 인증합니다.

     클러스터 인증과 관련된 로그인 자격 증명을 설정하려면 먼저 Secrets Manager에서 보안 암호 리소스를 생성합니다. 그런 다음 로그인 자격 증명을 해당 보안 암호와 연결합니다. 이 액세스 제어 방법에 대한 자세한 내용은 섹션을 참조하세요Amazon MSK 클러스터를 위해 SASL/SCRAM 인증 설정.

   • AWS Certificate Manager (ACM)을 통한 TLS 클라이언트 인증: 디지털 인증서를 사용하여 클라이언트와 브로커 간의 상호 인증을 활성화합니다. AWS 계정 클러스터와 동일하거나 다른에서 AWS Private Certificate Authority (AWS Private CA)를 구성해야 합니다.

     mTLS AWS Private CA를 구현할 때는 각 MSK 클러스터에 대해 독립적인를 사용하는 것이 좋습니다. 이렇게 하면 PCAs에서 서명한 TLS 인증서가 단일 MSK 클러스터로만 인증되므로 엄격한 액세스 제어를 유지할 수 있습니다.

암호화에서 저장 데이터를 암호화하는 데 사용할 KMS 키의 종류를 선택합니다. 자세한 내용은 저장 시 Amazon MSK 암호화 단원을 참조하십시오.

저장 데이터 암호화는 저장된 데이터 무결성을 보호하는 반면 전송 중 암호화는 전송 중 네트워크 모니터링으로부터 데이터 기밀성을 보호합니다.

다음을 선택하여 계속 진행합니다.

이 클러스터에 대한 Amazon CloudWatch 지표에서 다음 모니터링 수준 중 하나를 선택합니다. 각 모니터링 수준에서 수집된 지표는 시각화 및 알림을 위해 CloudWatch와 통합됩니다.

1. 기본 모니터링: 추가 비용 없이 필수 클러스터 수준 지표 세트를 제공합니다. 이 수준은 일반적인 모니터링이 필요한 대부분의 사용 사례에 적합합니다.

2. 향상된 브로커 수준 모니터링: 추가 비용으로 자세한 브로커 지표를 제공합니다. 이 수준에는 기본 모니터링과 다른 브로커의 계층형 스토리지 지표 바이트 입/출력, 총 읽기/쓰기 작업 시간과 같은 보다 세분화된 브로커 지표가 포함됩니다. 이 수준의 지표에 대해서는 비용을 지불하지만 기본 수준 지표는 계속 무료입니다.

3. 향상된 주제 수준 모니터링: 추가 비용으로 개별 주제에 대한 지표를 제공합니다. 이 수준을 선택하면 브로커 전반의 주제 성능을 보다 세부적으로 파악할 수 있습니다. 이 수준에는 향상된 브로커 수준 모니터링과 지정된 주제에 대한 계층형 스토리지 지표 및 초당 수신된 메시지 수와 같은 주제 수준 지표가 포함됩니다.

4. 향상된 파티션 수준 모니터링: 추가 비용으로 파티션당 지표를 가장 세밀하게 볼 수 있습니다. 브로커 간에 각 주제 내의 각 파티션에 대한 지표를 캡처하여 가장 자세한 모니터링을 받으려면이 수준을 선택합니다. 이 수준에는 향상된 주제 수준 모니터링과 오프셋 지연 지표와 같은 세분화된 파티션별 지표가 포함됩니다.

이러한 각 모니터링 수준에서 Standard 및 Express 브로커 유형에 사용할 수 있는 지표에 대한 자세한 내용은 표준 브로커에 대한 CloudWatch 지표 및 섹션을 참조하세요Express 브로커에 대한 CloudWatch 지표.

(선택 사항) JMX Exporter, Node Exporter 또는 둘 다를 사용하여 Prometheus 형식으로 지표를 내보내려면 Prometheus에서 오픈 모니터링 활성화를 선택합니다. 이 옵션에 대한 자세한 내용은 Prometheus를 사용하여 모니터링 섹션을 참조하세요.

(선택 사항) 문제 해결 및 감사를 위해 브로커 로그를 다양한 AWS 서비스 에 전달하도록 MSK 클러스터를 구성하려면 다음 옵션 중 하나 이상을 선택합니다. Amazon MSK는 이러한 대상 리소스가 아직 존재하지 않는 경우 이를 생성하지 않습니다. 자세한 내용은 브로커 로그 단원을 참조하십시오.

(선택 사항) 클러스터를 식별, 구성 또는 검색하는 데 도움이 되도록 새 태그 추가를 선택하여 태그를 키-값 페어로 추가합니다. 예를 들어 키-값 페어가 Load testing 및 인 태그를 클러스터에 추가합니다Test.

클러스터에서 태그를 사용하는 방법에 대한 자세한 내용은 섹션을 참조하세요Amazon MSK 클러스터에 태그 지정.

다음을 선택하여 계속 진행합니다.

클러스터의 설정을 검토합니다.

편집 또는 이전을 선택하여 이전에 지정한 설정을 변경하거나 이전 콘솔 화면으로 돌아갑니다.

클러스터 생성을 선택합니다.

클러스터 세부 정보 페이지의 클러스터 요약 섹션에서이 클러스터의 상태를 확인합니다. Amazon MSK가 클러스터를 프로비저닝하면 상태가 생성 중에서 활성으로 변경됩니다. 상태가 활성이면 클러스터에 연결할 수 있습니다. 클러스터 상태에 대한 자세한 내용은 MSK 프로비저닝된 클러스터 상태 이해 섹션을 참조하세요.