Crea un cluster MSK Provisioned utilizzando il AWS Management Console

Apri la console Amazon MSK all'indirizzo https://console.aws.amazon.com/msk/.

Scegli Create cluster (Crea cluster).

Per il metodo di creazione del cluster, scegli Creazione personalizzata.

Per Nome cluster, specifica un nome univoco e contenente non più di 64 caratteri.

Per il tipo di cluster, scegli Provisioned.

Per la versione Apache Kafka, scegli una versione da eseguire sui broker. Per visualizzare un confronto tra le funzionalità di Amazon MSK supportate da ciascuna versione di Apache Kafka, scegli Visualizza compatibilità della versione.

Nella sezione Broker, procedi come segue:

1. Per il tipo di broker, scegli una delle seguenti opzioni:

   • Broker Express: broker scalabili e ad alte prestazioni con storage virtuale completamente gestito. Scegli questo tipo di broker per applicazioni impegnative e ad alto rendimento.

   • Broker standard: broker Kafka tradizionale con controllo completo della configurazione. Scegli questo tipo di broker per carichi di lavoro generici con requisiti di throughput moderati.

   Per ulteriori informazioni su questi tipi di broker, consulta. Tipi di broker Amazon MSK

2. Per Broker size, scegli una dimensione da utilizzare per il cluster in base alle esigenze di calcolo, memoria e archiviazione del cluster.

3. Per Numero di zone, scegli il numero di aree AWS Zone di disponibilitàin cui sono distribuiti i broker.

   I broker Express richiedono tre zone di disponibilità per una maggiore disponibilità.

4. Per i broker per zona, specifica il numero di broker che desideri che Amazon MSK crei in ogni zona di disponibilità. Il minimo è un broker per zona di disponibilità e il massimo è 30 broker per cluster per cluster ZooKeeper basati e 60 broker per cluster per cluster per cluster basati. KRaft

Se hai selezionato il tipo di broker come Standard, procedi come segue nella sezione Archiviazione:

1. Per Storage, scegli la quantità iniziale di spazio di archiviazione che desideri assegnare al cluster. Non è possibile ridurre la capacità di archiviazione dopo aver creato il cluster.

2. (Facoltativo) A seconda della dimensione del broker (dimensione dell'istanza) selezionata, puoi anche specificare il throughput di storage fornito per broker. Questa opzione consente di allocare prestazioni di input e output (I/O) dedicate per i volumi Amazon EBS di ciascun broker.

   Per abilitare questa opzione, scegli la dimensione del broker (dimensione dell'istanza) kafka.m5.4xlarge o superiore per x86 e kafka.m7g.2xlarge o superiore per le istanze basate su Graviton. Quindi, seleziona la casella di controllo Enable provisioned storage throughput. Selezionando questa casella di controllo, è possibile impostare manualmente un minimo di 250 MiB al secondo di throughput. Ciò è utile per carichi di lavoro o applicazioni a uso intensivo di I/O che richiedono prestazioni di storage prevedibili e ad alta velocità. Per ulteriori informazioni, consulta Esegui il provisioning del throughput di storage per i broker Standard in un cluster Amazon MSK.

3. Per la modalità di archiviazione Cluster, specifica in che modo i dati vengono archiviati e gestiti all'interno del cluster. Questa opzione determina il tipo e la configurazione dello storage utilizzato dai broker. Selezionare una delle seguenti opzioni:

   • Solo storage EBS: archivia tutti i dati relativi agli argomenti localmente sui volumi Amazon Elastic Block Store (Amazon EBS) collegati a ciascun broker. Scegli questa modalità per esigenze prestazionali coerenti e accesso rapido ai messaggi recenti.

   • Storage su più livelli e storage EBS: combina i dati locali di Amazon EBS con lo storage remoto ed economico per set di dati di grandi dimensioni in Amazon S3. Questa modalità riduce i costi di storage di Amazon EBS, supporta una conservazione dei dati più lunga e ridimensiona automaticamente lo storage senza intervento manuale. Scegli questa modalità quando desideri conservare i dati per periodi più lunghi a costi inferiori o prevedi che le tue esigenze di storage aumentino in modo significativo.

Per la configurazione del cluster, specifica una delle seguenti opzioni per definire il comportamento del cluster:

Scegli Successivo per continuare.

Per le reti, procedi come segue:

1. Scegli il VPC che desideri utilizzare per il cluster.

2. In base al numero di zone di disponibilità selezionate in precedenza, specifica le zone di disponibilità e le sottoreti in cui verranno implementate i broker.

   Per i broker standard nella regione Stati Uniti occidentali (California settentrionale), sono necessarie due sottoreti in due zone di disponibilità diverse. Per altre regioni in cui è disponibile Amazon MSK, è possibile specificare due o tre sottoreti. Le sottoreti devono trovarsi tutte in zone di disponibilità differenti.

   Per i broker Express, sono necessarie tre sottoreti in tre diverse zone di disponibilità.

   Quando si crea un cluster MSK Provisioned, MSK distribuisce i nodi broker in modo uniforme sulle sottoreti specificate.

3. Per i gruppi di sicurezza in Amazon EC2, scegli o crea uno o più gruppi di sicurezza a cui desideri consentire l'accesso al tuo cluster. Questi gruppi EC2 di sicurezza Amazon controllano il traffico in entrata e in uscita verso i tuoi broker. Ad esempio, i gruppi di sicurezza delle macchine client.

   Se specificate gruppi di sicurezza condivisi con voi, dovete assicurarvi di disporre delle autorizzazioni per utilizzarli. Nello specifico, è necessaria l'autorizzazione ec2:DescribeSecurityGroups. Per ulteriori informazioni, vedere Connessione a un cluster MSK.

Scegli Successivo per continuare.

Nella sezione Impostazioni di sicurezza, procedi come segue:

1. Scegli uno o più dei seguenti metodi di autenticazione e autorizzazione per controllare l'accesso dei client ai tuoi cluster Kafka:

   • Accesso non autenticato: consente ai client di accedere al cluster senza fornire alcuna credenziale di autenticazione. Questo metodo rappresenta un rischio per la sicurezza e potrebbe non essere conforme alle migliori pratiche di sicurezza. Per ulteriori informazioni, consulta msk-unrestricted-access-check.

   • Autenticazione basata sui ruoli IAM: consente l'autenticazione e l'autorizzazione del client utilizzando utenti/ruoli AWS IAM. Questo metodo fornisce un controllo granulare sull'accesso ai cluster tramite le policy IAM. Abbiamo consigliato questo metodo per le applicazioni già in esecuzione in. AWS

   • Autenticazione SASL/SCRAM: richiede ai client di fornire le credenziali di nome utente e password memorizzate per l'autenticazione. AWS Secrets Manager Amazon MSK recupera queste credenziali da Secrets Manager e autentica gli utenti in modo sicuro.

     Per configurare le credenziali di accesso relative all'autenticazione per un cluster, crea prima una risorsa segreta in Secrets Manager. Quindi, associa le credenziali di accesso a quel segreto. Per ulteriori informazioni su questo metodo di controllo dell'accesso, vedere. Configurare SASL/SCRAM l'autenticazione per un cluster Amazon MSK

   • Autenticazione client TLS tramite AWS Certificate Manager (ACM): consente l'autenticazione reciproca tra client e broker utilizzando certificati digitali. È necessario configurare un AWS Private Certificate Authority (AWS Private CA) nello stesso o in un altro cluster Account AWS .

     Consigliamo vivamente di utilizzare AWS Private CA s indipendenti per ogni cluster MSK durante l'implementazione di MTL. Ciò garantisce che i certificati TLS firmati da si autentichino PCAs solo con un singolo cluster MSK, mantenendo così un rigoroso controllo degli accessi.

In Encryption, scegli il tipo di chiave KMS che desideri utilizzare per crittografare i dati inattivi. Per ulteriori informazioni, consulta Crittografia Amazon MSK a riposo.

La crittografia dei dati inattivi protegge l'integrità dei dati archiviati, mentre la crittografia in transito protegge la riservatezza dei dati dal monitoraggio della rete durante il trasferimento.

Scegli Successivo per continuare.

Per i CloudWatch parametri Amazon per questo cluster, scegli uno dei seguenti livelli di monitoraggio. Le metriche raccolte a ciascun livello di monitoraggio sono integrate CloudWatch per la visualizzazione e gli avvisi.

1. Monitoraggio di base: fornisce una serie di metriche essenziali a livello di cluster senza costi aggiuntivi. Questo livello è utile per la maggior parte dei casi d'uso con esigenze di monitoraggio generali.

2. Monitoraggio avanzato a livello di broker: fornisce metriche dettagliate dei broker a costi aggiuntivi. Questo livello include il monitoraggio di base e parametri più granulari dei broker, come i parametri di storage su più livelli, i byte in/out di altri broker e il tempo totale di utilizzo delle operazioni. read/write Paghi per le metriche di questo livello, mentre le metriche di livello base continuano a essere gratuite.

3. Monitoraggio avanzato a livello di argomento: fornisce metriche per singoli argomenti a un costo aggiuntivo. Scegli questo livello per ottenere una visione più dettagliata delle prestazioni degli argomenti tra i broker. Questo livello include il monitoraggio avanzato a livello di broker e parametri a livello di argomento, come i parametri di storage su più livelli per un argomento specifico e il numero di messaggi ricevuti al secondo.

4. Monitoraggio avanzato a livello di partizione: fornisce la visualizzazione più granulare delle metriche per partizione a costi aggiuntivi. Scegli questo livello per ottenere il monitoraggio più dettagliato acquisendo le metriche per ogni partizione all'interno di ogni argomento tra i broker. Questo livello include un monitoraggio avanzato a livello di argomento e metriche dettagliate specifiche delle partizioni, come le metriche di offset lag.

Per ulteriori informazioni sulle metriche disponibili per i tipi di broker Standard ed Express a ciascuno di questi livelli di monitoraggio, consulta e. CloudWatch metriche per i broker Standard CloudWatch metriche per i broker Express

(Facoltativo) Se desideri esportare le metriche in formato Prometheus utilizzando JMX Exporter, Node Exporter o entrambi, scegli Abilita il monitoraggio aperto con Prometheus. Per ulteriori informazioni su questa opzione, consulta Monitora con Prometheus.

(Facoltativo) Per configurare il cluster MSK in modo da fornire i log dei broker a vari utenti per la risoluzione dei problemi e il controllo, scegliete una o più delle Servizi AWS seguenti opzioni. Amazon MSK non crea queste risorse di destinazione se non esistono già. Per ulteriori informazioni, consulta Log di broker.

(Facoltativo) Per facilitare l'identificazione, l'organizzazione o la ricerca del cluster, scegli Aggiungi nuovo tag per aggiungere tag come coppie chiave-valore. Ad esempio, aggiungi un tag al cluster con la coppia chiave-valore e. Load testing Test

Per ulteriori informazioni sull'utilizzo dei tag nei cluster, consulta. Contrassegna un tag a un cluster Amazon MSK

Scegli Successivo per continuare.

Rivedi le impostazioni del tuo cluster.

Scegli Modifica o Precedente per modificare le impostazioni specificate in precedenza o tornare alla schermata precedente della console.

Scegli Create cluster (Crea cluster).

Controlla lo stato di questo cluster nella sezione di riepilogo del cluster della pagina dei dettagli del cluster. Quando Amazon MSK assegna il cluster, lo stato passa da Creazione in corso ad Attivo. Quando lo stato è Attivo, puoi connetterti al cluster. Per ulteriori informazioni sugli stati del cluster, consulta la pagina Comprendi gli stati del cluster MSK Provisioned.