Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Gestisci il throughput di storage per i broker Standard in un cluster Amazon MSK
Per informazioni su come fornire la velocità effettiva utilizzando la console, la CLI e l'API di Amazon MSK, consulta. Esegui il provisioning del throughput di storage per i broker Standard in un cluster Amazon MSK
Argomenti
Problemi di throughput del broker Amazon MSK e impostazioni di throughput massimo
Le cause dei colli di bottiglia nel throughput dei broker sono molteplici: throughput di volume, throughput di rete da Amazon ad EC2 Amazon EBS e throughput di uscita Amazon. EC2 È possibile abilitare la velocità di trasmissione effettiva assegnata per regolare la velocità di trasmissione effettiva del volume. Tuttavia, le limitazioni del throughput dei broker possono essere causate dal throughput di rete da Amazon EC2 ad Amazon EBS e dal throughput di uscita di Amazon EC2.
La velocità EC2 di uscita di Amazon è influenzata dal numero di gruppi di consumatori e di consumatori per gruppo di consumatori. Inoltre, sia il throughput di rete EC2 da Amazon ad Amazon EBS che il throughput di EC2 uscita Amazon sono più elevati per broker di grandi dimensioni.
Per volumi di dimensioni pari o superiori a 10 GiB, è possibile assegnare una velocità di trasmissione effettiva dell'archiviazione pari o superiore a 250 MiB al secondo. L'impostazione predefinita è 250 MiB al secondo. Per effettuare il provisioning del throughput di storage, devi scegliere la dimensione del broker kafka.m5.4xlarge o superiore (oppure kafka.m7g.2xlarge o superiore) e puoi specificare il throughput massimo come mostrato nella tabella seguente.
| dimensione del broker | Velocità di trasmissione effettiva massima (MiB/secondo) |
|---|---|
| kafka.m5.4xlarge | 593 |
| kafka.m5.8xlarge | 850 |
| kafka.m5.12xlarge | 1000 |
| kafka.m5.16xlarge | 1000 |
| kafka.m5.24xlarge | 1000 |
| kafka.m7 g. 2 x grande | 312,5 |
| kafka.m7g.4xlarge | 625 |
| kafka.m7g.8xlarge | 1000 |
| kafka.m7g. 12 x grande | 1000 |
| kafka.m7g. 16 x grande | 1000 |
Misura il throughput di storage di un cluster Amazon MSK
È possibile utilizzare i parametri VolumeReadBytes e VolumeWriteBytes per misurare la velocità di trasmissione effettiva media di archiviazione di un cluster. La somma di questi due parametri fornisce la velocità di trasmissione effettiva media dell'archiviazione espressa in byte. Per ottenere la velocità di trasmissione effettiva media dell'archiviazione per un cluster, imposta questi due parametri su SUM e il periodo su 1 minuto, quindi utilizza la formula seguente.
Average storage throughput in MiB/s = (Sum(VolumeReadBytes) + Sum(VolumeWriteBytes)) / (60 * 1024 * 1024)
Per ulteriori informazioni sui parametri VolumeReadBytes e VolumeWriteBytes, consulta la sezione Monitoraggio del livello PER_BROKER.
Valori di aggiornamento della configurazione per lo storage assegnato in un cluster Amazon MSK
Puoi aggiornare la configurazione di Amazon MSK prima o dopo aver attivato la velocità di trasmissione effettiva assegnata. Tuttavia, non vedrai la velocità di trasmissione effettiva desiderata finché non eseguirai entrambe le operazioni: aggiornare il parametro di configurazione num.replica.fetchers e attivare la velocità di trasmissione effettiva assegnata.
Nella configurazione predefinita di Amazon MSK, num.replica.fetchers ha un valore di 2. Per aggiornare il num.replica.fetchers, puoi utilizzare i valori suggeriti dalla tabella seguente. Questi valori sono forniti a scopo indicativo. Si consiglia di modificare questi valori in base al proprio caso d'uso.
| dimensione del broker | num.replica.fetchers |
|---|---|
| kafka.m5.4xlarge | 4 |
| kafka.m5.8xlarge | 8 |
| kafka.m5.12xlarge | 14 |
| kafka.m5.16xlarge | 16 |
| kafka.m5.24xlarge | 16 |
La configurazione aggiornata potrebbe non avere effetto per un massimo di 24 ore e potrebbe richiedere più tempo quando un volume sorgente non è completamente utilizzato. Tuttavia, le prestazioni dei volumi di transizione sono almeno uguali a quelle dei volumi di archiviazione di origine durante il periodo di migrazione. Un volume da 1 TiB completamente utilizzato richiede in genere circa sei ore per migrare a una configurazione aggiornata.
