Verwenden von Shards und Metriken mit DynamoDB Streams und Kinesis Data Streams

Die durchschnittliche Größe des Datensatzes Ihrer DynamoDB-Tabelle in Byte (average_record_size_in_bytes).

Die maximale Anzahl von Schreibvorgängen, die Ihre DynamoDB-Tabelle pro Sekunde ausführen wird. Dazu gehören das Erstellen, Löschen und Aktualisieren von Vorgängen, die von Ihren Anwendungen ausgeführt werden, sowie automatisch generierte Vorgänge, z. B. von Time to Live generierte Löschvorgänge (write_throughput).

Der Prozentsatz der Aktualisierungs- und Überschreibvorgänge, die Sie für Ihre Tabelle ausführen, im Vergleich zu Erstellungs- oder Löschvorgängen (percentage_of_updates). Aktualisierungs- und Überschreibvorgänge replizieren sowohl die alten als auch die neuen Images des geänderten Elements in den Stream. Dies erzeugt die doppelte DynamoDB-Elementgröße.

Mit dieser Formel können Sie die Anzahl der Shards abschätzen, die für die Aufnahme Ihrer DynamoDB-Änderungsdatensätze erforderlich sind. Sie stellt nicht die Gesamtzahl der Shards dar, die in Ihrem Kinesis-Daten-Stream benötigt werden, z. B. Shards, die zur Unterstützung zusätzlicher Nutzer von Kinesis-Daten-Streams erforderlich sind.

Im Bereitstellungsmodus kann es immer noch zu Ausnahmen beim Lese- und Schreibdurchsatz kommen, wenn Sie Ihren Datenstrom nicht für den Spitzendurchsatz konfigurieren. In diesem Fall müssen Sie Ihren Datenstrom manuell skalieren, um den Datenverkehr zu bewältigen.

Diese Formel berücksichtigt die zusätzliche Überlastung, die von DynamoDB generiert wird, bevor die Änderungsprotokoll-Datensätze an Kinesis Data Streams gestreamt werden.

ThrottledPutRecordCount: Die Anzahl der Datensätze, die von Ihrem Kinesis-Daten-Stream aufgrund unzureichender Kinesis-Daten-Stream-Kapazität gedrosselt wurden. Der ThrottledPutRecordCount sollte so niedrig wie möglich bleiben, obwohl sie bei außergewöhnlichen Nutzungsspitzen eine gewisse Drosselung erfahren könnten. DynamoDB versucht erneut, gedrosselte Datensätze in das Kinesis Data Stream zu senden. Dies kann jedoch zu einer höheren Replikationslatenz führen.

Wenn eine übermäßige und regelmäßige Drosselung auftritt, müssen Sie möglicherweise die Anzahl der Kinesis-Stream-Shards proportional zum beobachteten Schreibdurchsatz Ihrer Tabelle erhöhen. Weitere Informationen zur Bestimmung der Größe eines Kinesis Data Streams finden Sie unter Bestimmen der anfänglichen Größe eines Kinesis Data Streams.

AgeOfOldestUnreplicatedRecord: Die verstrichene Zeit seit der ältesten Änderung auf Elementebene, die noch in den Kinesis Data Stream repliziert wurde, wurde in der DynamoDB-Tabelle angezeigt. Im Normalbetrieb sollte AgeOfOldestUnreplicatedRecord in der Reihenfolge von Millisekunden liegen. Diese Zahl wächst aufgrund erfolgloser Replikationsversuche, wenn diese durch kundengesteuerte Konfigurationsoptionen verursacht werden.

Wenn die Metrik AgeOfOldestUnreplicatedRecord 168 Stunden überschreitet, wird die Replikation von Änderungen auf Elementebene aus der DynamoDB-Tabelle in den Kinesis-Daten-Stream automatisch deaktiviert.

Kundengesteuerte Konfigurationsbeispiele, die zu erfolglosen Replikationsversuchen führen, sind eine zu gering bereitgestellte Kinesis-Daten-Stream-Kapazität, die zu übermäßiger Drosselung führt, oder eine manuelle Aktualisierung der Zugriffsrichtlinien Ihres Kinesis-Daten-Streams, die DynamoDB das Hinzufügen von Daten zu Ihrem Datenstrom verweigern. Um diese Metrik so niedrig wie möglich zu halten, müssen Sie möglicherweise die richtige Bereitstellung Ihrer Kinesis-Daten-Stream-Kapazität sicherstellen und sicherstellen, dass die Berechtigungen von DynamoDB unverändert bleiben.

FailedToReplicateRecordCount: Die Anzahl der Datensätze, die DynamoDB nicht in Ihren Kinesis-Datenstrom repliziert hat. Bestimmte Elemente, die größer als 34 KB sind, können sich vergrößern, um Datensätze zu ändern, die größer als die Elementgrößengrenze von 1 MB von Kinesis Data Streams sind. Diese Größenerweiterung tritt auf, wenn diese Elemente, die größer als 34 KB sind, eine große Anzahl von booleschen oder leeren Attributwerten enthalten. Boolesche und leere Attributwerte werden in DynamoDB als 1 Byte gespeichert, erweitern sich jedoch auf bis zu 5 Byte, wenn sie mit Standard-JSON für die Kinesis-Data-Streams-Replikation serialisiert werden. DynamoDB kann solche Änderungsdatensätze nicht in Ihren Kinesis Dats Stream replizieren. DynamoDB überspringt diese Änderungsdatensätze und repliziert automatisch nachfolgende Datensätze.