View a markdown version of this page

So funktionieren Change Data Capture (CDC) -Streams in Amazon Keyspaces - Amazon Keyspaces (für Apache Cassandra)

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

So funktionieren Change Data Capture (CDC) -Streams in Amazon Keyspaces

Dieser Abschnitt bietet einen Überblick darüber, wie Change Data Capture (CDC) -Streams in Amazon Keyspaces funktionieren.

Amazon Keyspaces Change Data Capture (CDC) zeichnet eine geordnete Abfolge von Änderungen auf Zeilenebene in Amazon Keyspaces-Tabellen auf und speichert diese Informationen bis zu 24 Stunden lang in einem Protokoll namens Stream. Jede Änderung auf Zeilenebene generiert einen neuen CDC-Datensatz, der die Primärschlüsselspalteninformationen sowie die Vorher- und Nachher-Zustände der Zeile einschließlich aller Spalten enthält. Anwendungen können auf den Stream zugreifen und die Mutationen nahezu in Echtzeit anzeigen.

Wenn Sie CDC für Ihre Tabelle aktivieren, erstellt Amazon Keyspaces einen neuen CDC-Stream und beginnt, Informationen über jede Änderung in der Tabelle zu erfassen. Der CDC-Stream hat einen Amazon-Ressourcennamen (ARN) mit dem folgenden Format:

arn:${Partition}:cassandra:{Region}:${Account}:/keyspace/${keyspaceName}/table/${tableName}/stream/${streamLabel}

Sie können den Informationstyp oder den Ansichtstyp auswählen, den der CDC-Stream für jeden Datensatz erfasst, wenn Sie den CDC-Stream zum ersten Mal aktivieren. Sie können den Ansichtstyp des Streams danach nicht mehr ändern. Amazon Keyspaces unterstützt die folgenden Ansichtstypen:

  • NEW_AND_OLD_IMAGES— Erfasst die Versionen der Zeile vor und nach der Mutation. Das ist die Standardeinstellung.

  • NEW_IMAGE— Erfasst die Version der Zeile nach der Mutation.

  • OLD_IMAGE— Erfasst die Version der Zeile vor der Mutation.

  • KEYS_ONLY— Erfasst die Partitions- und Clusterschlüssel der Zeile, die mutiert wurde.

Jeder CDC-Stream besteht aus Datensätzen. Jeder Datensatz steht für eine einzelne Zeilenänderung in einer Amazon Keyspaces-Tabelle. Datensätze sind logisch in Gruppen organisiert, die als Shards bezeichnet werden. Diese Gruppen sind logisch nach Bereichen des Primärschlüssels (Kombination aus Partitionsschlüssel und Cluster-Schlüsselbereichen) organisiert und sind ein internes Konstrukt von Amazon Keyspaces. Jeder Shard fungiert als Container für mehrere Datensätze und enthält Informationen, die für den Zugriff auf und die Iteration durch diese Datensätze erforderlich sind.

Ein Amazon Keyspaces-CDC-Stream besteht aus Shards, die einen CDC-Datensatz einer Sammlung von Zeilenmutationen darstellen.

Jedem CDC-Datensatz wird eine Sequenznummer zugewiesen, die die Reihenfolge widerspiegelt, in der der Datensatz innerhalb des Shards veröffentlicht wurde. Die Sequenznummer nimmt garantiert zu und ist innerhalb jedes Shards eindeutig.

Amazon Keyspaces erstellt und löscht Shards automatisch. Basierend auf den Datenverkehrslasten kann Amazon Keyspaces auch Shards im Laufe der Zeit teilen oder zusammenführen. Amazon Keyspaces können beispielsweise einen Shard in mehrere neue Shards aufteilen oder Shards zu einem neuen einzelnen Shard zusammenführen. Die Amazon Keyspaces-APIs veröffentlichen die Shard- und CDC-Stream-Informationen, damit nutzende Anwendungen Datensätze in der richtigen Reihenfolge verarbeiten können, indem sie auf das gesamte Abstammungsdiagramm eines Shards zugreifen.

Amazon Keyspaces CDC basiert auf den folgenden Prinzipien, auf die Sie sich bei der Erstellung Ihrer Anwendung verlassen können:

  • Jeder Mutationsdatensatz auf Zeilenebene erscheint genau einmal im CDC-Stream.

  • Wenn Sie Shards in der Reihenfolge ihrer Abstammung konsumieren, erscheint jeder Mutationsdatensatz auf Zeilenebene in derselben Reihenfolge wie die tatsächliche Mutationsreihenfolge auf dem Primärschlüssel.

So funktioniert die Datenspeicherung für CDC-Streams in Amazon Keyspaces

Amazon Keyspaces speichert die Aufzeichnungen im CDC-Stream für einen Zeitraum von 24 Stunden. Sie können die Aufbewahrungsfrist nicht ändern. Wenn Sie CDC für eine Tabelle deaktivieren, sind die Daten im Stream weiterhin 24 Stunden lang lesbar. Nach dieser Zeit laufen die Daten ab und die Datensätze werden automatisch gelöscht.

So funktioniert der Ablauf von Time to Live (TTL) -Daten mit CDC-Streams in Amazon Keyspaces

Amazon Keyspaces zeigt die Ablaufzeit sowohl auf column/cell Ebene als auch auf Zeilenebene in einem Metadatenfeld an, das expirationTime in den CDC-Änderungsdatensätzen aufgerufen wird. Wenn Amazon Keyspaces TTL den Ablauf einer Zelle feststellt, erstellt CDC einen neuen Änderungsdatensatz, in dem TTL als Ursprung der Änderung angegeben ist. Weitere Informationen zu TTL finden Sie unter Daten mit Time to Live (TTL) für Amazon Keyspaces (für Apache Cassandra) ablaufen lassen.

So funktionieren Batch-Operationen für CDC-Streams in Amazon Keyspaces

Batch-Operationen sind intern in einzelne Änderungen auf Zeilenebene unterteilt. Amazon Keyspaces speichert alle Datensätze in CDC-Streams auf Zeilenebene, auch wenn die Änderung in einem Batch-Vorgang erfolgt ist. Amazon Keyspaces verwaltet die Reihenfolge der Datensätze innerhalb des CDC-Streams in derselben Reihenfolge wie die Mutationsreihenfolge, die auf Zeilenebene oder auf dem Primärschlüssel aufgetreten ist.

So funktionieren statische Spalten in CDC-Streams in Amazon Keyspaces

Statische Spaltenwerte werden von allen Zeilen in einer Partition in Cassandra gemeinsam genutzt. Aufgrund dieses Verhaltens erfasst Amazon Keyspaces alle Aktualisierungen einer statischen Spalte als separaten Datensatz im CDC-Stream. Die folgenden Beispiele fassen das Verhalten statischer Spaltenmutationen zusammen:

  • Wenn nur die statische Spalte aktualisiert wird, enthält der CDC-Stream eine Zeilenänderung für die statische Spalte als einzige Spalte in der Zeile.

  • Wenn eine Zeile ohne Änderung der statischen Spalte aktualisiert wird, enthält der CDC-Stream eine Zeilenänderung, die alle Spalten außer der statischen Spalte enthält.

  • Wenn eine Zeile zusammen mit der statischen Spalte aktualisiert wird, enthält der CDC-Stream zwei separate Zeilenänderungen, eine für die statische Spalte und die andere für den Rest der Zeile.

So funktioniert die Verschlüsselung im Ruhezustand für CDC-Streams in Amazon Keyspaces

Um die ruhenden Daten im von CDC bestellten Protokoll zu verschlüsseln, verwendet Amazon Keyspaces denselben Verschlüsselungsschlüssel, der bereits für die Tabelle verwendet wird. Weitere Informationen zur Verschlüsselung im Ruhezustand finden Sie unter Verschlüsselung im Ruhezustand in Amazon Keyspaces.

So funktioniert die multiregionale Replikation für CDC-Streams in Amazon Keyspaces

Sie können CDC-Streams für einzelne Replikate einer Tabelle mit mehreren Regionen aktivieren und deaktivieren, indem Sie entweder die update-table API oder den CQL-Befehl verwenden. ALTER TABLE Aufgrund der asynchronen Replikation und Konfliktlösung sind CDC-Streams für Tabellen mit mehreren Regionen nicht überall konsistent. AWS-Regionen Daher können die Datensätze, die Amazon Keyspaces im Stream erfasst, in verschiedenen Regionen in einer anderen Reihenfolge erscheinen.

Weitere Informationen zur multiregionalen Replikation finden Sie unter. Multi-Region Replikation für Amazon Keyspaces (für Apache Cassandra)

CDC-Streams und Integration mit AWS service

Wie arbeitet man mit VPC-Endpunkten für CDC-Streams in Amazon Keyspaces

Sie können VPC-Endpunkte verwenden, um auf CDC-Streams von Amazon Keyspaces zuzugreifen. Informationen zum Erstellen und Zugreifen auf VPC-Endpunkte für Streams finden Sie unter. Verwendung von Amazon Keyspaces CDC-Streams mit Schnittstellen-VPC-Endpunkten

So CloudWatch funktioniert die Überwachung für CDC-Streams in Amazon Keyspaces

Sie können Amazon verwenden, um API-Aufrufe CloudWatch zu überwachen, die an den CDC-Endpunkt von Amazon Keyspaces gesendet werden. Weitere Informationen zu den verfügbaren Metriken finden Sie unter. Metriken für Amazon Keyspaces Change Data Capture (CDC)

So CloudTrail funktioniert die Protokollierung mit für CDC-Streams in Amazon Keyspaces

Amazon Keyspaces CDC ist in einen Dienst integriert AWS CloudTrail, der eine Aufzeichnung der Aktionen eines Benutzers, einer Rolle oder eines AWS Dienstes in Amazon Keyspaces bereitstellt. CloudTrail erfasst DDL-API-Aufrufe (Data Definition Language) und DML-API-Aufrufe (Data Manipulation Language) für Amazon Keyspaces als Ereignisse. Zu den erfassten Aufrufen gehören Aufrufe von der Amazon Keyspaces-Konsole und programmatische Aufrufe der Amazon Keyspaces-API-Operationen.

Weitere Informationen zu den CDC-Ereignissen, die von erfasst wurden, finden Sie unter. CloudTrail Protokollieren von Amazon Keyspaces-API-Aufrufen mit AWS CloudTrail

So funktioniert das Tagging für CDC-Streams in Amazon Keyspaces

Die CDC-Streams von Amazon Keyspaces sind eine markierbare Ressource. Sie können einen Stream taggen, wenn Sie eine Tabelle programmgesteuert mit CQL, dem SDK oder dem erstellen. AWS AWS CLI Sie können auch vorhandene Streams taggen, Tags löschen oder Tags eines Streams anzeigen. Weitere Informationen finden Sie unter Taggen Sie Schlüsselräume, Tabellen und Streams in Amazon Keyspaces.