View a markdown version of this page

Cómo funcionan las transmisiones de captura de datos de cambios (CDC) en Amazon Keyspaces - Amazon Keyspaces (para Apache Cassandra)

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Cómo funcionan las transmisiones de captura de datos de cambios (CDC) en Amazon Keyspaces

En esta sección se ofrece una descripción general de cómo funcionan las transmisiones de captura de datos cambiados (CDC) en Amazon Keyspaces.

La captura de datos de cambios (CDC) de Amazon Keyspaces registra una secuencia ordenada de modificaciones a nivel de fila en las tablas de Amazon Keyspaces y almacena esta información en un registro denominado stream durante un máximo de 24 horas. Cada modificación a nivel de fila genera un nuevo registro de los CDC que contiene la información de la columna clave principal, así como los estados «antes» y «después» de la fila, incluidas todas las columnas. Las aplicaciones pueden acceder a la transmisión y ver las mutaciones casi en tiempo real.

Cuando habilita los CDC en su tabla, Amazon Keyspaces crea una nueva transmisión de los CDC y comienza a recopilar información sobre cada modificación de la tabla. La transmisión de los CDC tiene un nombre de recurso de Amazon (ARN) con el siguiente formato:

arn:${Partition}:cassandra:{Region}:${Account}:/keyspace/${keyspaceName}/table/${tableName}/stream/${streamLabel}

Cuando habilita la transmisión de los CDC por primera vez, puede seleccionar el tipo de información o el tipo de visualización que recopila la transmisión de los CDC para cada registro. No puedes cambiar el tipo de visualización de la transmisión después. Amazon Keyspaces admite los siguientes tipos de vista:

  • NEW_AND_OLD_IMAGES— Captura las versiones de la fila antes y después de la mutación. Este es el valor predeterminado.

  • NEW_IMAGE— Captura la versión de la fila después de la mutación.

  • OLD_IMAGE— Captura la versión de la fila anterior a la mutación.

  • KEYS_ONLY— Captura las claves de partición y agrupamiento de la fila que se ha mutado.

Cada transmisión de los CDC consiste en registros. Cada registro representa una modificación de una sola fila en una tabla de Amazon Keyspaces. Los registros se organizan de forma lógica en grupos conocidos como fragmentos. Estos grupos se organizan de forma lógica por rangos de la clave principal (combinación de claves de partición y rangos de claves de agrupamiento en clústeres) y son una construcción interna de Amazon Keyspaces. Cada fragmento actúa como un contenedor para varios registros y contiene la información necesaria para acceder a estos registros e iterarlos.

Una transmisión de los CDC de Amazon Keyspaces consta de fragmentos que representan un registro de los CDC de un conjunto de mutaciones en filas.

A cada registro de los CDC se le asigna un número de secuencia que refleja el orden en que se publicó el registro dentro del fragmento. Se garantiza que el número de secuencia será creciente y único en cada fragmento.

Amazon Keyspaces crea y elimina los fragmentos automáticamente. En función de las cargas de tráfico, Amazon Keyspaces también puede dividir o fusionar fragmentos a lo largo del tiempo. Por ejemplo, Amazon Keyspaces puede dividir un fragmento en varios fragmentos nuevos o fusionar fragmentos en un único fragmento nuevo. Las API de Amazon Keyspaces publican el fragmento y la información de transmisión de los CDC para permitir que las aplicaciones consumidoras procesen los registros en el orden correcto accediendo al gráfico de linaje completo de un fragmento.

Los CDC de Amazon Keyspaces se basan en los siguientes principios en los que puede confiar a la hora de crear su aplicación:

  • Cada registro de mutación a nivel de fila aparece exactamente una vez en la transmisión de los CDC.

  • Cuando se consumen fragmentos por orden de linaje, cada registro de mutación a nivel de fila aparece en la misma secuencia que el orden de mutación real en la clave principal.

Cómo funciona la retención de datos para las transmisiones de los CDC en Amazon Keyspaces

Amazon Keyspaces conserva los registros de la transmisión de los CDC durante un período de 24 horas. No puede cambiar el período de retención. Si desactivas los CDC en una tabla, los datos de la transmisión seguirán siendo legibles durante 24 horas. Transcurrido este tiempo, los datos caducan y los registros se eliminan automáticamente.

Cómo funciona la caducidad de los datos según el tiempo de vida (TTL) con las transmisiones de los CDC en Amazon Keyspaces

Amazon Keyspaces muestra la fecha de caducidad a column/cell nivel, así como a nivel de fila en un campo de metadatos denominado expirationTime en los registros de cambios de los CDC. Cuando el TTL de Amazon Keyspaces detecta que una celda ha caducado, los CDC crean un nuevo registro de cambios que muestra el TTL como el origen del cambio. Para obtener más información sobre TTL, consulte Caducidad de datos con período de vida (TTL) para Amazon Keyspaces (para Apache Cassandra).

Cómo funcionan las operaciones por lotes para las transmisiones de los CDC en Amazon Keyspaces

Las operaciones por lotes se dividen internamente en modificaciones individuales a nivel de fila. Amazon Keyspaces conserva todos los registros de las transmisiones de los CDC a nivel de fila, incluso si la modificación se produjo en una operación por lotes. Amazon Keyspaces mantiene el orden de los registros dentro de la transmisión de los CDC en la misma secuencia que el orden de mutación que se produjo en el nivel de fila o en la clave principal.

Cómo funcionan las columnas estáticas en las transmisiones de los CDC en Amazon Keyspaces

Los valores de las columnas estáticas se comparten entre todas las filas de una partición en Cassandra. Debido a este comportamiento, Amazon Keyspaces captura cualquier actualización de una columna estática como un registro independiente en la transmisión de los CDC. Los siguientes ejemplos resumen el comportamiento de las mutaciones de columnas estáticas:

  • Cuando solo se actualiza la columna estática, la secuencia CDC contiene una modificación de fila para la columna estática como la única columna de la fila.

  • Cuando una fila se actualiza sin ningún cambio en la columna estática, la transmisión CDC contiene una modificación de fila que contiene todas las columnas excepto la columna estática.

  • Cuando una fila se actualiza junto con la columna estática, la transmisión de los CDC contiene dos modificaciones de fila independientes, una para la columna estática y otra para el resto de la fila.

Cómo funciona el cifrado en reposo para las transmisiones de los CDC en Amazon Keyspaces

Para cifrar los datos en reposo del registro solicitado por los CDC, Amazon Keyspaces utiliza la misma clave de cifrado que ya se utiliza para la tabla. Para obtener más información sobre el cifrado en reposo, consulte Cifrado en reposo en Amazon Keyspaces.

Cómo funciona la replicación multirregional para las transmisiones de los CDC en Amazon Keyspaces

Puede habilitar y deshabilitar las transmisiones de los CDC para réplicas individuales de una tabla multirregional mediante la update-table API o el comando CQL. ALTER TABLE Debido a la replicación asincrónica y a la resolución de conflictos, las transmisiones de los CDC para tablas multirregionales no son uniformes en todas las tablas. Regiones de AWS Por lo tanto, los registros que Amazon Keyspaces captura en la transmisión pueden aparecer en un orden diferente en diferentes regiones.

Para obtener más información sobre la replicación multirregional, consulte. Multi-Region replicación para Amazon Keyspaces (para Apache Cassandra)

Los CDC transmiten y se integran con AWS servicios

Cómo trabajar con los puntos de enlace de la VPC para las transmisiones de los CDC en Amazon Keyspaces

Puede usar los puntos de enlace de la VPC para acceder a las transmisiones de los CDC de Amazon Keyspaces. Para obtener información sobre cómo crear puntos de enlace de VPC para transmisiones y acceder a ellos, consulte. Uso de Amazon Keyspaces: transmisiones de CDC con puntos de enlace de VPC de interfaz

Cómo CloudWatch funciona la monitorización con las transmisiones de los CDC en Amazon Keyspaces

Puede utilizar Amazon CloudWatch para supervisar las llamadas a la API realizadas al punto de enlace de los CDC de Amazon Keyspaces. Para obtener más información sobre las métricas disponibles, consulteLas métricas de Amazon Keyspaces cambian la captura de datos (CDC).

Cómo CloudTrail funciona el registro con para las transmisiones de los CDC en Amazon Keyspaces

Amazon Keyspaces CDC está integrado con AWS CloudTrail un servicio que proporciona un registro de las acciones realizadas por un usuario, un rol o un AWS servicio en Amazon Keyspaces. CloudTrail captura las llamadas a la API del lenguaje de definición de datos (DDL) y las llamadas a la API del lenguaje de manipulación de datos (DML) para Amazon Keyspaces como eventos. Las llamadas que se capturan incluyen llamadas desde la consola de Amazon Keyspaces y llamadas mediante programación a las operaciones de la API de Amazon Keyspaces.

Para obtener más información sobre los eventos de los CDC capturados por CloudTrail, consulte. Registrar las llamadas a la API de Amazon Keyspaces con AWS CloudTrail

Cómo funciona el etiquetado para las transmisiones de los CDC en Amazon Keyspaces

Las transmisiones de los CDC de Amazon Keyspaces son un recurso que se puede etiquetar. Puede etiquetar una transmisión al crear una tabla mediante programación mediante CQL, el SDK o el AWS . AWS CLI También puedes etiquetar transmisiones existentes, eliminar etiquetas o ver las etiquetas de una transmisión. Para obtener más información, consulte Etiquete espacios clave, tablas y transmisiones en Amazon Keyspaces.