Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Conceptos de entrega de datos
Utilice este tema para revisar los conceptos clave sobre las tablas de streaming y la entrega de Amazon S3 en Amazon Kinesis Data Streams.
Actualización de datos
La actualización de los datos define el tiempo máximo (en segundos) que Kinesis Data Streams almacena en búfer los registros entrantes antes de entregarlos al destino. Puede configurar la actualización de los datos entre 300 y 900 segundos (de 5 a 15 minutos). El valor de predeterminado es de 300 segundos.
-
Valores más bajos: entrega más rápida a su destino con lotes más pequeños.
-
Valores más altos: procesamiento por lotes más eficiente, que produce menos archivos de mayor tamaño en el destino.
Formatos de entrada para tablas de streaming
Al entregar datos a tablas de streaming en Apache Iceberg, la entrega de datos admite los siguientes formatos de registro de entrada. Ambos formatos requieren AWS Glue Schema Registry.
-
JSON: registros JSON simples. Debe proporcionar un esquema
GSRSchemaARN(el de un AWS Glue esquema de Schema Registry) que haga referencia a un esquema registrado en AWS Glue Schema Registry. -
GSR_JSON (JSON de registro de AWS Glue esquemas): registros JSON con el ID de esquema incrustado en cada registro. El esquema se resuelve automáticamente desde el registro de AWS Glue esquemas.
Formatos de entrada para cubos de Amazon S3 de uso general
Cuando se entregan en cubos de Amazon S3 de uso general, la entrega de datos admite los siguientes formatos de registro de entrada. No se requiere ningún registro de esquemas.
-
JSON: registros JSON simples.
-
STRING — registros de UTF-8 cadenas.
-
BYTE_ARRAY — registros binarios sin procesar.
nota
El GSR_JSON formato no es compatible con los buckets de Amazon S3 de uso general. Solo está disponible para su entrega a tablas de streaming en Apache Iceberg.
Aplicación del esquema
En el caso de las tablas de streaming en Apache Iceberg, cada registro se valida según el esquema registrado en AWS Glue Schema Registry. Los registros que no se ajustan al esquema no se envían a la tabla de streaming. Los metadatos de los errores se escriben en la cola de mensajes muertos para solucionar problemas. La entrega de datos no admite la evolución del esquema. Esto incluye agregar campos nuevos, eliminar campos existentes, cambiar el nombre de los campos o cambiar los tipos de datos de los campos.
Sin relleno
Tu destino solo recibe los registros producidos después de crear la tabla de streaming o configurar la entrega de S3. Los registros existentes en la transmisión no se rellenan.
Tabla nueva por entrega
Cada entrega en streaming crea su propia mesa Iceberg en el destino. No se admite la entrega a las mesas existentes. Al llamar, debes especificar el ARN, el espacio de nombres y el nombre de la tabla del bucket de la tabla. CreateChannel
Dead-letter cola
Una cola de mensajes sin salida captura información sobre los registros que no se pudieron entregar correctamente.
-
Tablas de streaming en Apache Iceberg: se requiere una cola de mensajes sin procesar. Debe especificar un bucket de S3 y un prefijo para los registros fallidos.
-
Buckets de Amazon S3 de uso general: la cola de mensajes sin respuesta es opcional. Si no se especifica, el valor predeterminado es el mismo bucket de destino con un prefijo de error.
La cola de mensajes inactivos contiene los identificadores de registro y el contexto del error, no la carga útil completa de los registros.
Compactación en línea
La entrega de datos realiza una compactación en línea al agregar los registros de los fragmentos en archivos de tamaño óptimo. Esto reduce la cantidad de archivos pequeños en el destino y mejora el rendimiento de las consultas.
Estados de entrega
Una entrega pasa por los siguientes estados durante su ciclo de vida:
-
CREACIÓN: la entrega se está aprovisionando.
-
ACTIVO: la entrega está entregando registros.
-
ACTUALIZACIÓN: hay un cambio de configuración en curso.
-
ELIMINAR: se está eliminando la entrega.
-
ERROR: la entrega detectó un error irrecuperable.
Append-only entrega
La entrega es solo para adjuntar. No se admiten actualizaciones ni modificaciones. Cada registro de la transmisión se escribe como una fila nueva en el destino.
