Validación del esquema de Timestream para LiveAnalytics con claves de partición compuestas personalizadas - Amazon Timestream

Para obtener capacidades similares a las de Amazon Timestream, considere Amazon Timestream LiveAnalytics para InfluxDB. Ofrece una ingesta de datos simplificada y tiempos de respuesta a las consultas en milisegundos de un solo dígito para realizar análisis en tiempo real. Obtenga más información aquí.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Validación del esquema de Timestream para LiveAnalytics con claves de partición compuestas personalizadas

La validación de esquemas en Timestream para LiveAnalytics ayuda a garantizar que la ingesta de datos en la base de datos cumpla con el esquema especificado, lo que minimiza los errores de ingesta y mejora la calidad de los datos. En particular, la validación de esquemas resulta especialmente útil cuando se adopta una clave de partición definida por el cliente con el objetivo de optimizar el rendimiento de las consultas.

¿Qué es la validación del esquema de Timestream para LiveAnalytics con claves de partición compuestas personalizadas?

La validación de esquemas de Timestream para LiveAnalytics es una característica que valida los datos que se ingieren en una tabla de Timestream para LiveAnalytics en función de un esquema predefinido. Este esquema define el modelo de datos, incluida la clave de partición, los tipos de datos y las restricciones de los registros que se van a insertar.

Cuando se utiliza una clave de partición definida por el cliente, la validación del esquema se vuelve aún más fundamental. Las claves de partición le permiten especificar una clave de partición, que determina cómo se almacenan sus datos en Timestream para LiveAnalytics. Al validar los datos entrantes con respecto al esquema con una clave de partición personalizada, puede reforzar la coherencia de datos, detectar errores a tiempo y mejorar la calidad general de los datos almacenados en Timestream para LiveAnalytics.

Cómo utilizar la validación del esquema de Timestream para LiveAnalytics con claves de partición compuestas personalizadas

Para usar la validación de esquemas de Timestream para LiveAnalytics con claves de partición compuestas personalizadas, siga estos pasos:

Piense en el aspecto que tendrán sus patrones de consulta: para elegir y definir correctamente el esquema de la tabla de Timestream para LiveAnalytics, debe empezar por los requisitos de la consulta.

Especifique claves de partición compuestas personalizadas: al crear la tabla, especifique una clave de partición personalizada. Esta clave determina el atributo que se utilizará para particionar los datos de la tabla. Puede elegir entre claves de dimensiones y claves de medida para la partición. Una clave de dimensión divide los datos en función del nombre de una dimensión, mientras que una clave de medida divide los datos en función del nombre de la medida.

Establezca niveles de cumplimiento: para garantizar un particionamiento de datos correcto y las ventajas que conlleva, Amazon Timestream para LiveAnalytics le permite establecer niveles de cumplimiento para cada clave de partición de su esquema. El nivel de cumplimiento determina si la dimensión de la clave de partición es obligatoria u opcional al ingerir registros. Puede elegir entre dos opciones: REQUIRED, que significa que la clave de partición debe estar presente en el registro ingerido y OPTIONAL, la clave de partición no tiene por qué estar presente. Se recomienda utilizar el nivel de exigencia REQUIRED al utilizar una partición definida por el cliente para garantizar que los datos estén correctamente particionados y aprovechar todas las ventajas de esta característica. Además, puede cambiar la configuración del nivel de cumplimiento en cualquier momento después de la creación del esquema para ajustarla a sus requisitos de ingesta de datos.

Ingesta de datos: al incorporar datos a la tabla Timestream para LiveAnalytics, el proceso de validación del esquema comparará los registros con el esquema definido con claves de partición compuestas personalizadas. Si los registros no se ajustan al esquema, Timestream para LiveAnalytics devolverá un error de validación.

Gestionar los errores de validación: en caso de errores de validación, Timestream para LiveAnalytics devolverá una ValidationException o una RejectedRecordsException, según el tipo de error. Asegúrese de gestionar estas excepciones en su aplicación y de tomar las medidas adecuadas, como corregir los registros incorrectos y volver a intentar la ingesta.

Actualizar los niveles de cumplimiento: si es necesario, puede actualizar el nivel de cumplimiento de las claves de partición después de crear la tabla mediante la acción UpdateTable. Sin embargo, es importante tener en cuenta que algunos aspectos de la configuración de la clave de partición, como el nombre y el tipo, no se pueden cambiar después de crear la tabla. Si cambia el nivel de cumplimiento de REQUIRED a OPTIONAL, se aceptarán todos los registros independientemente de la presencia del atributo seleccionado como clave de partición definida por el cliente. Por el contrario, si cambias el nivel de cumplimiento de OPTIONAL a REQUIRED, es posible que empiecen a aparecer errores de escritura de hasta cuatro veces en los registros que no cumplan esta condición. Por lo tanto, es esencial elegir el nivel de cumplimiento adecuado para su caso de uso al crear la tabla, en función de los requisitos de particionamiento de los datos.

Cuándo utilizar la validación del esquema de Timestream para LiveAnalytics con claves de partición compuestas personalizadas

La validación de esquemas Timestream para LiveAnalytics con claves de partición compuestas personalizadas debe utilizarse en situaciones en las que la coherencia de datos, la calidad y la optimización de las particiones sean cruciales. Al aplicar un esquema durante la ingesta de datos, puede evitar errores e inconsistencias que podrían provocar un análisis incorrecto o la pérdida de información valiosa.

Interacción con los trabajos de carga por lotes

Al configurar un trabajo de carga por lotes para importar datos a una tabla con una clave de partición definida por el cliente, hay algunas situaciones que pueden afectar al proceso:

  1. Si el nivel de cumplimiento está establecido en OPTIONAL, se mostrará una alerta en la consola durante el flujo de creación si la clave de partición no se mapea durante la configuración del trabajo. Esta alerta no aparecerá cuando se utilice la API o la CLI.

  2. Si el nivel de cumplimiento está establecido en REQUIRED, se rechazará la creación de puestos de trabajo a menos que la clave de partición se asigne a una columna de datos de origen.

  3. Si el nivel de cumplimiento se cambia a REQUIRED posterior a la creación del trabajo, el trabajo seguirá ejecutándose, pero los registros que no tengan la asignación adecuada para la clave de partición se rechazarán con un error de 4xx.

Interacción con consulta programada

Al configurar un trabajo de consulta programado para calcular y almacenar agregados, resúmenes y otros tipos de datos preprocesados en una tabla con una clave de partición definida por el cliente, existen algunos escenarios que podrían afectar al proceso:

  1. Si el nivel de cumplimiento está establecido en OPTIONAL, se mostrará una alerta si la clave de partición no se mapea durante la configuración del trabajo. Esta alerta no aparecerá cuando se utilice la API o la CLI.

  2. Si el nivel de cumplimiento está establecido en REQUIRED, se rechazará la creación de puestos de trabajo a menos que la clave de partición se asigne a una columna de datos de origen.

  3. Si el nivel de cumplimiento se cambia a REQUIRED posterior a la creación del trabajo y los resultados de la consulta programada no contienen la dimensión de la clave de partición, se producirá un error en las siguientes iteraciones del trabajo.