Para obtener capacidades similares a las de Amazon Timestream para LiveAnalytics, considere Amazon Timestream para InfluxDB. Ofrece una ingesta de datos simplificada y tiempos de respuesta a las consultas en milisegundos de un solo dígito para realizar análisis en tiempo real. Obtenga más información aquí.

Escrituras

Puede recopilar datos de serie temporal de dispositivos conectados, sistemas de TI y equipos industriales, y escribirlos en Timestream para Live Analytics. Timestream para Live Analytics le permite escribir puntos de datos de una sola serie temporal o puntos de datos de varias series en una sola solicitud de escritura cuando las series temporales pertenecen a la misma tabla. Para su conveniencia, Timestream para Live Analytics le ofrece un esquema flexible que detecta de manera automática los nombres de las columnas y los tipos de datos de las tablas de Timestream para Live Analytics según los nombres de las dimensiones y los tipos de datos de los valores de medición que especifique al invocar las escrituras en la base de datos. También puede escribir lotes de datos en Timestream para Live Analytics.

Puede escribir datos mediante los AWSSDK, AWS CLI o a través AWS Lambda, AWS IoT Core, Amazon Managed Service para Apache Flink, Amazon Kinesis, Amazon MSK y Telegraf de código abierto.

Tipos de datos

Timestream para LiveAnalytics admite los siguientes tipos de datos para las escrituras:

Sin definición de esquema inicial

Antes de enviar datos a Amazon Timestream para Live Analytics, debe crear una base de datos y una tabla con Consola de administración de AWS, SDK de Timestream para Live Analytics o las operaciones de la API de Timestream para Live Analytics. Para obtener más información, consulte Creación de una base de datos de y Creación de una tabla. Al crear la tabla, no será necesario definir el esquema por adelantado. Amazon Timestream para Live Analytics detecta automáticamente el esquema en función de las medidas y dimensiones de los puntos de datos que se envían, por lo que ya no es necesario modificar el esquema sin conexión para adaptarlo a los datos de serie temporal que cambian rápidamente.

Datos de escritura (inserciones y ajustes)

La operación de escritura en Amazon Timestream para Live Analytics le permite insertar y modificar datos. De forma predeterminada, las escrituras en Amazon Timestream para Live Analytics siguen al primer escritor gana la semántica, en la que los datos se almacenan solo como datos adjuntos y se rechazan los registros duplicados. Si bien el primer escritor gana, la semántica satisface los requisitos de muchas aplicaciones de series temporales, hay situaciones en las que las aplicaciones necesitan actualizar los registros existentes de forma de idempotencia o escribir datos con la semántica que gana el último escritor, gana la semántica, en la que el registro con la versión más alta se almacena en el servicio. Para abordar estas situaciones, Amazon Timestream para Live Analytics ofrece la posibilidad de actualizar los datos. Upsert es una operación que inserta un registro en el sistema cuando el registro no existe o lo actualiza cuando existe. Cuando se actualiza el registro, se actualiza de forma de idempotencia.

No hay ninguna operación de eliminar a nivel de registro. Sin embargo, las tablas y las bases de datos se pueden eliminar.

Escribir datos en el almacén de memoria y en el almacén magnético

Amazon Timestream para Live Analytics ofrece la posibilidad de escribir datos directamente en el almacén de memoria y en el almacén magnético. El almacén en memoria está optimizado para escrituras de datos de alto rendimiento y el almacén magnético está optimizado para escrituras de datos tardíos a un rendimiento inferior.

Los datos de llegada tardía son datos con una marca de tiempo anterior a la hora actual y fuera del período de retención del almacén de memoria. Debe habilitar de forma explícita la capacidad de escribir los datos que lleguen tarde en el almacén magnético habilitando la escritura en el almacén magnético para la tabla. Además, MagneticStoreRejectedDataLocation se define cuando se crea una tabla. Para escribir en el almacén magnético, las personas que llaman a WriteRecords deben tener los permisos de S3:PutObject para acceder al bucket de S3 especificado en MagneticStoreRejectedDataLocation durante la creación de la tabla. Para obtener más información, consulte CreateTable, WriteRecords y PutObject.

Escribir datos con registros de una sola medida y registros de múltiples medidas

Amazon Timestream para Live Analytics ofrece la posibilidad de escribir datos mediante dos tipos de registros, a saber, registros de una sola medida y registros de múltiples medidas.

Registros de medida única

Los registros de una sola medida le permiten enviar una única medida por registro. Cuando los datos se envían a Timestream para Live Analytics con este formato, Timestream para Live Analytics crea una fila de tabla por registro. Esto significa que si un dispositivo emite 4 métricas y cada métrica se envía como un registro de una sola medida, Timestream para Live Analytics creará 4 filas en la tabla para almacenar estos datos y los atributos del dispositivo se repetirán para cada fila. Se recomienda este formato en los casos en los que desee supervisar una única métrica de una aplicación o cuando la aplicación no emita varias métricas al mismo tiempo.

Registros de medidas múltiples

Con los registros de múltiples medidas, puede almacenar múltiples medidas en una sola fila de la tabla, en lugar de almacenar una medida por fila de la tabla. Por lo tanto, los registros de medidas múltiples le permiten migrar los datos existentes de las bases de datos relacionales a Amazon Timestream para Live Analytics con cambios mínimos.

También puede agrupar más datos en una sola solicitud de escritura que los registros de una única medida. Esto aumenta el rendimiento y el rendimiento de la escritura de datos y, además, reduce el costo de la escritura de datos. Esto se debe a que agrupar más datos en una solicitud de escritura permite a Amazon Timestream para Live Analytics identificar más datos repetibles en una sola solicitud de escritura (cuando proceda) y cobrar solo una vez por los datos repetidos.

Registros de múltiples medidas

Con los registros de medidas múltiples, puede almacenar sus datos de serie temporal en un formato más compacto en la memoria y en el almacén magnético, lo que ayuda a reducir los costos de almacenamiento de datos. Además, el almacenamiento de datos compacto se presta para escribir consultas más sencillas para la recuperación de datos, mejora el rendimiento de las consultas y reduce el costo de las consultas.

Además, los registros de múltiples medidas también admiten el tipo de datos TIMESTAMP para almacenar más de una marca temporal en un registro de serie temporal. Los atributos TIMESTAMP de un registro de múltiples medidas admiten marcas de tiempo futuras o pasadas. Por lo tanto, los registros de múltiples medidas ayudan a mejorar el rendimiento, el costo y la simplicidad de las consultas, y ofrecen más flexibilidad para almacenar diferentes tipos de medidas correlacionadas.

Ejemplo: supervisión del rendimiento y el estado de una aplicación de transmisión de vídeo

Considere una aplicación de transmisión de vídeo que se ejecute en 200 instancias de EC2. Desea utilizar Amazon Timestream para Live Analytics para almacenar y analizar las métricas emitidas por la aplicación, de modo que pueda comprender el rendimiento y el estado de la aplicación, identificar rápidamente las anomalías, resolver problemas y descubrir oportunidades de optimización.

Modelaremos esta situación con registros de una sola medida y registros de múltiples medidas y, a continuación, compararemos o contrastaremos ambos enfoques. Para cada enfoque, hacemos las siguientes suposiciones.

Uso de registros de medida única

Modelado de datos: con los registros de una sola medida, crearemos un registro para cada una de las cuatro medidas (tiempo de inicio del vídeo, relación de realmacenamiento en búfer, errores de reproducción del vídeo y velocidad media de fotogramas). Cada registro tendrá las cuatro dimensiones (device_id, device_type, os_version y región) y una marca de tiempo.

Escritura: al escribir datos en Amazon Timestream para Live Analytics, los registros se crean de la siguiente manera.

public void writeRecords() {
    System.out.println("Writing records");
    // Specify repeated values for all records
    List<Record> records = new ArrayList<>();
    final long time = System.currentTimeMillis();
 
    List<Dimension> dimensions = new ArrayList<>();
    
    final Dimension device_id = new Dimension().withName("device_id").withValue("12345678");
    final Dimension device_type = new Dimension().withName("device_type").withValue("iPhone 11");
    final Dimension os_version = new Dimension().withName("os_version").withValue("14.8");
    final Dimension region = new Dimension().withName("region").withValue("us-east-1");
 
    dimensions.add(device_id);
    dimensions.add(device_type);
    dimensions.add(os_version);
    dimensions.add(region);
 
    Record videoStartupTime = new Record()
        .withDimensions(dimensions)
        .withMeasureName("video_startup_time")
        .withMeasureValue("200")
        .withMeasureValueType(MeasureValueType.BIGINT)
        .withTime(String.valueOf(time));
    Record rebufferingRatio = new Record()
        .withDimensions(dimensions)
        .withMeasureName("rebuffering_ratio")
        .withMeasureValue("0.5")
        .withMeasureValueType(MeasureValueType.DOUBLE)
        .withTime(String.valueOf(time));
    Record videoPlaybackFailures = new Record()
        .withDimensions(dimensions)
        .withMeasureName("video_playback_failures")
        .withMeasureValue("0")
        .withMeasureValueType(MeasureValueType.BIGINT)
        .withTime(String.valueOf(time));
    Record averageFrameRate = new Record()
        .withDimensions(dimensions)
        .withMeasureName("average_frame_rate")
        .withMeasureValue("0.5")
        .withMeasureValueType(MeasureValueType.DOUBLE)
        .withTime(String.valueOf(time));

    records.add(videoStartupTime);
    records.add(rebufferingRatio); 
    records.add(videoPlaybackFailures);
    records.add(averageFrameRate);
 
    WriteRecordsRequest writeRecordsRequest = new WriteRecordsRequest()
        .withDatabaseName(DATABASE_NAME)
        .withTableName(TABLE_NAME)
        .withRecords(records);
 
    try {
      WriteRecordsResult writeRecordsResult = amazonTimestreamWrite.writeRecords(writeRecordsRequest);
      System.out.println("WriteRecords Status: " + writeRecordsResult.getSdkHttpMetadata().getHttpStatusCode());
    } catch (RejectedRecordsException e) {
      System.out.println("RejectedRecords: " + e);
      for (RejectedRecord rejectedRecord : e.getRejectedRecords()) {
        System.out.println("Rejected Index " + rejectedRecord.getRecordIndex() + ": "
            + rejectedRecord.getReason());
      }
      System.out.println("Other records were written successfully. ");
    } catch (Exception e) {
      System.out.println("Error: " + e);
    }
  }

Al almacenar registros de una sola medida, los datos se representan de forma lógica de la siguiente manera.

Consultas: puede escribir una consulta que recupere todos los puntos de datos con la misma marca temporal recibidos en los últimos 15 minutos de la siguiente manera.

with cte_video_startup_time as ( SELECT time, device_id, device_type, os_version, region, measure_value::bigint as video_startup_time FROM table where time >= ago(15m) and measure_name=”video_startup_time”),
cte_rebuffering_ratio as ( SELECT time, device_id, device_type, os_version, region, measure_value::double as rebuffering_ratio FROM table where time >= ago(15m) and measure_name=”rebuffering_ratio”),
cte_video_playback_failures as ( SELECT time, device_id, device_type, os_version, region, measure_value::bigint as video_playback_failures FROM table where time >= ago(15m) and measure_name=”video_playback_failures”),
cte_average_frame_rate as ( SELECT time, device_id, device_type, os_version, region, measure_value::double as average_frame_rate FROM table where time >= ago(15m) and measure_name=”average_frame_rate”)
SELECT a.time, a.device_id, a.os_version, a.region, a.video_startup_time, b.rebuffering_ratio, c.video_playback_failures, d.average_frame_rate FROM cte_video_startup_time a, cte_buffering_ratio b, cte_video_playback_failures c, cte_average_frame_rate d WHERE
a.time = b.time AND a.device_id = b.device_id AND a.os_version = b.os_version AND a.region=b.region AND
a.time = c.time AND a.device_id = c.device_id AND a.os_version = c.os_version AND a.region=c.region AND
a.time = d.time AND a.device_id = d.device_id AND a.os_version = d.os_version AND a.region=d.region

Costo de la carga de trabajo: el costo de esta carga de trabajo se estima en 373,23 USD al mes con registros de medición única

Uso de registros de múltiples medidas

Modelado de datos: con los registros de medidas múltiples, crearemos un registro que contenga las cuatro medidas (tiempo de inicio del vídeo, relación de realmacenamiento, errores de reproducción del vídeo y velocidad media de fotogramas), las cuatro dimensiones (device_id, device_type, os_version y región) y una marca temporal.

Escritura: al escribir datos en Amazon Timestream para Live Analytics, los registros se crean de la siguiente manera.

public void writeRecords() {
    System.out.println("Writing records");
    // Specify repeated values for all records
    List<Record> records = new ArrayList<>();
    final long time = System.currentTimeMillis();
 
    List<Dimension> dimensions = new ArrayList<>();
    
    final Dimension device_id = new Dimension().withName("device_id").withValue("12345678");
    final Dimension device_type = new Dimension().withName("device_type").withValue("iPhone 11");
    final Dimension os_version = new Dimension().withName("os_version").withValue("14.8");
    final Dimension region = new Dimension().withName("region").withValue("us-east-1");
 
    dimensions.add(device_id);
    dimensions.add(device_type);
    dimensions.add(os_version);
    dimensions.add(region);
 
    Record videoMetrics = new Record()
        .withDimensions(dimensions)
        .withMeasureName("video_metrics")
        .withTime(String.valueOf(time));
        .withMeasureValueType(MeasureValueType.MULTI)
        .withMeasureValues(
          new MeasureValue()
        	.withName("video_startup_time")
        	.withValue("0")
        	.withValueType(MeasureValueType.BIGINT),
        	new MeasureValue()
		.withName("rebuffering_ratio")
        	.withValue("0.5")
        	.withType(MeasureValueType.DOUBLE),
          new MeasureValue()
        	.withName("video_playback_failures")
        	.withValue("0")
        	.withValueType(MeasureValueType.BIGINT),
		 new MeasureValue()
         	.withName("average_frame_rate")
        	.withValue("0.5")
        	.withValueType(MeasureValueType.DOUBLE))
 
    records.add(videoMetrics);
 
    WriteRecordsRequest writeRecordsRequest = new WriteRecordsRequest()
        .withDatabaseName(DATABASE_NAME)
        .withTableName(TABLE_NAME)
        .withRecords(records);
 
    try {
      WriteRecordsResult writeRecordsResult = amazonTimestreamWrite.writeRecords(writeRecordsRequest);
      System.out.println("WriteRecords Status: " + writeRecordsResult.getSdkHttpMetadata().getHttpStatusCode());
    } catch (RejectedRecordsException e) {
      System.out.println("RejectedRecords: " + e);
      for (RejectedRecord rejectedRecord : e.getRejectedRecords()) {
        System.out.println("Rejected Index " + rejectedRecord.getRecordIndex() + ": "
            + rejectedRecord.getReason());
      }
      System.out.println("Other records were written successfully. ");
    } catch (Exception e) {
      System.out.println("Error: " + e);
    }
  }

Al almacenar registros de múltiples medidas, los datos se representan de forma lógica de la siguiente manera.

Consultas: puede escribir una consulta que recupere todos los puntos de datos con la misma marca temporal recibidos en los últimos 15 minutos de la siguiente manera.

SELECT time, device_id, device_type, os_version, region, video_startup_time, rebuffering_ratio, video_playback_failures, average_frame_rate FROM table where time >= ago(15m)

Costo de la carga de trabajo: el costo de la carga de trabajo se estima en 127,43 USD con registros de múltiples medidas.

Escribir datos con una marca temporal que existe en el pasado o en el futuro

Timestream para Live Analytics ofrece la posibilidad de escribir datos con una marca de tiempo que se encuentra fuera del intervalo de retención del almacén de memoria mediante un par de mecanismos diferentes.

Consistencia eventual de las lecturas

Timestream para Live Analytics admite una semántica de coherencia eventual para las lecturas. Esto significa que, al consultar datos inmediatamente después de escribir un lote de datos en Timestream para Live Analytics, es posible que los resultados de la consulta no reflejen los resultados de una operación de escritura que se haya completado recientemente. Si repite estas solicitudes de consultas después de un breve intervalo, la respuesta debería mostrar los datos más recientes.