Para recursos semelhantes aos do Amazon Timestream para LiveAnalytics, considere o Amazon Timestream para InfluxDB. Ele oferece ingestão de dados simplificada e tempos de resposta de consulta de um dígito em milissegundos para análises em tempo real. Saiba mais aqui.

Gravações

Você pode coletar dados de séries temporais de dispositivos conectados, sistemas de TI e equipamentos industriais e gravá-los no Timestream para Live Analytics. O Timestream para Live Analytics permite que você grave pontos de dados de uma única série temporal e/ou pontos de dados de várias séries em uma única solicitação de gravação quando a série temporal pertence à mesma tabela. Para sua conveniência, o Timestream para Live Analytics oferece um esquema flexível que detecta automaticamente os nomes das colunas e os tipos de dados das tabelas do Timestream para Live Analytics com base nos nomes das dimensões e nos tipos de dados dos valores de medida que você especifica ao invocar gravações no banco de dados. Você também pode gravar lotes de dados no Timestream para Live Analytics.

Você pode gravar dados usando os AWS SDKs, AWS CLI ou por meio de AWS Lambda, AWS IoT Core, Amazon Managed Service for Apache Flink, Amazon Kinesis, Amazon MSK e Telegraf de código aberto.

Tipos de dados

O Timestream para Live Analytics oferece suporte aos seguintes tipos de dados para gravações.

Sem definição de esquema inicial

Antes de enviar dados para o Amazon Timestream para Live Analytics, você deve criar um banco de dados e uma tabela usando o Console de gerenciamento da AWS, os SDKs Timestream para Live Analytics ou o Timestream para Live Analytics API. Para obter mais informações, consulte Criar um banco de dados e Criar uma tabela. Ao criar a tabela, você não precisa definir o esquema antecipadamente. O Amazon Timestream para Live Analytics detecta automaticamente o esquema com base nas medidas e dimensões dos pontos de dados enviados, para que você não precise mais alterar seu esquema off-line para adaptá-lo aos dados de séries temporais que mudam rapidamente.

Gravação de dados (inserções e acréscimos)

A operação de gravação no Amazon Timestream para Live Analytics permite que você insira e atualize dados. Por padrão, as gravações no Amazon Timestream para Live Analytics seguem a semântica primeira gravação vence, em que os dados são armazenados somente como acréscimos e os registros duplicados são rejeitados. Embora a semântica da primeira gravação vence satisfaça os requisitos de muitos aplicativos de séries temporais, há cenários em que os aplicativos precisam atualizar os registros existentes de maneira idempotente e/ou gravar dados com a semântica da última gravação vence, em que o registro com a versão mais alta é armazenado no serviço. Para lidar com esses cenários, o Amazon Timestream para Live Analytics oferece a capacidade de alterar dados. Upsert é uma operação que insere um registro no sistema quando o registro não existe ou atualiza o registro quando ele existe. Quando o registro é atualizado, ele é atualizado de forma idempotente.

Não há uma operação em nível de registro para exclusão. Mas tabelas e bancos de dados podem ser excluídos.

Gravando dados no armazenamento na memória e no armazenamento magnético

O Amazon Timestream para Live Analytics oferece a capacidade de gravar dados diretamente no armazenamento na memória e no armazenamento magnético. O armazenamento na memória é otimizado para gravações de dados de alto throughput e o armazenamento magnético é otimizado para gravações de dados de chegada tardia.

Os dados de chegada tardia são dados com um registro de data e hora anterior à hora atual e fora do período de retenção do armazenamento na memória. Você deve habilitar explicitamente a capacidade de gravar dados de chegada tardia no armazenamento magnético habilitando gravações do armazenamento magnético para a tabela. Além disso, MagneticStoreRejectedDataLocation é definido quando uma tabela é criada. Para gravar no armazenamento magnético, os chamadores do WriteRecords devem ter permissões S3:PutObject para o bucket do S3 especificado no MagneticStoreRejectedDataLocation durante a criação da tabela. Para obter mais informações, consulte CreateTable, WriteRecords e PutObject.

Gravando dados com registros de medida única e registros de várias medidas

O Amazon Timestream para Live Analytics oferece a capacidade de gravar dados usando dois tipos de registros, que são os registros de medida única e registros de várias medidas.

Registros de medida única

Os registros de medida única permitem que você envie uma única medida por registro. Quando os dados são enviados para o Timestream para Live Analytics usando esse formato, o Timestream para Live Analytics cria uma linha de tabela por registro. Isso significa que, se um dispositivo emitir 4 métricas e cada métrica for enviada como um registro de medida única, o Timestream para Live Analytics criará 4 linhas na tabela para armazenar esses dados, e os atributos do dispositivo serão repetidos para cada linha. Esse formato é recomendado nos casos em que você deseja monitorar uma única métrica de um aplicativo ou quando seu aplicativo não emite várias métricas ao mesmo tempo.

Registros de várias medidas

Com registros de várias medidas, você pode armazenar várias medidas em uma única linha da tabela, em vez de armazenar uma medida por linha da tabela. Portanto, os registros de várias medidas permitem que você migre seus dados existentes de bancos de dados relacionais para o Amazon Timestream para Live Analytics com o mínimo de alterações.

Você também pode agrupar mais dados em uma única solicitação de gravação do que registros de medida única. Isso aumenta o throughput e o desempenho da gravação de dados, além de reduzir o custo da gravação de dados. Isso ocorre porque agrupar mais dados em uma solicitação de gravação permite que o Amazon Timestream para Live Analytics identifique mais dados repetíveis em uma única solicitação de gravação (quando aplicável) e cobre apenas uma vez por dados repetidos.

Registros de várias medidas

Com registros de várias medidas, você pode armazenar seus dados de séries temporais em um formato mais compacto na memória e no armazenamento magnético, o que ajuda a reduzir os custos de armazenamento de dados. Além disso, o armazenamento de dados compacto permite escrever consultas mais simples para recuperação de dados, melhora o desempenho das consultas e reduz o custo das consultas.

Além disso, os registros de várias medidas também suportam o tipo de dados TIMESTAMP para armazenar mais de um registro de data e hora em um registro de série temporal. Os atributos TIMESTAMP em um registro de várias medidas oferecem suporte aos registros de data e hora no futuro ou no passado. Portanto, os registros de várias medidas ajudam a melhorar o desempenho, o custo e a simplicidade da consulta, além de oferecer mais flexibilidade para armazenar diferentes tipos de medidas correlacionadas.

Por exemplo: monitoramento do desempenho e da integridade de um aplicativo de streaming de vídeo

Considere um aplicativo de streaming de vídeo executado em 200 instâncias do EC2. Você quer usar o Amazon Timestream para Live Analytics para armazenar e analisar as métricas emitidas pelo aplicativo, para que você possa entender o desempenho e a integridade do seu aplicativo, identificar rapidamente anomalias, resolver problemas e descobrir oportunidades de otimização.

Modelaremos esse cenário com registros de medida única e registros de várias medidas e, em seguida, vamos comparar e contrastar as duas abordagens. Para cada abordagem, fazemos as seguintes suposições.

Usando registros de medida única

Modelagem de dados: com registros de medida única, criaremos um registro para cada uma das quatro medidas (tempo de inicialização do vídeo, taxa de rebuffer, falhas na reprodução do vídeo e taxa média de quadros). Cada registro terá as quatro dimensões (device_id, device_type, os_version e region) e um registro de data e hora.

Gravações: quando você grava dados no Amazon Timestream para Live Analytics, os registros são construídos da seguinte forma.

public void writeRecords() {
    System.out.println("Writing records");
    // Specify repeated values for all records
    List<Record> records = new ArrayList<>();
    final long time = System.currentTimeMillis();
 
    List<Dimension> dimensions = new ArrayList<>();
    
    final Dimension device_id = new Dimension().withName("device_id").withValue("12345678");
    final Dimension device_type = new Dimension().withName("device_type").withValue("iPhone 11");
    final Dimension os_version = new Dimension().withName("os_version").withValue("14.8");
    final Dimension region = new Dimension().withName("region").withValue("us-east-1");
 
    dimensions.add(device_id);
    dimensions.add(device_type);
    dimensions.add(os_version);
    dimensions.add(region);
 
    Record videoStartupTime = new Record()
        .withDimensions(dimensions)
        .withMeasureName("video_startup_time")
        .withMeasureValue("200")
        .withMeasureValueType(MeasureValueType.BIGINT)
        .withTime(String.valueOf(time));
    Record rebufferingRatio = new Record()
        .withDimensions(dimensions)
        .withMeasureName("rebuffering_ratio")
        .withMeasureValue("0.5")
        .withMeasureValueType(MeasureValueType.DOUBLE)
        .withTime(String.valueOf(time));
    Record videoPlaybackFailures = new Record()
        .withDimensions(dimensions)
        .withMeasureName("video_playback_failures")
        .withMeasureValue("0")
        .withMeasureValueType(MeasureValueType.BIGINT)
        .withTime(String.valueOf(time));
    Record averageFrameRate = new Record()
        .withDimensions(dimensions)
        .withMeasureName("average_frame_rate")
        .withMeasureValue("0.5")
        .withMeasureValueType(MeasureValueType.DOUBLE)
        .withTime(String.valueOf(time));

    records.add(videoStartupTime);
    records.add(rebufferingRatio); 
    records.add(videoPlaybackFailures);
    records.add(averageFrameRate);
 
    WriteRecordsRequest writeRecordsRequest = new WriteRecordsRequest()
        .withDatabaseName(DATABASE_NAME)
        .withTableName(TABLE_NAME)
        .withRecords(records);
 
    try {
      WriteRecordsResult writeRecordsResult = amazonTimestreamWrite.writeRecords(writeRecordsRequest);
      System.out.println("WriteRecords Status: " + writeRecordsResult.getSdkHttpMetadata().getHttpStatusCode());
    } catch (RejectedRecordsException e) {
      System.out.println("RejectedRecords: " + e);
      for (RejectedRecord rejectedRecord : e.getRejectedRecords()) {
        System.out.println("Rejected Index " + rejectedRecord.getRecordIndex() + ": "
            + rejectedRecord.getReason());
      }
      System.out.println("Other records were written successfully. ");
    } catch (Exception e) {
      System.out.println("Error: " + e);
    }
  }

Quando você armazena registros de medida única, os dados são representados logicamente da seguinte forma.

Consultas: você pode escrever uma consulta que recupere todos os pontos de dados com o mesmo registro de data e hora recebido nos últimos 15 minutos da seguinte maneira.

with cte_video_startup_time as ( SELECT time, device_id, device_type, os_version, region, measure_value::bigint as video_startup_time FROM table where time >= ago(15m) and measure_name=”video_startup_time”),
cte_rebuffering_ratio as ( SELECT time, device_id, device_type, os_version, region, measure_value::double as rebuffering_ratio FROM table where time >= ago(15m) and measure_name=”rebuffering_ratio”),
cte_video_playback_failures as ( SELECT time, device_id, device_type, os_version, region, measure_value::bigint as video_playback_failures FROM table where time >= ago(15m) and measure_name=”video_playback_failures”),
cte_average_frame_rate as ( SELECT time, device_id, device_type, os_version, region, measure_value::double as average_frame_rate FROM table where time >= ago(15m) and measure_name=”average_frame_rate”)
SELECT a.time, a.device_id, a.os_version, a.region, a.video_startup_time, b.rebuffering_ratio, c.video_playback_failures, d.average_frame_rate FROM cte_video_startup_time a, cte_buffering_ratio b, cte_video_playback_failures c, cte_average_frame_rate d WHERE
a.time = b.time AND a.device_id = b.device_id AND a.os_version = b.os_version AND a.region=b.region AND
a.time = c.time AND a.device_id = c.device_id AND a.os_version = c.os_version AND a.region=c.region AND
a.time = d.time AND a.device_id = d.device_id AND a.os_version = d.os_version AND a.region=d.region

Custo do workload: o custo desse workload é estimado em US$ 373,23 por mês com registros de medida única

Usando registros de várias medidas

Modelagem de dados: com registros de várias medidas, criaremos um registro que contém todas as quatro medidas (tempo de inicialização do vídeo, taxa de rebuffer, falhas na reprodução do vídeo e taxa média de quadros), todas as quatro dimensões (device_id, device_type, os_version e region) e um registro de data e hora.

Gravações: quando você grava dados no Amazon Timestream para Live Analytics, os registros são construídos da seguinte forma.

public void writeRecords() {
    System.out.println("Writing records");
    // Specify repeated values for all records
    List<Record> records = new ArrayList<>();
    final long time = System.currentTimeMillis();
 
    List<Dimension> dimensions = new ArrayList<>();
    
    final Dimension device_id = new Dimension().withName("device_id").withValue("12345678");
    final Dimension device_type = new Dimension().withName("device_type").withValue("iPhone 11");
    final Dimension os_version = new Dimension().withName("os_version").withValue("14.8");
    final Dimension region = new Dimension().withName("region").withValue("us-east-1");
 
    dimensions.add(device_id);
    dimensions.add(device_type);
    dimensions.add(os_version);
    dimensions.add(region);
 
    Record videoMetrics = new Record()
        .withDimensions(dimensions)
        .withMeasureName("video_metrics")
        .withTime(String.valueOf(time));
        .withMeasureValueType(MeasureValueType.MULTI)
        .withMeasureValues(
          new MeasureValue()
        	.withName("video_startup_time")
        	.withValue("0")
        	.withValueType(MeasureValueType.BIGINT),
        	new MeasureValue()
		.withName("rebuffering_ratio")
        	.withValue("0.5")
        	.withType(MeasureValueType.DOUBLE),
          new MeasureValue()
        	.withName("video_playback_failures")
        	.withValue("0")
        	.withValueType(MeasureValueType.BIGINT),
		 new MeasureValue()
         	.withName("average_frame_rate")
        	.withValue("0.5")
        	.withValueType(MeasureValueType.DOUBLE))
 
    records.add(videoMetrics);
 
    WriteRecordsRequest writeRecordsRequest = new WriteRecordsRequest()
        .withDatabaseName(DATABASE_NAME)
        .withTableName(TABLE_NAME)
        .withRecords(records);
 
    try {
      WriteRecordsResult writeRecordsResult = amazonTimestreamWrite.writeRecords(writeRecordsRequest);
      System.out.println("WriteRecords Status: " + writeRecordsResult.getSdkHttpMetadata().getHttpStatusCode());
    } catch (RejectedRecordsException e) {
      System.out.println("RejectedRecords: " + e);
      for (RejectedRecord rejectedRecord : e.getRejectedRecords()) {
        System.out.println("Rejected Index " + rejectedRecord.getRecordIndex() + ": "
            + rejectedRecord.getReason());
      }
      System.out.println("Other records were written successfully. ");
    } catch (Exception e) {
      System.out.println("Error: " + e);
    }
  }

Quando você armazena registros de várias medidas, os dados são representados logicamente da seguinte forma.

Consultas: você pode escrever uma consulta que recupere todos os pontos de dados com o mesmo registro de data e hora recebido nos últimos 15 minutos da seguinte maneira.

SELECT time, device_id, device_type, os_version, region, video_startup_time, rebuffering_ratio, video_playback_failures, average_frame_rate FROM table where time >= ago(15m)

Custo do workload: o custo do workload é estimado em US$ 127,43 com registros de várias medidas.

Gravando dados com um registro de data e hora que existe no passado ou no futuro

O Timestream para Live Analytics oferece a capacidade de gravar dados com um registro de data e hora que fica fora da janela de retenção do armazenamento na memória por meio de alguns mecanismos diferentes.

Consistência eventual das leituras

O Timestream para Live Analytics oferece suporte à semântica de consistência eventual para leituras. Isso significa que quando você consulta dados imediatamente após a gravação de um lote de dados no Timestream para Live Analytics, os resultados da consulta podem não refletir os resultados de uma operação de gravação recém-concluída. Se você repetir essas solicitações de consulta após um curto período, o resultado deverá retornar os dados mais recentes.