Para recursos semelhantes aos do Amazon Timestream para LiveAnalytics, considere o Amazon Timestream para InfluxDB. Ele oferece ingestão de dados simplificada e tempos de resposta de consulta de um dígito em milissegundos para análises em tempo real. Saiba mais aqui.

Validação do esquema Timestream para LiveAnalytics com chaves de partição compostas personalizadas

A validação do esquema no Timestream para LiveAnalytics ajuda a garantir que os dados ingeridos no banco de dados estejam em conformidade com o esquema especificado, minimizando os erros de ingestão e melhorando a qualidade dos dados. Em particular, a validação do esquema é especialmente útil ao adotar uma chave de partição definida pelo cliente com o objetivo de otimizar o desempenho da consulta.

O que é Timestream para validação de esquema do LiveAnalytics com chaves de partição definidas pelo cliente?

A validação do esquema Timestream for LiveAnalytics é um atributo que valida os dados que estão sendo ingeridos em uma tabela Timestream for LiveAnalytics com base em um esquema predefinido. Esse esquema define o modelo de dados, incluindo chave de partição, tipos de dados e restrições para os registros que estão sendo inseridos.

Ao usar uma chave de partição definida pelo cliente, a validação do esquema se torna ainda mais crucial. As chaves de partição permitem que você especifique uma chave de partição, que determina como seus dados são armazenados no Timestream para LiveAnalytics. Ao validar os dados recebidos em relação ao esquema com uma chave de partição personalizada, você pode impor a consistência de dados, detectar erros com antecedência e melhorar a qualidade geral dos dados armazenados no Timestream para LiveAnalytics.

Como usar a validação do esquema Timestream para LiveAnalytics com chaves de partição compostas personalizadas

Para usar a validação do esquema Timestream para LiveAnalytics com chaves de partição compostas personalizadas, siga as etapas abaixo:

Pense em como serão seus padrões de consulta: para escolher e definir adequadamente o esquema da tabela Timestream para LiveAnalytics, você deve começar com seus requisitos de consulta.

Especifique chaves de partição compostas personalizadas: ao criar a tabela, especifique uma chave de partição personalizada. Essa chave determina o atributo que será usado para particionar os dados da tabela. Você pode escolher entre teclas de dimensão e teclas de medida para particionamento. Uma chave de dimensão particiona os dados com base no nome de uma dimensão, enquanto uma chave de medida particiona os dados com base no nome da medida.

Defina níveis de imposição: para garantir o particionamento de dados adequado e os benefícios que vêm com ele, o Amazon Timestream para LiveAnalytics permite que você defina níveis de imposição para cada chave de partição em seu esquema. O nível de imposição determina se a dimensão da chave de partição é necessária ou opcional ao ingerir registros. Você pode escolher entre duas opções:REQUIRED, o que significa que a chave de partição deve estar presente no registro ingerido e OPTIONAL, o que significa que a chave de partição não precisa estar presente. É recomendável usar o nível de REQUIRED imposição ao usar uma partição definida pelo cliente para garantir que seus dados sejam particionados adequadamente e que você obtenha todos os benefícios desse atributo. Além disso, você pode alterar a configuração do nível de imposição a qualquer momento após a criação do esquema para se ajustar aos requisitos de ingestão de dados.

Dados de ingestão: ao ingerir dados na tabela Timestream for LiveAnalytics, o processo de validação do esquema verificará os registros em relação ao esquema definido com chaves de partição compostas personalizadas. Se os registros não seguirem o esquema, o Timestream para LiveAnalytics retornará um erro de validação.

Lidar com erros de validação: em caso de erros de validação, o Timestream for LiveAnalytics retornará um ValidationException ou um RejectedRecordsException, dependendo do tipo de erro. Não se esqueça de lidar com essas exceções em seu aplicativo e tomar as medidas apropriadas, como corrigir os registros incorretos e tentar novamente a ingestão.

Atualizar níveis de imposição: se necessário, você pode atualizar o nível de imposição das chaves de partição após a criação da tabela usando a ação UpdateTable. No entanto, é importante observar que alguns aspectos da configuração da chave de partição, como nome e tipo, não podem ser alterados após a criação da tabela. Se você alterar o nível de imposição de REQUIRED paraOPTIONAL, todos os registros serão aceitos independentemente da presença do atributo selecionado como a chave de partição definida pelo cliente. Por outro lado, se você alterar o nível de fiscalização de OPTIONAL para REQUIRED, poderá começar a ver erros de gravação 4xx em registros que não atendem a essa condição. Portanto, é essencial escolher o nível de fiscalização adequado para seu caso de uso ao criar sua tabela, com base nos requisitos de particionamento de seus dados.

Quando usar a validação do esquema Timestream para LiveAnalytics com chaves de partição compostas personalizadas

A validação do esquema do Timestream para LiveAnalytics com chaves de partição compostas personalizadas deve ser usada em cenários em que a consistência, a qualidade e o particionamento otimizado dos dados são cruciais. Ao aplicar um esquema durante a ingestão de dados, você pode evitar erros e inconsistências que podem levar à análise incorreta ou à perda de informações valiosas.

Interação com trabalhos de carregamento em lote

Ao configurar um trabalho de carregamento em lote para importar dados em uma tabela com uma chave de partição definida pelo cliente, há alguns cenários que podem afetar o processo:

Interação com consulta agendada

Ao configurar um trabalho de consulta agendado para calcular e armazenar agregados, pacotes cumulativos e outras formas de dados pré-processados em uma tabela com uma chave de partição definida pelo cliente, há alguns cenários que podem afetar o processo: