Exportação de dados do Timestream para o Amazon S3

Independentemente do serviço de destino para migração, recomendamos seguir as melhores práticas abaixo para exportar seu Timestream de dados para o LiveAnalytics Amazon S3, criando uma camada de armazenamento intermediária durável que serve como base para a ingestão subsequente específica do banco de dados.

Para exportar dados de forma confiável do Timestream para LiveAnalytics tabelas para o Amazon S3, recomendamos usar a ferramenta Timestream for LiveAnalytics export, que usa o recurso Timestream UNLOAD — projetado para exportações de dados em grande escala.

Timestream para a ferramenta de exportação LiveAnalytics

Estratégia de fragmentação baseada no tempo

A fragmentação com base no tempo é essencial ao migrar grandes volumes de dados de séries temporais. Essa abordagem divide o processo de exportação em unidades gerenciáveis que podem ser processadas de forma independente e testadas novamente em caso de falhas, reduzindo significativamente os riscos de migração. Ele cria pontos de verificação para facilitar o acompanhamento do progresso e adiciona a capacidade de retomar após interrupções. Para organizações com ingestão contínua de dados, isso permite que dados mais novos sejam exportados em intervalos de tempo separados, permitindo uma melhor coordenação entre as operações em andamento e a migração. A ferramenta usa fragmentação baseada em dias, armazenando os dados de cada dia com o prefixo de bucket S3 para um gerenciamento eficiente. Além disso, a fragmentação pode ser baseada em hora, dia, mês ou ano.

Monitorando a migração

A ferramenta fornece uma opção para capturar as estatísticas de migração em uma tabela do DynamoDB, rastreando métricas como configurações usadas, registros exportados e outros pontos de dados para validar a integridade da sua migração. Recomendamos monitorar essas métricas de perto durante sua migração e validação. Você também pode usar o registro fornecido em seu script de orquestração, capturando registros de data e hora de execução, limites de fragmentos e quaisquer condições de erro encontradas. A ferramenta também fornece notificação de SNS se você quiser integrar seu sistema downstream para agir em caso de falhas.

Recomendações e melhores práticas

A ferramenta Timestream for LiveAnalytics export fornece uma solução flexível e robusta para exportar dados para o S3 com várias opções de configuração adaptadas aos requisitos do sistema de destino. Se seu destino for Timestream for InfluxDB, use o formato Parquet sem compressão para garantir a compatibilidade com scripts de ingestão. Para otimizar o rastreamento e o monitoramento, ative o registro no DynamoDB e configure as notificações do SNS para receber alertas sobre falhas ou conclusões de exportação.

A ferramenta aproveita o recurso Timestream for LiveAnalytics UNLOAD e, ao mesmo tempo, supera sua partição para limitações de consulta ao exportar dados automaticamente em lotes com base no intervalo de tempo especificado. Você pode personalizar o particionamento de dados por hora, dia, mês ou ano, sendo o dia o padrão. Cada partição deve permanecer abaixo de aproximadamente 350 GB para evitar erros relacionados à memória, como o cálculo da consulta excedendo a memória máxima disponível. Por exemplo, se seus dados anuais excederem 350 GB, considere usar partições mensais ou até mesmo opções mais granulares, como particionamento diário ou por hora. Se você escolher de hora em hora e ainda receber o erro “O cálculo da consulta excede a memória máxima disponível”, poderá reduzir o número de partições, garantindo que suas exportações sejam bem-sucedidas.

A ferramenta oferece flexibilidade no escopo da exportação, permitindo que você exporte uma única tabela, um banco de dados inteiro ou todos os bancos de dados da sua conta. Para requisitos mais especializados, como exportar vários bancos de dados específicos, você pode criar um invólucro personalizado em torno dessa automação. Além disso, você pode optar por exportar primeiro os dados mais recentes ativando a opção de ordem cronológica inversa. Ao reiniciar após falhas, você pode continuar com a mesma tag de migração para manter todos os arquivos com o mesmo prefixo S3 ou omitir a tag para criar arquivos com um novo prefixo. Como a ferramenta exporta os dados em lotes, se você encontrar falhas, recomendamos começar do lote com falha em vez de reiniciar do horário de início original. Se você não especificar um carimbo de data e hora de término, a ferramenta usará automaticamente o carimbo de data/hora atual (UTC) para garantir exportações e validações consistentes.

Comandos básicos

python3.9 unload.py \
    --export-table \
    --database Demo \
    --table Demo \
    --start-time '2020-03-26 17:24:38' \
    --enable-dynamodb_logger true

python3.9 unload.py \
    --export-database \
    --database Demo \
    --start-time '2020-03-26 17:24:38'

python3.9 unload.py \
    --export-all_databases \
    --start-time '2020-03-26 17:24:38'

python unload.py \
    --export-table \
    --database MyDB \
    --table MyTable \
    --start-time '2024-05-14 00:00:00' \
    --end-time '2025-05-14 00:00:00' \
    --partition month \
    --export-format PARQUET \
    --compression GZIP \
    --region us-east-1 \
    --s3-uri s3://my-bucket \
    --enable-dynamodb_logger \
    --sns-topic_arn arn:aws:sns:region:account-id:topic-name

Para obter mais informações, consulte o README do script de descarregamento.