Usar índices secundários globais para consultas de agregação materializadas no DynamoDB

Manter as agregações quase em tempo real e as métricas de chaves relacionadas aos dados em constante mudança é uma operação cada vez mais valiosa para a rápida tomada de decisões na empresa. Por exemplo, uma biblioteca de músicas pode querer mostrar as músicas mais baixadas quase em tempo real ou uma plataforma de comércio eletrônico pode precisar exibir produtos muito procurados por categoria.

Como o DynamoDB não oferece suporte nativo a operações de agregação entre itens, como SUM ou COUNT, o cálculo desses valores em tempo de leitura exigiria a verificação de um grande número de itens, o que pode ser lento e caro. Em vez disso, é possível pré-calcular as agregações à medida que os dados mudam e armazenar os resultados como itens regulares em sua tabela. Esse padrão é chamado de agregação materializada.

Exemplo de cenário e padrões de acesso

Considere um aplicativo de biblioteca de músicas com os seguintes requisitos:

Calcular as contagens de downloads em tempo de leitura verificando todos os registros de download pode ser caro nessa escala. Em vez disso, é possível manter uma contagem contínua, atualizada à medida que cada download ocorre, e armazená-la de uma forma que permita consultas eficientes.

Por que pré-calcular agregações

Há várias abordagens para calcular agregações. A tabela a seguir compara alternativas comuns e explica por que a agregação materializada no DynamoDB geralmente é a melhor opção para esse tipo de caso de uso.

A abordagem de agregação materializada mantém o caminho de gravação simples (basta registrar o download), transfere a agregação para um processo assíncrono e armazena o resultado no DynamoDB, no qual ele pode ser consultado com latência abaixo de 10 milissegundos.

Design de tabelas

Esse design usa uma única tabela com dois tipos de item que compartilham a mesma chave de partição (songID), mas usam padrões de chave de classificação diferentes para diferenciá-los:

Somente os itens de agregação mensal contêm o atributo Month. Essa distinção é importante para o design do GSI esparso descrito posteriormente.

O seguinte diagrama mostra o layout da tabela com os dois tipos de item:

Pipeline de agregação com o Streams e o AWS Lambda

O pipeline de agregação funciona da seguinte forma:

A função do Lambda usa uma chamada UpdateItem com uma expressão ADD para incrementar atomicamente a contagem de downloads. Isso evita condições de disputa entre leitura, modificação e gravação:

import boto3

dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table('MusicLibrary')

def handler(event, context):
    for record in event['Records']:
        if record['eventName'] == 'INSERT':
            new_image = record['dynamodb']['NewImage']
            song_id = new_image['songID']['S']
            # Derive the month from the download timestamp
            timestamp = new_image['Timestamp']['S']
            month = timestamp[:7]  # Extract YYYY-MM

            table.update_item(
                Key={
                    'songID': song_id,
                    'SK': month
                },
                UpdateExpression='ADD DownloadCount :inc SET #m = :month',
                ExpressionAttributeNames={
                    '#m': 'Month'
                },
                ExpressionAttributeValues={
                    ':inc': 1,
                    ':month': month
                }
            )

Design de GSIs esparsos

Para consultar com eficiência os resultados agregados, crie um índice secundário global com o seguinte esquema de chaves:

Esse GSI é esparso porque somente os itens de agregação mensal contêm o atributo Month. Os registros de download individuais não têm esse atributo, então eles são automaticamente excluídos do índice. Isso significa que o GSI contém somente os itens de agregação pré-calculados, que são uma pequena fração do total de itens na tabela.

Um GSI esparso oferece dois benefícios principais:

Para ter mais informações sobre como trabalhar com índices esparsos, consulte Aproveitar índices esparsos.

Consultar o GSI

Com o GSI esparso instalado, é possível responder com eficiência a vários tipos de consulta:

Mostrar a música mais baixada em um determinado mês:

aws dynamodb query \
    --table-name "MusicLibrary" \
    --index-name "MonthDownloadsIndex" \
    --key-condition-expression "#m = :month" \
    --expression-attribute-names '{"#m": "Month"}' \
    --expression-attribute-values '{":month": {"S": "2018-01"}}' \
    --scan-index-forward false \
    --limit 1

Quando ScanIndexForward é definido como false, os resultados são classificados por DownloadCount em ordem decrescente, e Limit=1 exibe somente a música mais baixada.

Mostrar as dez músicas mais tocadas de um determinado mês:

aws dynamodb query \
    --table-name "MusicLibrary" \
    --index-name "MonthDownloadsIndex" \
    --key-condition-expression "#m = :month" \
    --expression-attribute-names '{"#m": "Month"}' \
    --expression-attribute-values '{":month": {"S": "2018-01"}}' \
    --scan-index-forward false \
    --limit 10

Mostrar todas as músicas baixadas em um determinado mês (classificadas por contagem de downloads):

aws dynamodb query \
    --table-name "MusicLibrary" \
    --index-name "MonthDownloadsIndex" \
    --key-condition-expression "#m = :month" \
    --expression-attribute-names '{"#m": "Month"}' \
    --expression-attribute-values '{":month": {"S": "2018-01"}}' \
    --scan-index-forward false

Considerações

Ao implementar esse padrão, lembre-se sempre do seguinte: