Desaninhamento de esquemas

Ao fazer a integração com serviços de analytics por meio do ETL zero, você pode escolher como as estruturas aninhadas são representadas nas tabelas de destino. AWS O ETL zero do Glue fornece opções de desaninhamento de esquemas para nivelar estruturas de dados complexas em formatos mais fáceis de analisar.

Opções de desaninhamento

Ao criar uma integração ETL zero com uma fonte, você pode escolher entre as seguintes opções de desaninhamento. Essas opções correspondem aos valores de enumeração específicos que você usará ao chamar a API CreateIntegrationTableProperty. Para todas as opções não aninhadas, percorreremos até a camada mais interna e mapearemos o tipo do DDB para o tipo primitivo correspondente do Spark/Iceberg da melhor forma possível. O mapeamento de tipos entre o DDB de origem e a tabela de destino é o seguinte:

aws glue create-integration-table-property 
  --resource-arn "arn:aws:glue:us-east-1:123456789012:database/my_db" 
  --table-name "my-table" 
  --cli-input-json '{
      "TargetTableConfig": {
          "UnnestSpec": "FULL",
          "TargetTableName": "my-target-table",
      }
  }'

Exemplos de desaninhamento

Considere um item do DynamoDB com a seguinte estrutura:

// Input DynamoDB Record
{
  "Item": {
    "col_1": {
      "S": "value_1"
    },
    "col_2": {
      "M": {
        "col_3": {
          "M": {
            "id": {
              "S": "value_3"
            }
          }
        },
        "col_4": {
          "BOOL": true
        }
      }
    }
  }
}

Exemplo de NO_UNNEST

Com NO_UNNEST, a linha inteira é armazenada em uma coluna mais a chave primária. As informações do tipo DynamoDB são preservadas. Isso mantém a compatibilidade com os padrões de consulta do Redshift.

Tabela Iceberg resultante (presumindo que col_1 seja a chave primária):

{
  "col_2": {
    "M": {
      "col_3": {
        "M": {
          "id": {
            "S": "value_3"
          }
        }
      },
      "col_4": {
        "BOOL": true
      }
    }
  }
}

As consultas precisariam usar padrões de acesso de estrutura e array:

SELECT 
  value.col_1,
  value.col_2.M.col_3.M.id.S,
  value.col_2.M.col_4.BOOL
FROM product_table;

Exemplo de TOP_LEVEL

Com o TOP_LEVEL, somente os campos de nível superior não são aninhados, mantendo os campos aninhados intactos como structs. As informações de tipo do DynamoDB são removidas e a digitação é mantida. Converte para o tipo string quando ocorrem conflitos de esquema.

Tabela do Glue resultante após a replicação:

{
  "col_3": {
    "id": "value_3"
  },
  "col_4": true
}

As consultas seriam simplificadas para o primeiro nível:

SELECT 
  col_1, 
  col_2.col_3.id,
  col_2.col_4
FROM product_table;

Exemplo de FULL

Com o desaninhamento FULL, os campos de nível superior e os campos de struct/map aninhados são nivelados. A notação de pontos é usada para campos aninhados (p. ex., “col_2.col_3.id”). Os elementos array permanecem não aninhados. Cada nó folha torna-se uma coluna de nível superior.

Tabela do Glue resultante após a replicação:

As consultas seriam totalmente achatadas:

SELECT 
  col_1, 
  "col_2.col_3.id",
  "col_2.col_4"
FROM product_table;