Désimbrication du schéma

Lors de l'intégration à des services d'analyse via Zero-ETL, vous pouvez choisir la manière dont les structures imbriquées sont représentées dans les tables cibles. AWS Glue Zero-ETL propose des options de désimbrication des schémas pour aplatir les structures de données complexes dans des formats plus adaptés aux analyses.

Options de désimbrication

Lorsque vous créez une intégration zéro ETL avec une source, vous pouvez choisir l’une des options de désimbrication suivantes. Ces options correspondent à des valeurs d'énumération spécifiques que vous utiliserez lors de l'appel de l' CreateIntegrationTableProperty API. Pour toutes les options indésirables, nous passerons à la couche la plus interne et mapperons le type DDB au type spark/iceberg primitif cible en faisant de notre mieux. Le mappage de type entre le DDB source et la table cible est le suivant :

aws glue create-integration-table-property 
  --resource-arn "arn:aws:glue:us-east-1:123456789012:database/my_db" 
  --table-name "my-table" 
  --cli-input-json '{
      "TargetTableConfig": {
          "UnnestSpec": "FULL",
          "TargetTableName": "my-target-table",
      }
  }'

Exemples de désimbrication

Prenons l’exemple d’un élément DynamoDB dont la structure est la suivante :

// Input DynamoDB Record
{
  "Item": {
    "col_1": {
      "S": "value_1"
    },
    "col_2": {
      "M": {
        "col_3": {
          "M": {
            "id": {
              "S": "value_3"
            }
          }
        },
        "col_4": {
          "BOOL": true
        }
      }
    }
  }
}

Exemple NO_UNNEST

Avec NO_UNNEST, la ligne entière est stockée dans une colonne plus la clé primaire. Les informations de type DynamoDB sont préservées. Cela permet de maintenir la compatibilité avec les modèles de requêtes Redshift.

Table Iceberg résultante (en supposant que col_1 est la clé primaire) :

{
  "col_2": {
    "M": {
      "col_3": {
        "M": {
          "id": {
            "S": "value_3"
          }
        }
      },
      "col_4": {
        "BOOL": true
      }
    }
  }
}

Les requêtes devraient utiliser des modèles d’accès aux structures et aux tableaux :

SELECT 
  value.col_1,
  value.col_2.M.col_3.M.id.S,
  value.col_2.M.col_4.BOOL
FROM product_table;

Exemple TOP_LEVEL

Avec TOP_LEVEL, seuls les champs de niveau supérieur ne sont pas imbriqués tout en conservant les champs imbriqués intacts sous forme de structures. Les informations de type DynamoDB sont supprimées et la saisie est conservée. Convertit en type chaîne en cas de conflit de schéma.

Table Glue résultante après réplication :

{
  "col_3": {
    "id": "value_3"
  },
  "col_4": true
}

Les requêtes seraient simplifiées pour le premier niveau :

SELECT 
  col_1, 
  col_2.col_3.id,
  col_2.col_4
FROM product_table;

Exemple complet

En cas de désimbrication COMPLÈTE, les champs de premier niveau et les champs imbriqués sont aplatis. struct/map La notation par points est utilisée pour les champs imbriqués (par exemple, « col_2.col_3.id »). Les éléments du tableau ne sont pas imbriqués. Chaque nœud de feuille devient une colonne de niveau supérieur.

Table Glue résultante après réplication :

Les requêtes seraient entièrement aplaties :

SELECT 
  col_1, 
  "col_2.col_3.id",
  "col_2.col_4"
FROM product_table;