結構描述解除巢狀化

透過零 ETL 與分析服務整合時，您可以選擇巢狀結構在目標資料表中的呈現方式。 AWS Glue 零 ETL 提供結構描述解巢狀選項，將複雜的資料結構扁平化為更易於分析的格式。

將選項解除巢狀化

建立與來源的零 ETL 整合時，可以從下列解除巢狀化選項中選擇。這些選項對應於您在呼叫 CreateIntegrationTableProperty API 時使用的特定列舉值。對於所有非巢狀選項，我們會周遊到大多數內部層，並盡最大努力將 DDB 類型映射到目標 spark/iceberg 基本類型。來源 DDB 和目標資料表之間的類型映射如下所示：

aws glue create-integration-table-property 
  --resource-arn "arn:aws:glue:us-east-1:123456789012:database/my_db" 
  --table-name "my-table" 
  --cli-input-json '{
      "TargetTableConfig": {
          "UnnestSpec": "FULL",
          "TargetTableName": "my-target-table",
      }
  }'

解除巢狀化範例

考慮具有下列結構的 DynamoDB 項目：

// Input DynamoDB Record
{
  "Item": {
    "col_1": {
      "S": "value_1"
    },
    "col_2": {
      "M": {
        "col_3": {
          "M": {
            "id": {
              "S": "value_3"
            }
          }
        },
        "col_4": {
          "BOOL": true
        }
      }
    }
  }
}

NO_UNNEST 範例

使用 NO_UNNEST 時，整個資料列會存放在一欄中加上主索引鍵。DynamoDB 類型資訊會保留。這可維持與 Redshift 查詢模式的相容性。

產生的 Iceberg 資料表 （假設 col_1 是主索引鍵）：

{
  "col_2": {
    "M": {
      "col_3": {
        "M": {
          "id": {
            "S": "value_3"
          }
        }
      },
      "col_4": {
        "BOOL": true
      }
    }
  }
}

查詢需要使用 struct 和陣列存取模式：

SELECT 
  value.col_1,
  value.col_2.M.col_3.M.id.S,
  value.col_2.M.col_4.BOOL
FROM product_table;

TOP_LEVEL 範例

使用 TOP_LEVEL，只有最上層欄位不會巢狀化，同時保持巢狀欄位作為結構。DynamoDB 類型資訊會移除並維護輸入。在發生結構描述衝突時轉換為字串類型。

複寫後產生的 Glue 資料表：

{
  "col_3": {
    "id": "value_3"
  },
  "col_4": true
}

會簡化第一級的查詢：

SELECT 
  col_1, 
  col_2.col_3.id,
  col_2.col_4
FROM product_table;

完整範例

完全解除巢狀時，最上層欄位和巢狀結構/貼圖欄位都會扁平化。點表示法用於巢狀欄位 （例如 "col_2.col_3.id")。陣列元素保持不變。每個分葉節點都會成為最上層資料欄。

複寫後產生的 Glue 資料表：

查詢會完全扁平化：

SELECT 
  col_1, 
  "col_2.col_3.id",
  "col_2.col_4"
FROM product_table;