スキーマのネスト解除

ゼロ ETL を介して分析サービスと統合する場合、ネストされた構造をターゲットテーブルでどのように表現するかを選択できます。AWSGlue Zero-ETL には、複雑なデータ構造をより分析しやすい形式にフラット化するスキーマのネスト解除オプションが用意されています。

ネスト解除オプション

ソースとのゼロ ETL 統合を作成するときは、次のネスト解除オプションから選択できます。これらのオプションは、CreateIntegrationTableProperty API を呼び出すときに使用する特定の列挙値に対応しています。すべてのネスト解除オプションについて、最も内側のレイヤーまで探索し、DDB 型を Spark/Iceberg のプリミティブ型に可能な限り正確にマッピングします。ソース DDB とターゲットテーブル間の型マッピングは次のとおりです。

aws glue create-integration-table-property 
  --resource-arn "arn:aws:glue:us-east-1:123456789012:database/my_db" 
  --table-name "my-table" 
  --cli-input-json '{
      "TargetTableConfig": {
          "UnnestSpec": "FULL",
          "TargetTableName": "my-target-table",
      }
  }'

ネスト解除の例

次の構造を持つ DynamoDB 項目を考えてみましょう。

// Input DynamoDB Record
{
  "Item": {
    "col_1": {
      "S": "value_1"
    },
    "col_2": {
      "M": {
        "col_3": {
          "M": {
            "id": {
              "S": "value_3"
            }
          }
        },
        "col_4": {
          "BOOL": true
        }
      }
    }
  }
}

NO_UNNEST の例

NO_UNNEST では、プライマリキーがある 1 つの列に行全体が格納されます。DynamoDB 型の情報は保持されます。これにより、Redshift クエリパターンとの互換性が維持されます。

結果として得られた Iceberg テーブル (col_1 がプライマリキーであると仮定):

{
  "col_2": {
    "M": {
      "col_3": {
        "M": {
          "id": {
            "S": "value_3"
          }
        }
      },
      "col_4": {
        "BOOL": true
      }
    }
  }
}

クエリでは、構造体と配列のアクセスパターンを使用する必要があります。

SELECT 
  value.col_1,
  value.col_2.M.col_3.M.id.S,
  value.col_2.M.col_4.BOOL
FROM product_table;

TOP_LEVEL の例

TOP_LEVEL では、トップレベルのフィールドのみがネストされず、ネストされたフィールドは構造体としてそのまま保持されます。DynamoDB 型の情報は削除され、型付けは維持されます。スキーマの競合が発生すると、文字列型に変換されます。

レプリケーション後に生成される Glue テーブル:

{
  "col_3": {
    "id": "value_3"
  },
  "col_4": true
}

クエリは第 1 レベルで簡略化されます。

SELECT 
  col_1, 
  col_2.col_3.id,
  col_2.col_4
FROM product_table;

FULL の例

完全ネスト解除では、トップレベルフィールドとネストされた構造体/マップフィールドの両方がフラット化されます。ネストされたフィールド (「col_2.col_3.id」など) にはドット表記が使用されます。配列要素はネストされません。各リーフノードはトップレベル列になります。

レプリケーション後に生成される Glue テーブル:

クエリは次のように完全にフラット化されます。

SELECT 
  col_1, 
  "col_2.col_3.id",
  "col_2.col_4"
FROM product_table;