移行オプションの概要 - AWS 規範ガイダンス

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

移行オプションの概要

この表は、各移行オプションの主な特性と考慮事項をまとめたものです。

機能

インプレース移行

スナップショット

インプレース移行

migrate

フルデータ移行

CTAS または (CREATE TABLE + INSERT)

移行プロセスの一環としてのデータレイアウトの改善

  • データの再ソート

いいえ

いいえ

はい

  • パーティショニングを変更する (Iceberg の非表示パーティショニングを使用するなど）

いいえ

いいえ

はい

  • テーブルスキーマを変更する

いいえ

いいえ

はい

  • ファイルサイズの最適化

いいえ

いいえ

はい

  • データを追加する前に、既存のデータのスキーマを検証する

いいえ

いいえ

はい

サポートされているファイル形式

Parquet、Avro、ORC

Parquet、Avro、ORC

Parquet、Avro、ORC、JSON、CSV

Iceberg テーブルによるソーステーブルの置換

いいえ

（新しいテーブルを作成しますが、追加の手順でソーステーブルを置き換えることができます）

はい

（バックアップテーブルを作成し、ソーステーブルを Iceberg テーブルに置き換えます）

いいえ

（新しいテーブルを作成します）

ソーステーブルの影響

  • Iceberg テーブルのファイル削除オペレーション (expire_snapshot オペレーション、パージを含むテーブルの削除）

ソーステーブルの破損

バックアップテーブルの破損

安全でソースに影響なし

Iceberg テーブルの影響

  • ソーステーブルファイルが削除された場合の影響

Iceberg テーブルの破損

Iceberg テーブルの破損

Iceberg テーブルに影響を与えない

  • ソーステーブルの場所に新しいファイルが追加された場合の影響

新しいテーブルには表示されません

( にパーティションを組み込む必要がありますadd_files）

新しいテーブルには表示されません

( にパーティションを組み込む必要がありますadd_files）

新しいテーブルには表示されません

（INSERT INTO新しいテーブルに必要）

コスト

低

低

高 (フルデータ書き換え）

移行速度

高速

高速

低速

Amazon S3 Tables への移行に使用できます

いいえ

いいえ

はい

手動 DDL が必要

いいえ

（スキーマとパーティションはソーステーブルからコピーされます）

いいえ

（スキーマとパーティションはソーステーブルからコピーされます）

CTAS を使用する場合、 ではパーティショニングのみを指定する必要があります。

最適な使用法

データを書き換えることなく迅速に移行できるため、テストや段階的な移行に Hive と Iceberg をside-by-sideして使用できます。

即時スイッチオーバーが許容される場合に、データを書き換えずに Hive テーブルを置き換えます。

データ書き換えによる Iceberg 最適化。パーティションやスキーマを再設計する場合や、レイアウトとパフォーマンスを向上させる場合に最適です。可能な場合は、常に推奨されます。