S3 Glacier ストレージクラスの S3 アーカイブオブジェクトを読み取る

Amazon S3 Glacier クラスは、安価である一方でデータ取得に時間のかかる特殊なストレージクラスです。S3 Standard オブジェクトとは異なり、S3 Glacier オブジェクトは、AWS Glue テーブルとして読み取ることができません。データを分析クエリまたはレポート作成に利用できるようにするには、最初に S3 Glacier オブジェクトを復元します。復元は、時間のかかる非同期プロセスであり、保持期間が設定されています。オブジェクトを復元したら、S3 Standard オブジェクトとは異なる場所にコピーすると良いでしょう。復元したオブジェクトは、保持期間を超えると Amazon S3 Glacier に戻るからです。

S3 バッチオペレーションの使用

Amazon S3 バッチオペレーションを使用すると、Amazon S3 で、エクサバイト規模のデータが含まれる数十億個ものオブジェクトに大規模バッチ処理を実行できます。Amazon S3 は、進捗状況の追跡、通知の送信、すべてのアクションの詳細な完了レポートの保存を行い、フルマネージド型の監査可能なサーバーレスエクスペリエンスを提供します。

S3 バッチオペレーションでは、復元オペレーションがサポートされており、これによって、次のストレージ階層にある S3 オブジェクトの復元を開始できます。

バッチオペレーションは、プログラムからも、Amazon S3 コンソールからも呼び出すことができます。入力には、復元するリストオブジェクトが含まれる .csv マニフェストファイルが必要です。

バッチ作業の入力には、Amazon S3 インベントリレポートを使用できます。インベントリレポートは、バケットに設定します。また、レポート対象を特定のプレフィックス下にあるオブジェクトに制限できます。自動作成されるレポートであり、CSV、ORC、または Parquet 形式で、毎週または毎日生成されます。

インベントリレポートの設定方法については、Amazon S3 ドキュメントで詳しく確認できます。Boto3 を使用した、S3 バッチオペレーションジョブの作成方法については、Boto3 ドキュメントを参照してください。