データのパーティショニングによる移行の高速化 - AWS DataSync

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

データのパーティショニングによる移行の高速化

大規模な移行では、データセットを複数の DataSync タスクでパーティショニングすることをお勧めします。送信元のデータを複数のタスク (場合によってはエージェント) にパーティショニングすることで、転送を並列化し、移行タイムラインを短縮できます。

パーティショニングは、DataSync クォータ内にとどまり、タスクのモニタリングとデバッグを簡素化するのに役立ちます。

次の図は、複数の DataSync のタスクとエージェントを使用して、同じ送信元のストレージの場所からデータを転送する方法を示しています。このシナリオでは、各タスクは送信元の場所の特定のフォルダに焦点を当てます。これらのアプローチの詳細と例については、「How to accelerate your data transfers with AWS DataSync scale out architectures」を参照してください。

送信元のデータをパーティショニングして大規模な移行を高速化するための DataSync の 1 つのアプローチを示す図。

フォルダまたはプレフィックスによるデータセットのパーティショニング

DataSync の送信元の場所を作成するときに、DataSync が読み取るフォルダ、ディレクトリ、またはプレフィックスを指定できます。例えば、最上位ディレクトリとのファイル共有を移行する場合、異なるディレクトリパスを指定する複数の場所を作成できます。その後、これらの場所を使用して、移行中に複数の DataSync タスクを実行できます。

フィルターを使用したデータセットのパーティショニング

フィルターを適用して、転送時に送信元の場所からデータを含めたり除外したりすることができます。大規模な移行のコンテキストでは、フィルターはデータセットの特定の部分にタスクをスコープするのに役立ちます。

例えば、年別に整理されたアーカイブデータを移行する場合、特定の年または複数年に一致する包含フィルターを作成できます。タスクを実行するたびに、別の年に合わせてフィルターを変更することもできます。

マニフェストを使用したデータセットのパーティショニング

マニフェストとは、DataSync で転送するファイルまたはオブジェクトのリストです。マニフェストを使用する場合、DataSync は転送対象を決定するために送信元の場所にあるすべてを読み取る必要はありません。

マニフェストは、送信元のストレージのインベントリから、またはイベントドリブンアプローチを使用して作成できます (例として、「Implementing AWS DataSync with hundreds of millions of objects」を参照してください)。タスクを開始するたびに異なるマニフェストを使用することもできます。これにより、同じタスクで異なるデータセットを転送できます。