Amazon S3 ファイルゲートウェイの仕組み

S3 ファイルゲートウェイを使用する際には、最初に、ファイルゲートウェイの VM イメージをダウンロードします。次に、 または Storage Gateway API AWS マネジメントコンソール を使用してゲートウェイをアクティブ化します。S3 ファイルゲートウェイは、Amazon EC2 イメージを使用して作成することもできます。

S3 ファイルゲートウェイを有効化した後、ファイル共有を作成および設定し、この共有を Amazon Simple Storage Service (Amazon S3) バケットに関連付けます。これにより、NFS (Network File System) または SMB (Server Message Block) プロトコルを使用して、クライアントからファイル共有にアクセスできるようになります。ファイル共有に書き込まれたファイルは Amazon S3 内のオブジェクトになり、そのパスがキーになります。ファイルとオブジェクトの間には 1 対 1 のマッピングがあり、ファイルを変更するたびに、ゲートウェイは Amazon S3 のオブジェクトを非同期的に更新します。Amazon S3 バケット内の既存のオブジェクトは、ファイルシステム内のファイルとして表示され、そのキーがパスになります。オブジェクトは、Amazon S3 のサーバー側暗号化キー (SSE-S3) により暗号化されます。すべてのデータ転送は、HTTPS 経由で実行されます。

Amazon S3 に HTTPS データアップロードリクエストを送信すると、ファイルゲートウェイは Content-MD5 ヘッダーにアップロードされるデータの MD5 チェックサムを入力します。このヘッダーを使用すると、Amazon S3 によって計算された MD5 チェックサムとファイルゲートウェイから受信した値が一致しない場合、Amazon S3 は失敗を返します。このような障害が返された場合、ファイルゲートウェイはリクエストを再送信します。

このサービスは、ゲートウェイと 間のデータ転送を最適化し、マルチパート並列アップロードまたはバイト範囲のダウンロード AWS を使用して、使用可能な帯域幅をより適切に使用します。ローカルキャッシュの目的は、最近アクセスしたデータへの低レイテンシーなアクセスを提供し、データ出力にかかる料金を削減することです。CloudWatch メトリクスからは、VM でのリソースの使用状況と、 AWSとの間のデータ転送に関するインサイトが得られます。CloudTrail はすべての API コールを追跡します。

S3 ファイルゲートウェイストレージを使用すると、クラウド ワークロードの Amazon S3 への取り込み、バックアップとアーカイブの実行、 AWS クラウドへのストレージデータの階層化と移行などのタスクを行うことができます。次の図は、Storage Gateway のファイルストレージのデプロイの概要を示しています。

ファイルを Amazon S3 にアップロードする際、S3 ファイルゲートウェイは、対象のファイルを S3 オブジェクトに変換します。S3 ファイルゲートウェイと S3 オブジェクトの間で、ファイル共有に対し相互的なファイル操作を実行する場合、ファイルとオブジェクトの変換時に実行される特定の処理には慎重な検討が必要となります。

一般的なファイル操作では、ファイルのメタデータが変更されることで現在の S3 オブジェクトが削除され、新しい S3 オブジェクトが作成されます。次の表に、ファイル操作の例と、それらが S3 オブジェクトに与える影響を示します。

NFS または SMB クライアントによってS3 ファイルゲートウェイにファイルが書き込まれると、ファイルゲートウェイによりファイルデータが Amazon S3 にアップロードされます。その後、メタデータ (所有権、タイムスタンプなど) がアップロードされます。ファイルデータがアップロードされると S3 オブジェクトが作成され、ファイルのメタデータをアップロードされると S3 オブジェクトのメタデータが更新されます。このプロセスにより、別のバージョンのオブジェクトが作成され、オブジェクトのバーションが 2 つになります。S3 バージョニングがオンである場合、両方のバージョンが保存されます。

Amazon S3 にアップロードされたファイルが、NFS または SMB クライアントによって S3 ファイルゲートウェイ内で変更されると、ファイルゲートウェイはファイル全体をアップロードするのではなく、新しいデータまたは変更されたデータのみをアップロードします。ファイルの変更により、S3 オブジェクトの新しいバージョンが作成されます。

S3 ファイルゲートウェイが大きなファイルをアップロードする際は、クライアントが S3 ファイルゲートウェイへの書き込みを実行する間に、ファイルを小さなチャンクに分割しアップロードする場合があります。これは、キャッシュ領域が解放されることや、ファイル共有への書き込み率が高くなることなどが理由です。この処理では、S3 バケットで複数バージョンのオブジェクトが作成されることがあります。

オブジェクトを異なるストレージクラスに移動するライフサイクルポリシーを設定する前に、S3 バケットをモニタリングして、オブジェクトのバージョン数を確認する必要があります。S3 バケット内のオブジェクトのバージョン数を最小限に抑えるには、過去のバージョンのライフサイクルに有効期限を設定する必要があります。S3 バケット間で、同一リージョンでのレプリケーション (SRR) またはクロスリージョンでのレプリケーション (CRR) を使用すると、使用されるストレージが増加します。