翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# マニフェストを使用した特定のファイルまたはオブジェクトの転送
*マニフェスト*は、 AWS DataSync 転送するファイルまたはオブジェクトのリストです。例えば、DataSync は、S3 バケットにある数百万件のオブジェクトをすべて転送するのではなく、ユーザーがマニフェストにリストしたオブジェクトのみを転送します。
マニフェストは[フィルター](filtering.md)に似ていますが、ユーザーはフィルターパターンに一致するデータではなく、転送するファイルまたはオブジェクトを正確に特定することができます。
**注記**
拡張モードタスクを使用するマニフェストファイルの最大許容サイズは 20 GB です。
## マニフェストの作成
マニフェストは、送信元のロケーションにある DataSync で転送するファイルまたはオブジェクトを一覧表示したカンマ区切り (CSV) 形式のファイルです。送信元が S3 バケットの場合は、転送するオブジェクトのバージョンも含めることができます。
**Topics**
+ [ガイドライン](#transferring-with-manifest-guidelines)
+ [マニフェストの例](#manifest-examples)
### ガイドライン
以下は、DataSync と連携するマニフェストを作成するときに役立つガイドラインです。
------
#### [ Do ]
+ 転送する各ファイルまたはオブジェクトの完全なパスを指定する。
ディレクトリまたはフォルダのみを指定して、その中にあるすべてのコンテンツを転送することはできません。その場合は、マニフェストではなく[包含フィルター](filtering.md)の使用を検討します。
+ 各ファイルまたはオブジェクトパスが、DataSync の送信元のロケーションを設定するときに指定した、マウントパス、フォルダ、ディレクトリ、プレフィックスと関連していることを確認する。
例えば、[S3 ロケーション](create-s3-location.md#create-s3-location-how-to)のプレフィックスを `photos` と設定したとします。このプレフィックスには、転送するオブジェクト `my-picture.png` が含まれています。このマニフェストで指定する必要があるのはオブジェクト (`my-picture.png`) のみで、プレフィックスとオブジェクト (`photos/my-picture.png`) ではありません。
+ Amazon S3 オブジェクトのバージョン ID を指定するために、オブジェクトのパスとバージョン ID をカンマを使って区切る。
以下は、2 つのフィールドがあるマニフェストエントリの例です。1 つめのフィールドには `picture1.png` というオブジェクトが含まれています。2 つめのフィールドはカンマで区切られ、バージョン ID `111111` が含まれています。
```
picture1.png,111111
```
+ 以下の場合に引用符を使用する。
+ パスに特殊文字 (カンマ、引用符、改行コード) が含まれている場合。
`"filename,with,commas.txt"`
+ パスが複数の行にまたがる場合。
```
"this
is
a
filename.txt"
```
+ パスに引用符が含まれている場合。
`filename""with""quotes.txt`
これは `filename"with"quotes.txt` という名前のパスです。
これらの引用符ルールはバージョン ID のフィールドにも適用されます。一般に、マニフェストのフィールドに引用符が含まれている場合は、別の引用符を使用してエスケープする必要があります。
+ 各ファイルまたはオブジェクトエントリを改行で区切る。
行は、Linux (ラインフィードかキャリッジリターン) または Windows (キャリッジリターンの後にラインフィード) 形式の改行を使うことで分離できます。
+ マニフェストを保存する (`my-manifest.csv` や `my-manifest.txt` など)。
+ マニフェストを [DataSync がアクセスできる](#transferring-with-manifest-access) S3 バケットにアップロードする。
このバケットは、DataSync を使用しているのと同じ AWS リージョン または アカウントに存在する必要はありません。
------
#### [ Don't ]
+ ディレクトリまたはフォルダのみを指定して、その中のすべてのコンテンツを転送しようとする。
マニフェストに含めることができるのは、転送するファイルまたはオブジェクトへの完全なパスのみです。特定のマウントパス、フォルダ、ディレクトリ、プレフィックスを使用するように送信元のロケーションを設定する場合は、マニフェストにそれを含める必要はありません。
+ 4,096 文字を超えるファイルまたはオブジェクトパスを指定する。
+ 1,024 バイトを超えるファイルパス、オブジェクトパス、Amazon S3 オブジェクトのバージョン ID のいずれかを指定する。
+ 重複するファイルまたはオブジェクトパスを指定する。
+ 送信元のロケーションが S3 バケットでない場合にオブジェクトのバージョン ID を含める。
+ マニフェストエントリに 3 つ以上のフィールドを含める。
1 つのエントリに含めることができるのは、1 つのファイルパスまたはオブジェクトパスと、Amazon S3 オブジェクトのバージョン ID (該当する場合) のみです。
+ UTF-8 エンコーディングに準拠しない文字を含める。
+ 入力フィールドで引用符の外側にスペースを意図せず含める。
------
### マニフェストの例
以下は、DataSync と連携するマニフェストを作成するときに役立つ例です。
**完全なファイルまたはオブジェクトパスを含むマニフェスト**
以下は、転送する完全なファイルまたはオブジェクトパスを含むマニフェストの例です。
```
photos/picture1.png
photos/picture2.png
photos/picture3.png
```
**オブジェクトキーのみを含むマニフェスト**
以下は、Amazon S3 の送信元のロケーションから転送するオブジェクトを含むマニフェストの例です。[ロケーション](create-s3-location.md#create-s3-location-how-to)はプレフィックス `photos` で設定されているため、オブジェクトキーのみを指定します。
```
picture1.png
picture2.png
picture3.png
```
**オブジェクトパスとバージョン ID を含むマニフェスト**
次のマニフェスト例の、最初の 2 つのエントリには、転送する Amazon S3 オブジェクトの具体的なバージョンが含まれています。
```
photos/picture1.png,111111
photos/picture2.png,121212
photos/picture3.png
```
**UTF-8 文字を使用したマニフェスト**
以下は、UTF-8 文字を使用したファイルを含むマニフェストの例です。
```
documents/résumé1.pdf
documents/résumé2.pdf
documents/résumé3.pdf
```
## DataSync に対するマニフェストへのアクセス許可の付与
DataSync に S3 バケット内のマニフェストへのアクセスを許可する AWS Identity and Access Management (IAM) ロールが必要です。このロールには以下のアクセス許可が含まれている必要があります。
+ `s3:GetObject`
+ `s3:GetObjectVersion`
このロールは DataSync コンソールで自動的に生成できますが、自分で作成することもできます。
**注記**
マニフェストが別の にある場合は AWS アカウント、このロールを手動で作成する必要があります。
### IAM ロールの自動作成
コンソールで転送タスクを作成または開始する場合、DataSync は、ユーザーがマニフェストにアクセスするために必要な `s3:GetObject` および `s3:GetObjectVersion` のアクセス許可を持つ IAM ロールを、自動的に作成することができます。
**ロールを自動的に作成するために必要なアクセス許可**
ロールを自動的に作成するには、DataSync コンソールへのアクセスに使用しているロールに以下のアクセス許可があることを確認します。
+ `iam:CreateRole`
+ `iam:CreatePolicy`
+ `iam:AttachRolePolicy`
### IAM ロールの作成 (同じアカウント)
DataSync がマニフェストにアクセスするために必要な IAM ロールは、手動で作成することができます。以下の手順では、DataSync を使用する場所とマニフェストの S3 バケットがある場所が、同じ AWS アカウント である場合を想定しています。
1. IAM コンソール ([https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)) を開きます。
1. 左側のナビゲーションペインの **[アクセス管理]** で、**[ロール]** を選択し、**[ロールの作成]** を選択します。
1. **[信頼されたエンティティを選択]** ページで、**[信頼されたエンティティタイプ]** に **[AWS のサービス]** を選択します。
1. **[ユースケース]** では、ドロップダウンリストから **[DataSync]** を選び、**[DataSync]** を選択します。**[次へ]** をクリックします。
1. **[アクセス許可を追加]** ページで **[次へ]** を選択してください。ロール名を入力し、**[ロールの作成]** を選択します。
1. **[ロール]** ページで、作成したロールを検索し、その名前を選択します。
1. [データセットの詳細] ページが開くので、**[アクセス許可]** タブを選択します。**[アクセス許可の追加]** を選択し、次いで **[インラインポリシーの作成]** を選択します。
1. **[JSON]** タブを選択し、以下のサンプルポリシーをコピーしてポリシーエディタに貼り付けます。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "DataSyncAccessManifest",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetObjectVersion"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/my-manifest.csv"
}]
}
```
------
1. 貼り付けたサンプルポリシーで、以下の値を自分の値に置き換えます。
1. `amzn-s3-demo-bucket` を、マニフェストをホストしている S3 バケットの名前に置き換えます。
1. `my-manifest.csv` を、マニフェストのファイル名に置き換えます。
1. [**次へ**] を選択します。ポリシーの名前を入力し、**[ポリシーの作成]** を選択します。
1. (推奨) [サービス間の混乱による代理問題の発生](cross-service-confused-deputy-prevention.md)を防ぐには、次の操作を行います。
1. ロールの詳細ページで **[信頼関係]** タブを選択します。**[信頼ポリシーを編集]** を選択します。
1. `aws:SourceArn` と `aws:SourceAccount` グローバル条件コンテキストキーを含む次の例で信頼ポリシーを更新します。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "datasync.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "555555555555"
},
"ArnLike": {
"aws:SourceArn": "arn:aws:datasync:us-east-1:555555555555:*"
}
}
}
]
}
```
------
+ 各インスタンスを DataSync を使用している AWS アカウント ID `account-id`に置き換えます。
+ を DataSync を使用している `region`に置き換え AWS リージョン ます。
1. [**ポリシーの更新**] を選択してください。
DataSync にマニフェストへのアクセスを許可する IAM ロールを作成しました。このロールはタスクを[作成](#manifest-creating-task)または[開始](#manifest-starting-task)するときに指定します。
### IAM ロールの作成 (異なるアカウント)
マニフェストが別の に属する S3 バケットにある場合は AWS アカウント、DataSync がマニフェストにアクセスするために使用する IAM ロールを手動で作成する必要があります。次に、マニフェスト AWS アカウント がある で、ロールを S3 バケットポリシーに含める必要があります。
#### ロールの作成
1. IAM コンソール ([https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)) を開きます。
1. 左側のナビゲーションペインの **[アクセス管理]** で、**[ロール]** を選択し、**[ロールの作成]** を選択します。
1. **[信頼されたエンティティを選択]** ページで、**[信頼されたエンティティタイプ]** に **[AWS のサービス]** を選択します。
1. **[ユースケース]** では、ドロップダウンリストから **[DataSync]** を選び、**[DataSync]** を選択します。**[次へ]** をクリックします。
1. **[アクセス許可を追加]** ページで **[次へ]** を選択してください。ロール名を入力し、**[ロールの作成]** を選択します。
1. **[ロール]** ページで、作成したロールを検索し、その名前を選択します。
1. [データセットの詳細] ページが開くので、**[アクセス許可]** タブを選択します。**[アクセス許可の追加]** を選択し、次いで **[インラインポリシーの作成]** を選択します。
1. **[JSON]** タブを選択し、以下のサンプルポリシーをコピーしてポリシーエディタに貼り付けます。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "DataSyncAccessManifest",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetObjectVersion"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/my-manifest.csv"
}]
}
```
------
1. 貼り付けたサンプルポリシーで、以下の値を自分の値に置き換えます。
1. `amzn-s3-demo-bucket` を、マニフェストをホストしている S3 バケットの名前に置き換えます。
1. `my-manifest.csv` を、マニフェストのファイル名に置き換えます。
1. [**次へ**] を選択します。ポリシーの名前を入力し、**[ポリシーの作成]** を選択します。
1. (推奨) [サービス間の混乱による代理問題の発生](cross-service-confused-deputy-prevention.md)を防ぐには、次の操作を行います。
1. ロールの詳細ページで **[信頼関係]** タブを選択します。**[信頼ポリシーを編集]** を選択します。
1. `aws:SourceArn` と `aws:SourceAccount` グローバル条件コンテキストキーを含む次の例で信頼ポリシーを更新します。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "datasync.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "000000000000"
},
"ArnLike": {
"aws:SourceArn": "arn:aws:datasync:us-east-1:000000000000:*"
}
}
}
]
}
```
------
+ の各インスタンスを DataSync を使用している AWS アカウント ID `account-id`に置き換えます。
+ を DataSync を使用している `region`に置き換え AWS リージョン ます。
1. [**ポリシーの更新**] を選択してください。
S3 バケットポリシーに含めることができる IAM ロールを作成しました。
#### ロールを使用した S3 バケットポリシーの更新
IAM ロールを作成したら、マニフェスト AWS アカウント がある別の の S3 バケットポリシーに追加する必要があります。
1. で AWS マネジメントコンソール、マニフェストの S3 バケットを持つアカウントに切り替えます。
1. Amazon S3 コンソール ([https://console.aws.amazon.com/s3/](https://console.aws.amazon.com/s3/)) を開きます。
1. バケットの詳細ページで、**[アクセス許可]** タブを選択します。
1. **[バケットポリシー]** で **[編集]** を選択し、次の操作を行って S3 バケットポリシーを変更します。
1. エディタの内容を更新して、以下のポリシーステートメントを含めてください。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "DataSyncAccessManifestBucket",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetObjectVersion"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket"
}
]
}
```
------
1. を `account-id` DataSync を使用しているアカウントの AWS アカウント ID に置き換えます。 DataSync
1. `datasync-role` を、マニフェストへのアクセスを DataSync に許可する先ほど作成した IAM ロールに置き換えます。
1. `amzn-s3-demo-bucket` を、他の AWS アカウントでマニフェストをホストしている S3 バケットの名前に置き換えます。
1. **[Save changes]** (変更の保存) をクリックします。
別のアカウントにあるマニフェストへのアクセスを DataSync に許可する IAM ロールを作成しました。このロールはタスクを[作成](#manifest-creating-task)または[開始](#manifest-starting-task)するときに指定します。
## タスク作成時のマニフェストの指定
タスクを作成するときは、DataSync で使用するマニフェストを指定することができます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで **[タスク]** を選択してから、**[タスクの作成]** を選択します。
1. タスクのソースと転送先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **[スキャンするコンテンツ]** で **[特定のファイル、オブジェクト、フォルダ]** を選択し、**[マニフェストの使用]** を選択します。
1. **[S3 URI]** では、S3 バケットでホストされているマニフェストを選択します。
URI を入力することもできます (例: `s3://bucket/prefix/my-manifest.csv`)。
1. **[オブジェクトバージョン]** で、DataSync で使用するマニフェストのバージョンを選択します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. **[マニフェストのアクセスロール]** で、以下のいずれかを実行します。
+ DataSync の **[自動生成]** を選択し、S3 バケット内のマニフェストへのアクセスに必要なアクセス許可を持つ IAM ロールを、自動的に作成します。
+ マニフェストにアクセスできる既存の IAM ロールを選択します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
1. 必要なその他のタスク設定を設定し、**[次へ]** を選択します。
1. **[Create task]** (タスクの作成) を選択します。
### の使用 AWS CLI
1. 次の `create-task` コマンドをコピーします。
```
aws datasync create-task \
--source-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh \
--destination-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-abcdefgh12345678 \
--manifest-config {
"Source": {
"S3": {
"ManifestObjectPath": "s3-object-key-of-manifest",
"BucketAccessRoleArn": "bucket-iam-role",
"S3BucketArn": "amzn-s3-demo-bucket-arn",
"ManifestObjectVersionId": "manifest-version-to-use"
}
}
}
```
1. `--source-location-arn` パラメータで、転送の送信元ロケーションの Amazon リソースネーム (ARN) を指定します。
1. `--destination-location-arn` パラメータで、転送の送信先ロケーションの Amazon リソースネーム (ARN) を指定します。
1. `--manifest-config` パラメータについては、以下を行います。
+ `ManifestObjectPath` – マニフェストの S3 オブジェクトキーを指定します。
+ `BucketAccessRoleArn` – S3 バケット内のマニフェストへのアクセスを DataSync に許可する IAM ロールを指定します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
+ `S3BucketArn` – マニフェストをホストしている S3 バケットの ARN を指定します。
+ `ManifestObjectVersionId` – DataSync で使用するマニフェストのバージョンを指定します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. `create-task` コマンドを実行してタスクを作成します。
準備ができたら[転送タスクを開始](run-task.md)できます。
## タスク開始時のマニフェストの指定
DataSync で使用するマニフェストはタスクの実行時に指定することができます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで、**[タスク]** を選択し、開始するタスクを選択します。
1. タスクの概要ページで、**[開始]** を選択し、**[オプションを上書きして開始する]** を選択します。
1. **[スキャンするコンテンツ]** で **[特定のファイル、オブジェクト、フォルダ]** を選択し、**[マニフェストの使用]** を選択します。
1. **[S3 URI]** では、S3 バケットでホストされているマニフェストを選択します。
URI を入力することもできます (例: `s3://bucket/prefix/my-manifest.csv`)。
1. **[オブジェクトバージョン]** で、DataSync で使用するマニフェストのバージョンを選択します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. **[マニフェストのアクセスロール]** で、以下のいずれかを実行します。
+ DataSync の **[自動生成]** を選択し、S3 バケット内のマニフェストにアクセスするための IAM ロールを自動的に作成します。
+ マニフェストにアクセスできる既存の IAM ロールを選択します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
1. **[開始]** を選択して転送を開始します。
### の使用 AWS CLI
1. 次の `start-task-execution` コマンドをコピーします。
```
aws datasync start-task-execution \
--task-arn arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh \
--manifest-config {
"Source": {
"S3": {
"ManifestObjectPath": "s3-object-key-of-manifest",
"BucketAccessRoleArn": "bucket-iam-role",
"S3BucketArn": "amzn-s3-demo-bucket-arn",
"ManifestObjectVersionId": "manifest-version-to-use"
}
}
}
```
1. `--task-arn` パラメータで、開始するタスクの Amazon リソースネーム (ARN) を指定します。
1. `--manifest-config` パラメータについては、以下を行います。
+ `ManifestObjectPath` – マニフェストの S3 オブジェクトキーを指定します。
+ `BucketAccessRoleArn` – S3 バケット内のマニフェストへのアクセスを DataSync に許可する IAM ロールを指定します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
+ `S3BucketArn` – マニフェストをホストしている S3 バケットの ARN を指定します。
+ `ManifestObjectVersionId` – DataSync で使用するマニフェストのバージョンを指定します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. `start-task-execution` コマンドを実行して転送を開始します。
## 制限事項
+ マニフェストを[フィルター](filtering.md)と一緒に使用することはできません。
+ ディレクトリまたはフォルダのみを指定して、その中にあるすべてのコンテンツを転送することはできません。その場合は、マニフェストではなく[包含フィルター](filtering.md)の使用を検討します。
+ **[削除されたファイルを保持する]** のタスクオプション ([API ](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-PreserveDeletedFiles)の `PreserveDeletedFiles`) を使用して、[送信元にないファイルまたはオブジェクトを送信先に維持する](configure-metadata.md)ことはできません。DataSync はマニフェストにリストされているもののみを転送し、送信先にあるものを削除することはありません。
## トラブルシューティング
**`HeadObject` または `GetObjectTagging` に関連するエラー**
S3 バケットから特定のバージョン ID を持つオブジェクトを転送すると、`HeadObject` または `GetObjectTagging` に関連したエラーが表示されることがあります。例えば、以下は `GetObjectTagging` に関連したエラーの例です。
```
[WARN] Failed to read metadata for file /picture1.png (versionId: 111111): S3 Get Object Tagging Failed
[ERROR] S3 Exception: op=GetObjectTagging photos/picture1.png, code=403, type=15, exception=AccessDenied,
msg=Access Denied req-hdrs: content-type=application/xml, x-amz-api-version=2006-03-01 rsp-hdrs: content-type=application/xml,
date=Wed, 07 Feb 2024 20:16:14 GMT, server=AmazonS3, transfer-encoding=chunked,
x-amz-id-2=IOWQ4fDEXAMPLEQM+ey7N9WgVhSnQ6JEXAMPLEZb7hSQDASK+Jd1vEXAMPLEa3Km, x-amz-request-id=79104EXAMPLEB723
```
これらのエラーのいずれかが表示された場合は、DataSync が S3 の送信元のロケーションにアクセスするために使用する IAM ロールに、次のアクセス許可があることを確認します。
+ `s3:GetObjectVersion`
+ `s3:GetObjectVersionTagging`
これらのアクセス許可でロールを更新する必要がある場合は、「[DataSync が Amazon S3 ロケーションにアクセスするために必要な IAM ロールの作成](create-s3-location.md#create-role-manually)」を参照してください。
**エラー: `ManifestFileDoesNotExist`**
このエラーは、マニフェスト内のファイルがソースで見つからなかったことを示します。マニフェストを作成するための[ガイドライン](#transferring-with-manifest-guidelines)を確認してください。
## 次の手順
タスクをまだ開始していない場合は、[開始します](run-task.md)。既に開始している場合は、[タスクのアクティビティをモニタリングします](monitoring-overview.md)。