使用 Amazon S3 配置 AWS DataSync 传输

1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

2. 在左侧导航窗格的访问管理下，选择角色，然后选择创建角色。

3. 在选择可信实体页面中，为可信实体类型选择 AWS 服务。

4. 对于用例，在下拉列表中选择 DataSync，然后选择 DataSync。选择下一步。

5. 在添加权限页面上，选择下一步。输入角色名称，然后选择创建角色。

6. 在角色页面上，搜索您刚刚创建的角色并选择其名称。

7. 在角色的详情页面上，选择权限选项卡。选择添加权限，然后选择创建内联策略。

8. 选择 JSON 选项卡，然后在策略编辑器中添加访问存储桶所需的权限。

9. 选择下一步。为您的策略输入名称，然后选择创建策略。

10. （推荐）为防止出现跨服务混淆代理问题，请执行以下操作：

    1. 在角色的详情页面上，选择信任关系选项卡。选择编辑信任策略。

    2. 使用以下示例更新信任策略，其中包括 aws:SourceArn 和 aws:SourceAccount 全局条件上下文键：

       JSON

       {
           "Version":"2012-10-17",		 	 	 
           "Statement": [
             {
               "Effect": "Allow",
               "Principal": {
                   "Service": "datasync.amazonaws.com"
               },
               "Action": "sts:AssumeRole",
               "Condition": {
                   "StringEquals": {
                   "aws:SourceAccount": "444455556666"
                   },
                   "ArnLike": {
                   "aws:SourceArn": "arn:aws:datasync:us-east-1:444455556666:*"
                   }
               }
             }
         ]
       }
       

    3. 选择更新策略。

1. 复制以下 S3 存储桶策略。

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [{
           "Sid": "Deny-access-to-bucket",
           "Effect": "Deny",
           "Principal": "*",
           "Action": "s3:*",
           "Resource": [
               "arn:aws:s3:::amzn-s3-demo-bucket",
               "arn:aws:s3:::amzn-s3-demo-bucket/*"
           ],
           "Condition": {
               "StringNotLike": {
                   "aws:userid": [
                       "datasync-iam-role-id:*",
                       "your-iam-role-id"
                   ]
               }
           }
       }]
   }
   

2. 在策略中，替换以下值：

   • amzn-s3-demo-bucket：指定受限 S3 存储桶的名称。

   • datasync-iam-role-id：指定 DataSync 用于访问存储桶的 IAM 角色的 ID。

     运行以下 AWS CLI 命令以创建 IAM 角色 ID：

     aws iam get-role --role-name datasync-iam-role-name

     在输出中，查找 RoleId 值：

     "RoleId": "ANPAJ2UCCR6DPCEXAMPLE"

   • your-iam-role-id：指定用于为存储桶创建 DataSync 位置的 IAM 角色的 ID。

     运行以下命令以创建 IAM 角色 ID：

     aws iam get-role --role-name your-iam-role-name

     在输出中，查找 RoleId 值：

     "RoleId": "AIDACKCEVSQ6C2EXAMPLE"

3. 将此策略添加到 S3 存储桶策略中。

4. 使用 DataSync 完成受限存储桶的操作后，从存储桶策略中移除这两个 IAM 角色的条件。

1. 打开 AWS DataSync 控制台，地址：https://console.aws.amazon.com/datasync/。

2. 在左侧导航窗格中，展开数据传输，然后选择 位置和 创建位置。

3. 对于位置类型，选择 Amazon S3，然后选择通用存储桶。

4. 对于 S3 URI，输入或选择要用于相应位置的存储桶和前缀。

   警告

   DataSync 无法传输前缀以斜杠（/）开头或包含 //、/./、/../ 模式的对象。例如：

   • /photos

   • photos//2006/January

   • photos/./2006/February

   • photos/../2006/March

5. 对于 用作目标时的 S3 存储类别，请选择您希望对象在以 Amazon S3 为传输目标时使用的存储类别。

   有关更多信息，请参阅 Amazon S3 传输的存储类别注意事项。

6. 对于 IAM 角色，执行以下操作之一：

   • 选择自动创建，以让 DataSync 自动创建具有访问 S3 存储桶所需权限的 IAM 角色。

     如果 DataSync 之前为该 S3 存储桶创建过 IAM 角色，则默认选择该角色。

   • 选择您创建的自定义 IAM 角色。有关更多信息，请参阅 为 DataSync 创建 IAM 角色以访问 Amazon S3 位置。

7. （可选）选择添加新标签以标记您的 Amazon S3 位置。

   标签可帮助您管理、筛选和搜索资源。我们建议为您的位置创建一个名称标签。

8. 选择创建位置。

1. 复制以下 create-location-s3 命令：

   aws datasync create-location-s3 \
       --s3-bucket-arn 'arn:aws:s3:::amzn-s3-demo-bucket' \
       --s3-storage-class 'your-S3-storage-class' \
       --s3-config 'BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-datasync-operations' \
       --subdirectory /your-prefix-name

2. 对于 --s3-bucket-arn，指定要用作位置的 S3 存储桶的 ARN。

3. 对于 --s3-storage-class，指定您希望对象在以 Amazon S3 为传输目标时使用的存储类别。

4. 对于 --s3-config，请指定 DataSync 访问存储桶时所需 IAM 角色的 ARN。

   有关更多信息，请参阅 为 DataSync 创建 IAM 角色以访问 Amazon S3 位置。

5. 对于 --subdirectory，指定 S3 存储桶中的一个前缀，DataSync 将从该存储桶读取数据或向其写入数据（取决于该存储桶是源位置还是目标位置）。

   警告

   DataSync 无法传输前缀以斜杠（/）开头或包含 //、/./、/../ 模式的对象。例如：

   • /photos

   • photos//2006/January

   • photos/./2006/February

   • photos/../2006/March

6. 运行 create-location-s3 命令。

   如果命令成功，您将收到一条响应，显示您创建位置的 ARN。例如：

   {
       "LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0b3017fc4ba4a2d8d"
   }

1. 打开 AWS DataSync 控制台，地址：https://console.aws.amazon.com/datasync/。

2. 在左侧导航窗格中，展开数据传输，然后选择 位置和 创建位置。

3. 对于位置类型，选择 Amazon S3，然后选择 Outposts 存储桶。

4. 对于 S3 存储桶，请选择一个可以访问 S3 on Outposts 存储桶的 Amazon S3 接入点。

   有关更多信息，请参阅 Amazon S3 用户指南。

5. 对于 用作目标时的 S3 存储类别，请选择您希望对象在以 Amazon S3 为传输目标时使用的存储类别。

   有关更多信息，请参阅 Amazon S3 传输的存储类别注意事项。对于 Amazon S3 on Outposts，DataSync 默认使用 S3 Outposts 存储类别。

6. 对于代理，请指定 Outpost 上的 DataSync 代理的 Amazon 资源名称（ARN）。

7. 对于文件夹，请在 DataSync 从其读取或向其写入（取决于存储桶是源位置还是目标位置）的 S3 存储桶中输入前缀。

   警告

   DataSync 无法传输前缀以斜杠（/）开头或包含 //、/./、/../ 模式的对象。例如：

   • /photos

   • photos//2006/January

   • photos/./2006/February

   • photos/../2006/March

8. 对于 IAM 角色，执行以下操作之一：

   • 选择自动创建，以让 DataSync 自动创建具有访问 S3 存储桶所需权限的 IAM 角色。

     如果 DataSync 之前为该 S3 存储桶创建过 IAM 角色，则默认选择该角色。

   • 选择您创建的自定义 IAM 角色。有关更多信息，请参阅 为 DataSync 创建 IAM 角色以访问 Amazon S3 位置。

9. （可选）选择添加新标签以标记您的 Amazon S3 位置。

   标签可帮助您管理、筛选和搜索资源。我们建议为您的位置创建一个名称标签。

10. 选择创建位置。

1. 复制以下 create-location-s3 命令：

   aws datasync create-location-s3 \
       --s3-bucket-arn 'bucket-access-point' \
       --s3-storage-class 'your-S3-storage-class' \
       --s3-config 'BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-datasync-operations' \
       --subdirectory /your-folder \
       --agent-arns 'arn:aws:datasync:your-region:account-id::agent/agent-agent-id'

2. 对于 --s3-bucket-arn，指定一个可访问 Amazon S3 on Outposts 存储桶的 Amazon S3 接入点。

   有关更多信息，请参阅 Amazon S3 用户指南。

3. 对于 --s3-storage-class，指定您希望对象在以 Amazon S3 为传输目标时使用的存储类别。

   有关更多信息，请参阅 Amazon S3 传输的存储类别注意事项。对于 Amazon S3 on Outposts，DataSync 默认使用 S3 Outposts 存储类别。

4. 对于 --s3-config，请指定 DataSync 访问存储桶时所需 IAM 角色的 ARN。

   有关更多信息，请参阅 为 DataSync 创建 IAM 角色以访问 Amazon S3 位置。

5. 对于 --subdirectory，指定 S3 存储桶中的一个前缀，DataSync 将从该存储桶读取数据或向其写入数据（取决于该存储桶是源位置还是目标位置）。

   警告

   DataSync 无法传输前缀以斜杠（/）开头或包含 //、/./、/../ 模式的对象。例如：

   • /photos

   • photos//2006/January

   • photos/./2006/February

   • photos/../2006/March

6. 对于 --agent-arns，指定 Outpost 上 DataSync 代理的 ARN。

7. 运行 create-location-s3 命令。

   如果命令成功，您将收到一条响应，显示您创建位置的 ARN。例如：

   {
       "LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0b3017fc4ba4a2d8d"
   }

要创建 DataSync 代理

1. 在您的商业区域部署 Amazon EC2 代理。

2. 将您的代理配置为使用 VPC 服务端点。

3. 激活您的代理。

要创建 DataSync 代理

1. 在 AWS GovCloud (US) Region 中部署 Amazon EC2 代理。

2. 将您的代理配置为使用 VPC 服务端点。

3. 激活您的代理。

1. 打开 AWS DataSync 控制台，地址：https://console.aws.amazon.com/datasync/。

2. 确保您处于计划运行任务的同一区域。

3. 在左侧导航窗格中，展开数据传输，然后选择 位置和 创建位置。

4. 对于 位置类型，选择 对象存储。

5. 对于代理，选择为此传输创建的 DataSync 代理。

6. 对于服务器，使用以下格式之一为存储桶输入 Amazon S3 端点：

   • 商业区域存储桶：s3.your-region.amazonaws.com

   • AWS GovCloud (US) Region 存储桶：s3.your-gov-region.amazonaws.com

   有关 Amazon S3 端点的列表，请参阅 AWS 一般参考。

7. 对于存储桶名称，请输入 S3 存储桶的名称。

8. 对于文件夹，请在 DataSync 从其读取或向其写入（取决于存储桶是源位置还是目标位置）的 S3 存储桶中输入前缀。

   警告

   DataSync 无法传输前缀以斜杠（/）开头或包含 //、/./、/../ 模式的对象。例如：

   • /photos

   • photos//2006/January

   • photos/./2006/February

   • photos/../2006/March

9. 选择需要凭证，然后执行以下操作：

   • 对于访问密钥，输入可以访问存储桶的 IAM 用户的访问密钥。

   • 对于私有密钥，输入同一 IAM 用户的私有密钥。

10. （可选）选择 添加标签来标记您的位置。

    标签可帮助您管理、筛选和搜索资源。我们建议为您的位置创建一个名称标签。

11. 选择创建位置。

1. 复制以下 create-location-object-storage 命令：

   aws datasync create-location-object-storage \
       --server-hostname s3-endpoint \
       --bucket-name amzn-s3-demo-bucket \
       --agent-arns arn:aws:datasync:your-region:123456789012:agent/agent-01234567890deadfb

2. 对于 --server-hostname 参数，使用以下格式之一，为存储桶指定 Amazon S3 端点：

   • 商业区域存储桶：s3.your-region.amazonaws.com

   • AWS GovCloud (US) Region 存储桶：s3.your-gov-region.amazonaws.com

   对于端点中的区域，确保指定的区域与计划运行任务的区域相同。

   有关 Amazon S3 端点的列表，请参阅 AWS 一般参考。

3. 对于 --bucket-name 参数，指定 S3 存储桶的名称。

4. 对于 --agent-arns 参数，指定为此传输创建的 DataSync 代理。

5. 对于 --access-key 参数，指定可以访问存储桶的 IAM 用户的访问密钥。

6. 对于 --secret-key 参数，输入同一 IAM 用户的私有密钥。

7. （可选）对于 --subdirectory 参数，指定 S3 存储桶中的一个前缀，DataSync 将从该存储桶读取数据或向其写入数据（取决于该存储桶是源位置还是目标位置）。

   警告

   DataSync 无法传输前缀以斜杠（/）开头或包含 //、/./、/../ 模式的对象。例如：

   • /photos

   • photos//2006/January

   • photos/./2006/February

   • photos/../2006/March

8. （可选）对于 --tags 参数，指定代表位置资源标签的键值对。

   标签可帮助您管理、筛选和搜索资源。我们建议为您的位置创建一个名称标签。

9. 运行 create-location-object-storage 命令。

   您会收到一条回复，表明您刚刚创建的位置 ARN。

   {
       "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890abcdef"
   }