创建 S3 批量操作任务

使用以下命令创建 AWS Identity and Access Management（IAM）角色，然后创建一个 IAM 策略来分配相关权限。以下角色和策略授予 Amazon S3 添加对象标签的权限，您在后续步骤中创建任务时将需要用到该权限。

1. 使用以下示例命令创建 IAM 角色供批量操作使用。要使用此示例命令，请将 S3BatchJobRole 替换为要为角色指定的名称。

   aws iam create-role \
    --role-name S3BatchJobRole \
    --assume-role-policy-document '{
      "Version": "2012-10-17"		 	 	 ,		 	 	 TCX5-2025-waiver;,
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"batchoperations.s3.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }'

   记下角色的 Amazon 资源名称（ARN）。创建任务时，您需要该 ARN。

2. 使用以下示例命令创建具有必要权限的 IAM 策略，并将其附加到您在上一步中创建的 IAM 角色。有关必要权限的更多信息，请参阅授予批处理操作的权限。

   注意

   对目录存储桶执行操作的批量操作任务需要特定的权限。有关更多信息，请参阅适用于 S3 Express One Zone 的 AWS Identity and Access Management（IAM）。

   要使用此示例命令，请按如下方式替换 user input placeholders：

   • 将 S3BatchJobRole 替换为您的 IAM 角色的名称。请确保此名称与您之前使用的名称一致。

   • 将 PutObjectTaggingBatchJobPolicy 替换为要为 IAM 策略指定的名称。

   • 将 amzn-s3-demo-destination-bucket 替换为包含要应用标签的对象的存储桶的名称。

   • 将 amzn-s3-demo-manifest-bucket 替换为包含清单的存储桶的名称。

   • 将 amzn-s3-demo-completion-report-bucket 替换为要将完成报告交付到的存储桶的名称。

   aws iam put-role-policy \
     --role-name S3BatchJobRole \
     --policy-name PutObjectTaggingBatchJobPolicy \
     --policy-document '{
     "Version": "2012-10-17"		 	 	 ,		 	 	 TCX5-2025-waiver;,
     "Statement":[
       {
         "Effect":"Allow",
         "Action":[
           "s3:PutObjectTagging",
           "s3:PutObjectVersionTagging"
         ],
         "Resource": "arn:aws:s3:::amzn-s3-demo-destination-bucket/*"
       },
       {
         "Effect": "Allow",
         "Action": [
           "s3:GetObject",
           "s3:GetObjectVersion",
           "s3:GetBucketLocation"
         ],
         "Resource": [
           "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
           "arn:aws:s3:::amzn-s3-demo-manifest-bucket/*"
         ]
       },
       {
         "Effect":"Allow",
         "Action":[
           "s3:PutObject",
           "s3:GetBucketLocation"
         ],
         "Resource":[
           "arn:aws:s3:::amzn-s3-demo-completion-report-bucket",
           "arn:aws:s3:::amzn-s3-demo-completion-report-bucket/*"
         ]
       }
     ]
   }'

使用以下示例命令创建 S3PutObjectTagging 任务。

manifest.csv 文件提供存储桶和对象键值的列表。任务将指定的标签应用到清单中标识的对象。ETag 是 manifest.csv 对象的 ETag，可以从 Amazon S3 控制台获取。此请求指定了 no-confirmation-required 参数，这样您就可以运行任务，而不必使用 update-job-status 命令进行确认。有关更多信息，请参阅 AWS CLI 命令参考 中的 create-job。

要使用此示例命令，请将 user input placeholders 替换为您自己的信息。将 IAM-role 替换为您之前创建的 IAM 角色的 ARN。

aws s3control create-job \
    --region us-west-2 \
    --account-id acct-id \
    --operation '{"S3PutObjectTagging": { "TagSet": [{"Key":"keyOne", "Value":"ValueOne"}] }}' \
    --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820","Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::amzn-s3-demo-manifest-bucket/manifest.csv","ETag":"60e460c9d1046e73f7dde5043ac3ae85"}}' \
    --report '{"Bucket":"arn:aws:s3:::amzn-s3-demo-completion-report-bucket","Prefix":"final-reports", "Format":"Report_CSV_20180820","Enabled":true,"ReportScope":"AllTasks"}' \
    --priority 42 \
    --role-arn IAM-role \
    --client-request-token $(uuidgen) \
    --description "job description" \
    --no-confirmation-required

作为响应，Amazon S3 返回任务 ID（例如 00e123a4-c0d8-41f4-a0eb-b46f9ba5b07c）。您需要使用任务 ID 来识别、监控和修改任务。

使用以下命令创建 AWS Identity and Access Management（IAM）角色，然后创建一个 IAM 策略来分配权限。以下角色和策略授予 Amazon S3 删除对象标签的权限，您在后续步骤中创建任务时将需要用到该权限。

1. 使用以下示例命令创建 IAM 角色供批量操作使用。要使用此示例命令，请将 S3BatchJobRole 替换为要为角色指定的名称。

   aws iam create-role \
    --role-name S3BatchJobRole \
    --assume-role-policy-document '{
      "Version": "2012-10-17"		 	 	 ,		 	 	 TCX5-2025-waiver;,
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"batchoperations.s3.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }'

   记下角色的 Amazon 资源名称（ARN）。创建任务时，您需要该 ARN。

2. 使用以下示例命令创建具有必要权限的 IAM 策略，并将其附加到您在上一步中创建的 IAM 角色。有关必要权限的更多信息，请参阅授予批处理操作的权限。

   注意

   对目录存储桶执行操作的批量操作任务需要特定的权限。有关更多信息，请参阅适用于 S3 Express One Zone 的 AWS Identity and Access Management（IAM）。

   要使用此示例命令，请按如下方式替换 user input placeholders：

   • 将 S3BatchJobRole 替换为您的 IAM 角色的名称。请确保此名称与您之前使用的名称一致。

   • 将 DeleteObjectTaggingBatchJobPolicy 替换为要为 IAM 策略指定的名称。

   • 将 amzn-s3-demo-destination-bucket 替换为包含要应用标签的对象的存储桶的名称。

   • 将 amzn-s3-demo-manifest-bucket 替换为您想用于保存清单的存储桶的名称。

   • 将 amzn-s3-demo-completion-report-bucket 替换为要将完成报告交付到的存储桶的名称。

   aws iam put-role-policy \
     --role-name S3BatchJobRole \
     --policy-name DeleteObjectTaggingBatchJobPolicy \
     --policy-document '{
     "Version": "2012-10-17"		 	 	 ,		 	 	 TCX5-2025-waiver;,
     "Statement":[
       {
         "Effect":"Allow",
         "Action":[
           "s3:DeleteObjectTagging",
           "s3:DeleteObjectVersionTagging"
         ],
         "Resource": "arn:aws:s3:::amzn-s3-demo-destination-bucket/*"
       },
       {
         "Effect":"Allow",
         "Action":[
           "s3:PutInventoryConfiguration"
         ],
         "Resource": "arn:aws:s3:::amzn-s3-demo-destination-bucket"
       },
       {
         "Effect": "Allow",
         "Action": [
           "s3:GetObject",
           "s3:GetObjectVersion",
           "s3:ListBucket"
         ],
         "Resource": [
           "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
           "arn:aws:s3:::amzn-s3-demo-manifest-bucket/*"
         ]
       },
       {
         "Effect":"Allow",
         "Action":[
           "s3:PutObject",
           "s3:ListBucket"
         ],
         "Resource":[
           "arn:aws:s3:::amzn-s3-demo-completion-report-bucket",
           "arn:aws:s3:::amzn-s3-demo-completion-report-bucket/*",
           "arn:aws:s3:::amzn-s3-demo-manifest-bucket/*"
         ]
       }
     ]
   }'

使用以下命令创建 S3DeleteObjectTagging 任务。

在此示例中，--report 部分中的值指定了将生成的任务报告的存储桶、前缀、格式和范围。该 --manifest-generator 部分指定了有关包含任务将处理的对象的源存储桶的信息、有关将为任务生成的清单输出列表的信息，以及按创建日期、名称限制、大小和存储类来缩小要包含在清单中的对象范围的筛选标准。该命令还指定任务的优先级、IAM 角色和 AWS 区域。

有关更多信息，请参阅 AWS CLI 命令参考 中的 create-job。

要使用此示例命令，请将 user input placeholders 替换为您自己的信息。将 IAM-role 替换为您之前创建的 IAM 角色的 ARN。

aws s3control create-job \
    --account-id 012345678901 \
    --operation '{
        "S3DeleteObjectTagging": {}
    }' \
    --report '{
        "Bucket":"arn:aws:s3:::amzn-s3-demo-completion-report-bucket",
        "Prefix":"reports", 
        "Format":"Report_CSV_20180820",
        "Enabled":true,
        "ReportScope":"AllTasks"
    }' \
    --manifest-generator '{
        "S3JobManifestGenerator": {
          "ExpectedBucketOwner": "012345678901",
          "SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket",
          "EnableManifestOutput": true,
          "ManifestOutputLocation": {
            "ExpectedManifestBucketOwner": "012345678901",
            "Bucket": "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
            "ManifestPrefix": "prefix",
            "ManifestFormat": "S3InventoryReport_CSV_20211130"
          },
          "Filter": {
            "CreatedAfter": "2023-09-01",
            "CreatedBefore": "2023-10-01",
            "KeyNameConstraint": {
              "MatchAnyPrefix": [
                "prefix"
              ],
              "MatchAnySuffix": [
                "suffix"
              ]
            },
            "ObjectSizeGreaterThanBytes": 100,
            "ObjectSizeLessThanBytes": 200,
            "MatchAnyStorageClass": [
              "STANDARD",
              "STANDARD_IA"
            ]
          }
        }
      }' \
     --priority 2 \
     --role-arn IAM-role \
     --region us-east-1

作为响应，Amazon S3 返回任务 ID（例如 00e123a4-c0d8-41f4-a0eb-b46f9ba5b07c）。您将需要此任务 ID 来识别、监控或修改任务。