配置使用 Microsoft Azure Blob Storage 的传输

下载并准备您的代理

1. 打开 AWS DataSync 控制台，地址：https://console.aws.amazon.com/datasync/。

2. 在左侧的导航窗格中，选择 代理，然后选择 创建代理。

3. 对于 虚拟机监控器，选择 Microsoft Hyper-V，然后选择 下载映像。

   代理下载到包含 .vhdx 文件的 .zip 文件中。

4. 在本地机器上解压缩 .vhdx 文件。

5. 打开 PowerShell 并执行以下操作：

   1. 复制以下 Convert-VHD cmdlet：

      Convert-VHD -Path .\local-path-to-vhdx-file\aws-datasync-2.0.1686143940.1-x86_64.xfs.gpt.vhdx `
      -DestinationPath .\local-path-to-vhdx-file\aws-datasync-2016861439401-x86_64.vhd -VHDType Fixed

   2. 将 local-path-to-vhdx-file 的每个实例替换为本地计算机上的 .vhdx 文件位置。

   3. 运行命令。

   您的代理现在是固定大小的 VHD（采用 .vhd 文件格式），可以部署到 Azure 中。

要在 Azure 中部署您的代理

1. 在 PowerShell 中，转到包含您的代理 .vhd 文件的目录。

2. 运行 ls 命令并保存 Length 值（例如 85899346432）。

   这是代理映像的大小（以字节为单位），在创建可以容纳映像的托管磁盘时，您需要使用该大小。

3. 执行以下操作来创建托管磁盘：

   1. 复制以下 Azure CLI 命令：

      az disk create -n your-managed-disk `
      -g your-resource-group `
      -l your-azure-region `
      --upload-type Upload `
      --upload-size-bytes agent-size-bytes `
      --sku standard_lrs

   2. 将 your-managed-disk 替换为您的托管磁盘的名称。

   3. 将 your-resource-group 替换为您的存储账户所属 Azure 资源组的名称。

   4. 将 your-azure-region 替换为资源组所在的 Azure 区域。

   5. 将 agent-size-bytes 替换为代理映像的大小。

   6. 运行命令。

   此命令会创建一个带有标准 SKU 的空托管磁盘，您可以在其中上传 DataSync 代理。

4. 要生成允许对托管磁盘进行写入访问的共享访问签名 (SAS)，请执行以下操作：

   1. 复制以下 Azure CLI 命令：

      az disk grant-access -n your-managed-disk `
      -g your-resource-group `
      --access-level Write `
      --duration-in-seconds 86400

   2. 将 your-managed-disk 替换为您创建的托管磁盘的名称。

   3. 将 your-resource-group 替换为您的存储账户所属 Azure 资源组的名称。

   4. 运行命令。

      在输出中，记录 SAS URI。将代理上传到 Azure 时需要此 URI。

   SAS 允许您向磁盘写入长达一个小时。这意味着您有一小时的时间将代理上传到托管磁盘。

5. 要在 Azure 中将代理上传到托管磁盘，请执行以下操作：

   1. 复制以下 AzCopy 命令：

      .\azcopy copy local-path-to-vhd-file sas-uri --blob-type PageBlob

   2. 将 local-path-to-vhd-file 替换为代理 .vhd 文件在本地计算机上的位置。

   3. 将 sas-uri 替换为运行 az disk grant-access 命令时获得的 SAS URI。

   4. 运行命令。

6. 代理上传完成后，撤消对托管磁盘的访问权限。要执行这项操作，请复制以下 Azure CLI 命令：

   az disk revoke-access -n your-managed-disk -g your-resource-group

   1. 将 your-resource-group 替换为您的存储账户所属 Azure 资源组的名称。

   2. 将 your-managed-disk 替换为您创建的托管磁盘的名称。

   3. 运行命令。

7. 执行以下操作将托管磁盘连接到新的 Linux 虚拟机：

   1. 复制以下 Azure CLI 命令：

      az vm create --resource-group your-resource-group `
      --location eastus `
      --name your-agent-vm `
      --size Standard_E4as_v4 `
      --os-type linux `
      --attach-os-disk your-managed-disk

   2. 将 your-resource-group 替换为您的存储账户所属 Azure 资源组的名称。

   3. 将 your-agent-vm 替换为您可以记住的虚拟机名称。

   4. 将 your-managed-disk 替换为您要装载到虚拟机的托管磁盘的名称。

   5. 运行命令。

获取代理的激活密钥

1. 在 Azure 门户中，通过选择 启用自定义存储账户设置并指定您的 Azure 存储账户，为代理启用虚拟机的启动诊断。

   为代理启用虚拟机的启动诊断后，您可以访问代理的本地控制台以获取激活密钥。

2. 仍在 Azure 门户网站时，前往您的虚拟机并选择 串行控制台。

3. 在代理的本地控制台中，使用以下默认凭证登录：

   • 用户名 – admin

   • 密码 – password

   我们建议在某个时候至少更改代理的密码。在代理的本地控制台中，在主菜单上输入 5，然后使用 passwd 命令更改密码。

4. 输入 0 以获取代理的激活密钥。

5. 在您使用 DataSync 的位置输入 AWS 区域（例如 us-east-1）。

6. 选择服务端点，代理将用该端点与 AWS 通信。

7. 保存 Activation key 输出的值。

激活您的代理

1. 打开 AWS DataSync 控制台，地址：https://console.aws.amazon.com/datasync/。

2. 在左侧的导航窗格中，选择 代理，然后选择 创建代理。

3. 对于 虚拟机监控器，选择 Microsoft Hyper-V。

4. 对于 端点类型，请选择您在获取代理激活密钥时指定的相同类型的服务端点（例如，选择在区域名称中的公共服务端点）。

5. 将您的网络配置为与您的代理正在使用的服务端点类型配合使用。有关服务端点网络要求，请参阅以下主题：

   • VPC 端点

   • 公有端点

   • 美国联邦信息处理标准 (FIPS) 端点

6. 对于 激活密钥，执行以下操作：

   1. 选择 手动输入代理的激活密钥。

   2. 输入您从代理的本地控制台获得的激活密钥。

7. 选择 Create agent (创建代理)。

创建 Amazon EC2 代理

1. 部署 Amazon EC2 代理。

2. 选择代理用来与 AWS 通信的服务端点。

   在这种情况下，我们建议使用虚拟私有云（VPC）服务端点。

3. 将您的网络配置为使用 VPC 服务端点。

4. 激活代理。

1. 打开 AWS DataSync 控制台，地址：https://console.aws.amazon.com/datasync/。

2. 在左侧导航窗格中，展开数据传输，然后选择 位置和 创建位置。

3. 对于 位置类型，请选择 Microsoft Azure Blob Storage

4. 对于 容器 URL，输入涉及传输的容器的 URL。

5. 或者，对于 用作目标的访问层级，请选择要将对象或文件传输到的访问层级。

6. 对于 文件夹，如果要将传输限制到容器中的虚拟目录（例如 /my/images），请输入路径段。

7. 如果传输需要代理，请选择使用代理，然后选择可以与 Azure Blob Storage 容器连接的 DataSync 代理。

8. 对于 SAS 令牌，请提供 DataSync 访问 blob 存储空间所需的凭证。Azure Blob 存储上的某些公共数据集不需要凭证。可以直接输入 SAS 令牌，也可以指定包含该令牌的 AWS Secrets Manager 密钥。有关更多信息，请参阅为存储位置提供凭证。

   SAS 令牌是 SAS URI 字符串的一部分，位于存储资源 URI 和问号（?）之后。令牌如下所示：

   sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

9. （可选）在键和值字段中输入值以标记位置。

   标签可帮助您管理、筛选和搜索 AWS 资源。我们建议至少为您的位置创建一个名称标签。

10. 选择创建位置。

1. 复制以下 create-location-azure-blob 命令：

   aws datasync create-location-azure-blob \
     --container-url "https://path/to/container" \
     --authentication-type "SAS" \
     --sas-configuration '{
         "Token": "your-sas-token"
       }' \
     --agent-arns my-datasync-agent-arn \
     --subdirectory "/path/to/my/data" \
     --access-tier "access-tier-for-destination" \
     --tags [{"Key": "key1","Value": "value1"}]

2. 对于 --container-url 参数，请指定传输中涉及的 Azure Blob Storage 容器的 URL。

3. 对于 --authentication-type 参数，请指定 SAS。如果访问不需要身份验证的公共数据集，请指定 NONE。

4. 对于 --sas-configuration 参数的 Token 选项，请指定允许 DataSync 访问您的 blob 存储空间的 SAS 令牌。

   您还可以使用 AWS Secrets Manager 提供其他参数来保护密钥。有关更多信息，请参阅为存储位置提供凭证。

   SAS 令牌是 SAS URI 字符串的一部分，位于存储资源 URI 和问号（?）之后。令牌如下所示：

   sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

5. （可选）对于 --agent-arns 参数，指定可连接到容器的 DataSync 代理的 Amazon 资源名称（ARN）。

   下面是一个示例代理 ARN：arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890aaabfb

   您可以指定多个代理。有关更多信息，请参阅 使用多个 DataSync 代理。

6. 对于 --subdirectory 参数，如果要将传输限制到容器中的虚拟目录（例如 /my/images），请指定路径段。

7. 或者，对于 --access-tier 参数，指定要将对象或文件传输到的访问层级（HOT、COOL 或 ARCHIVE）。

   此参数仅适用于使用该位置作为传输目标的情况。

8. 或者，对于 --tags 参数，指定可帮助您管理、筛选和搜索位置的键值对。

   我们建议为您的位置创建一个名称标签。

9. 运行 create-location-azure-blob 命令。

   如果命令成功，您将收到一条响应，显示您创建位置的 ARN。例如：

   { 
       "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh" 
   }

1. 打开 AWS DataSync 控制台，地址：https://console.aws.amazon.com/datasync/。

2. 在左侧导航窗格中，展开数据传输，然后选择位置。

3. 选择您的 Azure Blob Storage 位置。

   您可以查看有关您所在位置的详细信息，包括使用该位置的所有 DataSync 传输任务。

1. 复制以下 describe-location-azure-blob 命令：

   aws datasync describe-location-azure-blob \
     --location-arn "your-azure-blob-location-arn"

2. 对于 --location-arn 参数，指定您创建 Azure Blob Storage 位置的 ARN（例如 arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh）。

3. 运行 describe-location-azure-blob 命令。

   您会收到一条回复，显示有关您所在位置的详细信息。例如：

   {
       "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh",
       "LocationUri": "azure-blob://my-user.blob.core.windows.net/container-1",
       "AuthenticationType": "SAS",
       "Subdirectory": "/my/images",
       "AgentArns": ["arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb"],
   }

1. 复制以下 update-location-azure-blob 命令。

   aws datasync update-location-azure-blob \
     --location-arn "your-azure-blob-location-arn" \
     --authentication-type "SAS" \
     --sas-configuration '{
         "Token": "your-sas-token"
       }' \
     --agent-arns my-datasync-agent-arn \
     --subdirectory "/path/to/my/data" \
     --access-tier "access-tier-for-destination"

2. 对于 --location-arn 参数，请指定要更新的 Azure Blob Storage 位置的 ARN（例如 arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh）。

3. 对于 --authentication-type 参数，请指定 SAS。

4. 对于 --sas-configuration 参数的 Token 选项，请指定允许 DataSync 访问您的 blob 存储空间的 SAS 令牌。

   该令牌是 SAS URI 字符串的一部分，位于存储资源 URI 和问号 (?) 之后。令牌如下所示：

   sp=r&st=2022-12-20T14:54:52Z&se=2022-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=qCBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

5. 对于 --agent-arns 参数，指定要连接到容器的 DataSync 代理的 Amazon 资源名称 (ARN)。

   下面是一个示例代理 ARN：arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890aaabfb

   您可以指定多个代理。有关更多信息，请参阅 使用多个 DataSync 代理。

6. 对于 --subdirectory 参数，如果要将传输限制到容器中的虚拟目录（例如 /my/images），请指定路径段。

7. 或者，对于 --access-tier 参数，指定要将对象传输到的访问层级（HOT、COOL 或 ARCHIVE）。

   此参数仅适用于使用该位置作为传输目标的情况。