使用自定义 AMI 为 Amazon EMR 集群配置提供更大的灵活性

使用 Amazon EMR 5.7.0 或更高版本时，您可以选择为 Amazon EMR 指定自定义 Amazon Linux AMI，而不是默认的 Amazon Linux AMI。如果您要执行以下操作，自定义 AMI 会非常有用：

自定义 AMI 必须与您创建的集群位于同一 AWS 区域中。它还应该与 EC2 实例架构匹配。例如，m5.xlarge 实例具有 x86_64 架构。因此，要使用自定义 AMI 预置 m5.xlarge，您的自定义 AMI 还应具有 x86_64 架构。同样，要预置具有 arm64 架构的 m6g.xlarge 实例，您的自定义 AMI 应该具有 arm64 架构。有关为实例类型识别 Linux AMI 的更多信息，请参阅《Amazon EC2 用户指南》中的查找 Linux AMI。

从预置的实例创建自定义 Amazon Linux AMI

预安装软件并执行其它配置以便为 Amazon EMR 创建自定义 Amazon Linux AMI 的基本步骤如下所示：

在基于自定义实例创建映像之后，您可将此映像复制到已加密的目标，如创建带加密 Amazon EBS 根设备卷的自定义 AMI中所述。

教程：从带有已安装自定义软件的实例创建 AMI

如何在 Amazon EMR 集群中使用自定义 AMI

您可以通过以下两种方式使用自定义 AMI 来预置 Amazon EMR 集群：

预置 EMR 集群时，您只能使用两个选项中的一个，而且在集群启动后就无法更改它。

在 EMR 集群中使用单个自定义 AMI

要在创建集群时指定自定义 AMI ID，请使用以下方法之一：

在 Amazon EM AMIs R 集群中使用多个自定义设置

要使用多个自定义集群 AMIs，请使用以下方法之一：

AWS 管理控制台目前不支持使用多个自定义创建集群 AMIs。

aws emr create-cluster --instance-groups 
InstanceGroupType=PRIMARY,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 
InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-234567
InstanceGroupType=TASK,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-345678
InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-456789

aws emr create-cluster --instance-groups 
InstanceGroupType=PRIMARY,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 
InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456
InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-234567

{
    "ClusterId": "j-123456",
    ...
}

aws emr add-instance-groups --cluster-id j-123456 --instance-groups InstanceGroupType=Task,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-345678

aws emr create-cluster --instance-fleets 
InstanceFleetType=PRIMARY,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge, CustomAmiId=ami-123456}'] 
InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']
InstanceFleetType=TASK,TargetSpotCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-456789},{InstanceType=m6g.xlarge, CustomAmiId=ami-567890}']

aws emr create-cluster --instance-fleets 
InstanceFleetType=PRIMARY,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge, CustomAmiId=ami-123456}'] 
InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']

{
    "ClusterId": "j-123456",
    ...
}

aws emr add-instance-fleet --cluster-id j-123456 --instance-fleet 
InstanceFleetType=TASK,TargetSpotCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']

管理 AMI 程序包存储库更新

在首次启动时，默认情况下，Amazon Linux 将在其它服务启动之前 AMIs 连接到程序包存储库以安装安全更新。根据您的环境，在为 Amazon EMR 指定自定义 AMI 时，可以选择禁用这些更新。用于禁用此功能的选项仅在您使用自定义 AMI 时可用。默认情况下，Amazon Linux 内核更新以及其它需要重新启动的软件包不会更新。请注意，您的联网配置必须允许 HTTP 和 HTTPS 传出到 Amazon S3 中的 Amazon Linux 存储库，否则安全更新将失败。

使用 AWS Management Console，您可以在选择 Custom AMI（自定义 AMI）时选择用于禁用更新的选项。

使用 AWS CLI，您可以--repo-upgrade-on-boot NONE同时指定--custom-ami-id何时使用create-cluster命令。

使用 Amazon EMR API，您可以NONE为参数指定。RepoUpgradeOnBoot

创建带加密 Amazon EBS 根设备卷的自定义 AMI

要为 Amazon EMR 加密 Amazon Linux AMI 的 Amazon EBS 根设备卷，请将未加密的 AMI 中的快照镜像复制到已加密的目标。有关创建加密 EBS 卷的信息，请参阅《亚马逊 EC2 用户指南》中的 Ama zon EBS 加密。快照的源 AMI 可以是基础 Amazon Linux AMI，您也可从派生自您自定义的基础 Amazon Linux AMI 的 AMI 复制快照。

您可以使用外部密钥提供程序或 KMK 密 AWS 钥来加密 EBS 根卷。至少必须允许 Amazon EMR 使用的服务角色（通常为默认 EMR_DefaultRole）为 Amazon EMR 加密和解密卷，这样才能使用 AMI 创建集群。当 AWS KMS 用作密钥提供程序时，这意味着必须允许以下操作：

执行此操作的最简单方式是添加角色作为密钥用户，如以下教程中所述。如果您需要自定义角色策略，请参考以下示例策略语句。

{ 
"Version": "2012-10-17", 
"Statement": [ 
   { 
   "Sid": "EmrDiskEncryptionPolicy", 
   "Effect": "Allow", 
   "Action": [ 
      "kms:Encrypt", 
      "kms:Decrypt", 
      "kms:ReEncrypt*", 
      "kms:CreateGrant", 
      "kms:GenerateDataKeyWithoutPlaintext", 
      "kms:DescribeKey" 
      ], 
   "Resource": [ 
      "*" 
      ] 
   } 
] 
}                 
            

教程：使用 KMS 密钥创建带加密根设备卷的自定义 AMI

此示例中的第一步是查找 KMS 密钥的 ARN 或创建新的 ARN。有关创建密钥的更多信息，请参阅《AWS Key Management Service 开发人员指南》中的创建密钥。以下过程说明如何将默认服务角色 EMR_DefaultRole 作为密钥用户添加到密钥策略。当创建或编辑密钥时，记下密钥的 ARN 值。随后，在创建 AMI 时将使用此 ARN 更高版本。

此命令的输出将提供您创建的 AMI 的 ID (可在创建集群时指定此 ID)。有关更多信息，请参阅在 EMR 集群中使用单个自定义 AMI。您也可选择通过安装软件并执行其它配置来自定义此 AMI。有关更多信息，请参阅从预置的实例创建自定义 Amazon Linux AMI。

最佳实践和注意事项

在为 Amazon EMR 创建自定义 AMI 时，请考虑以下事项：

有关更多信息，请参阅亚马逊 EC2 用户指南中的创建由亚马逊 EBS 支持的 Linux AMI。