使用应用程序恢复控制器管理 EMR 集群的多可用区失效转移

创建 S3 存储桶，用于存储输入数据集、日志、应用程序和输出数据。有关说明，请参阅 Amazon S3 文档。

将存储桶整理到不同的文件夹中，分别用于存放输入数据 (dataset)、日志 (logs)、Spark 应用程序 (spark-app) 和输出数据 (output)。

使用以下 AWS CLI 命令创建一个 EMR 集群（例如，版本 6.12 或更高版本），其实例跨越两个可用区（例如us-east-1a和us-east-1b），以实现高可用性。命令以 m4.large 实例类型为例进行说明。

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-1> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-2> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

有关更多信息，请参阅 create-cluster 命令和 Amazon EMR 文档。

根据需要提供具备所需权限的密钥对、服务角色和实例配置文件。

使用 d AWS CLI es cribe-cluster 命令识别与 EMR 集群的主节点关联的安全组：

aws emr describe-cluster --cluster-id j-XXXXXXXX

要增强安全性，请修改安全组设置以允许 SSH 访问主节点（TCP 端口 22），但仅限于您的特定 IP 地址。

有关更多信息，请参阅 Amazon EMR 文档。

使用 vim 之类的文本编辑器创建或编辑 Spark 应用程序文件 (main.py)：

vim main.py

有关创建和修改 Spark 应用程序的更多信息，请参阅 Amazon EMR 文档。

将 Spark 应用程序提交至 EMR 集群，在 S3 存储桶中指定输入数据和输出数据的位置：

spark-submit main.py —data_source <input-data-folder-in-s3> —output_uri <output-folder-in-s3>

以下是基于您之前设置的文件夹的示例：

spark-submit main.py —data_source dataset —output_uri output

检查应用程序日志以监控应用程序的进度：

yarn logs -applicationId <application-id>

打开另一个终端窗口，并建立到 EMR 集群资源管理器 Web UI 的 SSH 隧道：

ssh -i <key-pair-name> -N -L 8157:<resource-manager-public-dns>:8088 hadoop@<resource-manager-public-dns>

要监控应用程序，请在 Web 浏览器中导航到 http://localhost:8157，以访问资源管理器 Web UI。

打开应用程序恢复控制器控制台。

在开始使用下，依次选择可用区转移、开始可用区转移。

选择要从哪个可用区移走流量。

从资源表中选择一个支持的资源（例如应用程序负载均衡器）进行可用区转移。

在设置可用区转移到期时间中，选择或输入可用区转移的到期时间。可以将持续时间设置为 1 分钟到三天（72 小时）。

所有可用区转移都是暂时的。您必须设置到期时间，但稍后可以更新活动的可用区转移，以设置新的到期时间，最长是三天。

输入有关此可用区转移的备注。

选中该复选框以确认启动可用区转移，这会将流量移离该可用区，从而减少应用程序的可用容量。

选择启动。

验证已注册可用区转移的资源：

aws arc-zonal-shift list-managed-resources --region <AWS-region-name>

例如，以下输出证实资源已在两个可用区中正常启动和运行。

"appliedWeights": {
        "use1-az1": 1.0,
        "use1-az2": 1.0
    },

要可视化区域偏移，请使用以下 AWS CLI 命令开始区域偏移：

aws arc-zonal-shift start-zonal-shift \
   --resource-identifier <application-load-balancer-arn> \
   --away-from <source-AZ> \
   --expires-in 10m --comment "testing" \
   --region <AWS-region-name>

其中，<source-AZ> 是您要从中移走流量的可用区的标识符，<application-load-balancer-arn> 是应用程序负载均衡器的 Amazon 资源名称（ARN）。

确认流量已移至另一个可用区。

aws arc-zonal-shift get-managed-resource \
   --resource-identifier <application-load-balancer-arn> \
   --region <AWS-region-name>

这些权重数据证实了可用区转移：

"appliedWeights": {
        "use1-az1": 0.0,
        "use1-az2": 1.0
    },