Application Recovery Controller を使用して EMR クラスターのマルチ AZ フェイルオーバーを管理する

S3 バケットを作成して、入力データセット、ログ、アプリケーション、および出力データを保存します。手順について、詳しくは Amazon S3 ドキュメントをご確認ください。

入力データ (dataset)、ログ (logs)、Spark アプリケーション (spark-app)、および出力データ (output) の個別のフォルダにバケットを整理します。

次の AWS CLI コマンドを使用して、高可用性のために 2 つのアベイラビリティーゾーン ( us-east-1aや など) にまたがるインスタンスを持つ EMR クラスター (バージョン 6.12 以降などus-east-1b) を作成します。コマンドは、例としてインスタンスタイプ m4.large を指定します。

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-1> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-2> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

詳しくは「create-cluster コマンド」と Amazon EMR ドキュメントをご確認ください。

必要に応じて、キーペア、サービスロール、インスタンスプロファイルに必要なアクセス許可を付与します。

EMR クラスターのマスターノードに関連付けられているセキュリティグループを特定するには、 AWS CLI describe-cluster コマンドを使用します。

aws emr describe-cluster --cluster-id j-XXXXXXXX

セキュリティを強化するには、セキュリティグループ設定を変更してプライマリノードへの SSH アクセス (TCP ポート 22) を許可しますが、特定の IP アドレスに制限します。

詳しくは Amazon EMR ドキュメントをご確認ください。

vim などのテキストエディタを使用して、Spark アプリケーションファイル (main.py) を作成・編集します。

vim main.py

Spark アプリケーションの作成と変更について、詳しくは Amazon EMR ドキュメントをご確認ください。

S3 バケットの入力データと出力データの場所を指定して、Spark アプリケーションを EMR クラスターに送信します。

spark-submit main.py —data_source <input-data-folder-in-s3> —output_uri <output-folder-in-s3>

先ほど設定したフォルダに基づく例を次に示します。

spark-submit main.py —data_source dataset —output_uri output

アプリケーションログを確認して、アプリケーションの進行状況をモニタリングします。

yarn logs -applicationId <application-id>

別のターミナルウィンドウを開き、EMR クラスターのリソースマネージャーウェブ UI への SSH トンネルを確立します。

ssh -i <key-pair-name> -N -L 8157:<resource-manager-public-dns>:8088 hadoop@<resource-manager-public-dns>

アプリケーションをモニタリングするには、ウェブブラウザで http://localhost:8157 に移動してリソースマネージャーのウェブ UI にアクセスします。

Application Recovery Controller コンソールを開きます。

[始める] から [ゾーンシフト]、[ゾーンシフトを開始する] の順に選択してください。

トラフィックを移動させたいアベイラビリティーゾーンを選択します。

リソーステーブルから、ゾーンシフトでサポートされているリソース (Application Load Balancer など) を選択します。

[ゾーンシフトの有効期限を設定] で、ゾーンシフトの有効期限を選択または入力します。期間は 1 分から 3 日 (72 時間) の間で設定できます。

すべてのゾーンシフトは一時的なものです。有効期限は必ず設定しますが、アクティブなシフトは、後から新しい有効期限 (最大 3 日後) に更新できます。

このゾーンシフトに関するコメントを入力します。

このチェックボックスをオンにすると、ゾーンシフトを開始した際、トラフィックがアベイラビリティーゾーンからシフトし、アプリケーションの容量が減ることを了承します。

[開始] を選択します。

ゾーンシフトに登録されているリソースを確認します。

aws arc-zonal-shift list-managed-resources --region <AWS-region-name>

例えば、次の出力は、リソースが両方のアベイラビリティーゾーンで稼働していることを確認します。

"appliedWeights": {
        "use1-az1": 1.0,
        "use1-az2": 1.0
    },

ゾーンシフトを視覚化するには、次の AWS CLI コマンドを使用してゾーンシフトを開始します。

aws arc-zonal-shift start-zonal-shift \
   --resource-identifier <application-load-balancer-arn> \
   --away-from <source-AZ> \
   --expires-in 10m --comment "testing" \
   --region <AWS-region-name>

ここで、<source-AZ> はトラフィックを遠ざけるアベイラビリティーゾーンの識別子であり、<application-load-balancer-arn> は Application Load Balancer の Amazon リソースネーム (ARN) です。

トラフィックが別のアベイラビリティーゾーンに移行したことを確認します。

aws arc-zonal-shift get-managed-resource \
   --resource-identifier <application-load-balancer-arn> \
   --region <AWS-region-name>

ゾーンシフトは、次の重みで確認できます。

"appliedWeights": {
        "use1-az1": 0.0,
        "use1-az2": 1.0
    },