翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

仮想クラスターの管理

仮想クラスターとは、Amazon EMR が登録されている Kubernetes 名前空間です。仮想クラスターを作成、説明、一覧表示、および削除できます。システム内の追加のリソースは消費されません。1 つの仮想クラスターは、1 つの Kubernetes 名前空間にマップされます。この関係により、Kubernetes 名前空間をモデル化するのと同じ方法で仮想クラスターをモデル化して、要件を満たすことができます。Kubernetes 概念概要 ドキュメントで、考えられるユースケースを参照してください。

Amazon EMR を Amazon EKS クラスターの Kubernetes 名前空間に登録するには、EKS クラスターの名前と、ワークロードを実行するためにセットアップされた名前空間が必要です。Amazon EMR に登録されたこれらのクラスターは、物理的なコンピューティングやストレージを管理するのではなく、ワークロードがスケジュールされている Kubernetes 名前空間を指しているため、仮想クラスターと呼ばれます。

仮想クラスターを作成する

次のコマンドを実行して、Amazon EMR を EKS クラスター上の名前空間に登録し、仮想クラスターを作成します。virtual_cluster_name は、仮想クラスターに指定する名前に置き換えます。eks_cluster_name は、EKS クラスターの名前に置き換えます。namespace_name は、Amazon EMR を登録する名前空間に置き換えます。

aws emr-containers create-virtual-cluster \
--name virtual_cluster_name \
--container-provider '{
    "id": "eks_cluster_name",
    "type": "EKS",
    "info": {
        "eksInfo": {
            "namespace": "namespace_name"
        }
    }
}' 

または、次の例に示すように、仮想クラスターに必要なパラメータを含む JSON ファイルを作成することもできます。

{
    "name": "virtual_cluster_name", 
    "containerProvider": {
        "type": "EKS", 
        "id": "eks_cluster_name", 
        "info": {
            "eksInfo": {
                "namespace": "namespace_name"
            }
        }
    }
}

JSON ファイルへのパスを指定して、次の create-virtual-cluster コマンドを実行します。

aws emr-containers create-virtual-cluster \
--cli-input-json file://./create-virtual-cluster-request.json
    

仮想クラスターを一覧表示する

次のコマンドを実行して、仮想クラスターのステータスを表示します。

aws emr-containers list-virtual-clusters

仮想クラスターを説明する

次のコマンドを実行して、名前空間、ステータス、登録日など、仮想クラスターの詳細を取得します。123456 は、仮想クラスター ID に置き換えます。

aws emr-containers describe-virtual-cluster --id 123456

仮想クラスターを削除する

次のコマンドを実行して、仮想クラスターを削除します。123456 は、仮想クラスター ID に置き換えます。

aws emr-containers delete-virtual-cluster --id 123456

仮想クラスターの状態

次の表には、仮想クラスターの 4 つの状態が示されています。

仮想クラスターの同時ジョブ制限

Amazon EMR on EKS 仮想クラスターで同時ジョブ制限を設定して、同時に実行されるジョブ数とキューで待機できるジョブ数を制御できます。同時実行制限 (maxConcurrentJobRuns) とキューの深さ (maxInQueueJobRuns) を個別に設定して、実行中のジョブ実行、キューに入れられたジョブ実行、またはその両方を制限できるようにします。これらの制限を設定すると、StartJobRunAPI は仮想クラスターレベルでバックプレッシャーを提供します。実行中の制限を超えて実行されるジョブは、すぐに開始するのではなく、 SUBMITTED または PENDING状態のキューで待機し、キューがいっぱいになると、 はそれ以降の送信StartJobRunを拒否します。たとえば、500 回の同時ジョブ実行と 100 回のキューに入れられたジョブ実行を許可するように仮想クラスターを設定した場合、101 回目のキューに入れられた送信は拒否され、同じ EKS クラスター上の他の仮想クラスター間でワークロードを再調整したり、容量を追加したりできます。同時実行数の制限を設定しておらず、キューの深さが増加し続けているため、ジョブ実行が開始するまでに SUBMITTEDまたは PENDING状態が長くなると、基盤となる EKS クラスターのコンピューティングリソースが少なく、新しいポッドを十分な速さでスケジュールできないことが通知されます。その場合は、ワークロードを別のクラスターにルーティングするか、容量を追加します。

同時ジョブ制限は、Kubernetes スケジューラの前にコントロールレイヤーを追加し、Kubernetes ウェブサイトの ResourceQuota 機能を追加します。これらは で強制されるためStartJobRun、ポッドが作成される前に API で過剰な負荷がキューに入れられるか拒否されます。これにより、ジョブがクラスターに到達する前に基盤となるクラスターが保護されます。Kubernetes は引き続き、その下に実際の CPU とメモリの上限を適用します。

同時ジョブ制限の主な利点

同時ジョブ制限の開始方法

仮想クラスターの schedulerConfigurationフィールドで同時ジョブ制限を設定します。このフィールドには、次の 2 つのパラメータを使用できます。

AWS CLI

仮想クラスターの作成時に制限を設定するには、リクエストschedulerConfigurationで を指定します。

aws emr-containers create-virtual-cluster \
  --name my-virtual-cluster \
  --container-provider '{ ... }' \
  --scheduler-configuration '{
      "maxConcurrentJobRuns": 500,
      "maxInQueueJobRuns": 100
  }'

既存の仮想クラスターの制限を変更するには、 update-virtual-cluster コマンドを使用します。

aws emr-containers update-virtual-cluster \
  --id virtual-cluster-id \
  --scheduler-configuration '{
      "maxConcurrentJobRuns": 500,
      "maxInQueueJobRuns": 100
  }'

仮想クラスターから制限を削除するには、空の を渡しますschedulerConfiguration。これにより設定がクリアされるため、制限は適用されず、仮想クラスターはデフォルト (無制限) の動作に戻ります。リクエストschedulerConfigurationから を省略すると、既存の制限は変更されないことに注意してください。既存の制限をクリアするには、空のオブジェクトを渡す必要があります。

aws emr-containers update-virtual-cluster \
  --id virtual-cluster-id \
  --scheduler-configuration '{}'

現在の制限とライブジョブ数を表示するには、 describe-virtual-cluster コマンドを使用します。レスポンスには、 schedulerConfigurationと、現在の activeJobRunCountと を持つSchedulerStatusオブジェクトの両方が含まれますinQueueJobRunCount。

maxConcurrentJobRuns と maxInQueueJobRuns の値の選択

適切な制限は、Amazon EKS クラスターが一度に実行できる作業量、送信のバースト性、仮想クラスターがいっぱいになったときにどのように動作するかという 3 つの要因によって異なります。次のガイダンスを使用して開始点を選択し、ライブカウンターから絞り込みます。

maxConcurrentJobRuns の設定 (実行中のスロット)

maxConcurrentJobRuns はジョブ粒度、カウントベースのガードレールです。ここでの概算見積りにより、基盤となる Amazon EKS クラスターが負荷によって低下するのを防ぎ、可用性を向上させることができます。

maxInQueueJobRuns の設定 (キューの深さ)

maxInQueueJobRuns は、送信の拒否を開始する前に、仮想クラスターが受け入れるバックログの大きさを制御します。これはバースト除去バッファです。以下の要素を考慮してください。

同時ジョブの制限に関する考慮事項