Amazon EMR on EKS のクラスターアクセスを有効にする
以下の各セクションでは、クラスターアクセスを有効にする方法をいくつか示します。1 つ目の方法は、Amazon EKS クラスターアクセス管理 (CAM) を使用することによるものです。もう 1 つの方法は、クラスターアクセスを有効にするための手動手順を実施する方法を示すものです。
EKS アクセスエントリを使用してクラスターアクセスを有効にする (推奨)
注記
aws-auth ConfigMap は非推奨です。Kubernetes API へのアクセスを管理する際は、アクセスエントリを使用することをお勧めします。
Amazon EMR は Amazon EKS クラスターアクセス管理 (CAM) と統合されているため、Amazon EKS クラスターの名前空間で Amazon EMR Spark ジョブを実行するために必要な AuthN ポリシーと AuthZ ポリシーの設定を自動化できます。Amazon EKS クラスター名前空間から仮想クラスターを作成すると、Amazon EMR は必要なすべてのアクセス許可を自動的に設定するため、現在のワークフローにその他の手順を追加する必要はありません。
注記
Amazon EMR と Amazon EKS CAM の統合は、新しい Amazon EMR on EKS 仮想クラスターでのみサポートされています。既存の仮想クラスターを移行してこの統合を使用することはできません。
前提条件
-
バージョン 2.15.3 以降の AWS CLI が実行されていることを確認します。
-
Amazon EKS クラスターでは、1.23 以降のバージョンを使用している必要があります。
セットアップ
Amazon EMR と Amazon EKS の AccessEntry API オペレーションの統合を設定するには、次の項目を完了していることを確認してください。
-
Amazon EKS クラスターの
authenticationModeがAPI_AND_CONFIG_MAPに設定されていることを確認します。aws eks describe-cluster --name<eks-cluster-name>まだ設定されていない場合は、
authenticationModeをAPI_AND_CONFIG_MAPに設定します。aws eks update-cluster-config --name<eks-cluster-name>--access-config authenticationMode=API_AND_CONFIG_MAP認証モードの詳細については、「クラスター認証モード」を参照してください。
-
CreateVirtualClusterおよびDeleteVirtualClusterの API オペレーションの実行に使用する IAM ロールにも、次のアクセス許可があることを確認します。{ "Effect": "Allow", "Action": [ "eks:CreateAccessEntry" ], "Resource": "arn:<AWS_PARTITION>:eks:<AWS_REGION>:<AWS_ACCOUNT_ID>:cluster/<EKS_CLUSTER_NAME>" }, { "Effect": "Allow", "Action": [ "eks:DescribeAccessEntry", "eks:DeleteAccessEntry", "eks:ListAssociatedAccessPolicies", "eks:AssociateAccessPolicy", "eks:DisassociateAccessPolicy" ], "Resource": "arn:<AWS_PARTITION>:eks:<AWS_REGION>:<AWS_ACCOUNT_ID>:access-entry/<EKS_CLUSTER_NAME>/role/<AWS_ACCOUNT_ID>/AWSServiceRoleForAmazonEMRContainers/*" }
概念と用語
以下に示すのは、Amazon EKS CAM に関連する用語と概念のリストです。
-
仮想クラスター (VC) – Amazon EKS で作成された名前空間の論理表現。これは、Amazon EKS クラスター名前空間への 1:1 リンクです。これを使用して、指定された名前空間内の Amazon EKS クラスターで Amazon EMR ワークロードを実行できます。
-
名前空間 – 単一の EKS クラスター内のリソースグループを分離するためのメカニズム。
-
アクセスポリシー – EKS クラスター内の IAM ロールにアクセス権とアクションを付与するアクセス許可。
-
アクセスエントリ – ロール arn で作成されたエントリ。アクセスエントリをアクセスポリシーにリンクして、Amazon EKS クラスターに特定のアクセス許可を割り当てることができます。
-
EKS アクセスエントリ統合仮想クラスター – Amazon EKS のアクセスエントリ API オペレーションを使用して作成された仮想クラスター。
aws-auth を使用してクラスターアクセスを有効にする
Amazon EMR on EKS がクラスターで特定の名前空間にアクセスできるようにする必要があります。これを行うには、Kubernetes ロールを作成し、そのロールを Kubernetes ユーザーにバインドして、Kubernetes ユーザーをサービスにリンクされたロール AWSServiceRoleForAmazonEMRContainers にマッピングします。これらのアクションは、IAM ID マッピングコマンドがサービス名として emr-containers と共に使用されると、eksctl で自動的に行われます。これらの操作は、次のコマンドを使用して簡単に実行できます。
eksctl create iamidentitymapping \ --clustermy_eks_cluster\ --namespacekubernetes_namespace\ --service-name "emr-containers"
my_eks_cluster は使用する Amazon EKS クラスターの名前に置き換え、kubernetes_namespace は Amazon EMR ワークロードを実行するために作成された Kubernetes 名前空間に置き換えます。
重要
この機能を使用するには、前のステップである kubectl と eksctl の設定を使用して最新の eksctl をダウンロードする必要があります。
Amazon EMR on EKS のクラスターアクセスを有効にするための手動ステップ
次の手動ステップを使用して、Amazon EMR on EKS のクラスターアクセスを有効にすることもできます。
-
特定の名前空間に Kubernetes ロールを作成する
-
名前空間にスコープが設定された Kubernetes ロールバインディングを作成する
次のコマンドを実行して、特定の名前空間に Kubernetes ロールバインディングを作成します。このロールバインディングは、前のステップで作成したロールに定義されたアクセス許可を、
emr-containersという名前のユーザーに付与します。このユーザーにより、Amazon EMR on EKS のサービスにリンクされたロールが特定されるため、Amazon EMR on EKS は作成したロールによって定義されているとおりにアクションを実行できます。namespace=my-namespacecat - <<EOF | kubectl apply -f - --namespace "${namespace}" apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: emr-containers namespace: ${namespace} subjects: - kind: User name: emr-containers apiGroup: rbac.authorization.k8s.io roleRef: kind: Role name: emr-containers apiGroup: rbac.authorization.k8s.io EOF -
Kubernetes
aws-auth設定マップを更新する次のいずれかのオプションを使用して、Amazon EMR on EKS のサービスにリンクされたロールを、前のステップで Kubernetes ロールにバインドされた
emr-containersユーザーにマップできます。オプション 1:
eksctlを使用する次の
eksctlコマンドを実行して、Amazon EMR on EKS のサービスにリンクされたロールをemr-containersユーザーにマップします。eksctl create iamidentitymapping \ --clustermy-cluster-name\ --arn "arn:aws:iam::my-account-id:role/AWSServiceRoleForAmazonEMRContainers" \ --username emr-containersオプション 2: eksctl を使用しない
-
次のコマンドを実行して、テキストエディタで
aws-auth設定マップを開きます。kubectl edit -n kube-system configmap/aws-auth注記
Error from server (NotFound): configmaps "aws-auth" not foundというエラーを受け取った場合、「Amazon EKS ユーザーガイド」のユーザーロールの追加の手順を参照して、ストック ConfigMap を適用してください。 -
Amazon EMR on EKS のサービスにリンクされたロールの詳細を、
dataの下のConfigMapのmapRolesセクションに追加します。ファイルに存在しない場合は、このセクションを追加します。データの下で更新されたmapRolesセクションは、次の例のようになります。apiVersion: v1 data: mapRoles: | - rolearn: arn:aws:iam::<your-account-id>:role/AWSServiceRoleForAmazonEMRContainers username: emr-containers - ... <other previously existing role entries, if there's any>. -
ファイルを保存し、テキストエディタを終了します。
-