EKS Pod Identity를 사용해야 하는 이유는 무엇인가요?Pod Identity 고려 사항 EKS 클러스터에서 EKS Pod Identity 준비 작업 실행 역할 생성 EKS Pod Identity 연결 설정 역할 연결 삭제 기존 IRSA를 Pod Identity로 자동 마이그레이션 문제 해결

옵션 1: EKS 클러스터에서 EKS Pod Identity 활성화

Amazon EKS Pod Identity는 Amazon EC2 인스턴스 프로필이 Amazon EC2 인스턴스에 자격 증명을 제공하는 것과 비슷한 방식으로 애플리케이션에 대한 자격 증명을 관리하는 기능을 제공합니다. Amazon EKS Pod Identity는 추가 EKS Auth API와 각 노드에서 실행되는 에이전트 포드를 통해 워크로드에 보안 인증 정보를 제공합니다.

Amazon EMR on EKS는 emr-7.3.0 릴리스부터 StartJobRun 제출 모델에 대해 EKS 포드 ID를 지원하기 시작했습니다.

EKS Pod Identity에 대한 자세한 내용은 EKS Pod Identity의 작동 방식 이해를 참조하세요.

EKS Pod Identity를 사용해야 하는 이유는 무엇인가요?

EMR 설정의 일환으로 작업 실행 역할은 IAM 역할과 특정 네임스페이스(EMR 가상 클러스터)의 서비스 계정 간에 신뢰 경계를 설정합니다. IRSA를 사용하면 EMR 작업 실행 역할의 신뢰 정책을 업데이트하여 이를 수행할 수 있습니다. 그러나 IAM 신뢰 정책 길이의 4096자 하드 제한으로 인해 최대 열두(12개) EKS 클러스터에서 단일 작업 실행 IAM 역할을 공유하는 제약이 있었습니다.

포드 ID에 대한 EMR의 지원을 통해 이제 EKS 팀이 EKS 포드 ID의 연결 API를 통해 IAM 역할과 서비스 계정 간의 신뢰 경계를 관리합니다.

참고

EKS Pod Identity의 보안 경계는 포드 수준이 아니라 서비스 계정 수준에 위치합니다.

Pod Identity 고려 사항

Pod Identity 제한 사항에 대한 자세한 내용은 EKS Pod Identity 고려 사항을 참조하세요.

EKS 클러스터에서 EKS Pod Identity 준비

필수 권한이 NodeInstanceRole에 있는지 확인

노드 역할 NodeInstanceRole에는 에이전트가 EKS 인증 API에서 AssumeRoleForPodIdentity 작업을 수행할 수 있는 권한이 필요합니다. Amazon EKS 사용 설명서에 정의된 AmazonEKSWorkerNodePolicy에 다음을 추가하거나 사용자 지정 정책을 사용할 수 있습니다.

EKS 클러스터가 0.181.0보다 높은 eksctl 버전으로 생성된 경우, 필요한 AssumeRoleForPodIdentity 권한을 포함한 AmazonEKSWorkerNodePolicy가 노드 역할에 자동으로 첨부됩니다. 권한이 없는 경우 Pod Identity에 대한 역할 인계를 허용하는 다음 권한을 AmazonEKSWorkerNodePolicy에 수동으로 추가합니다. 이 권한은 EKS Pod Identity 에이전트가 포드의 자격 증명을 검색하는 데 필요합니다.

EKS Pod Identity 에이전트 추가 기능 만들기

다음 명령을 사용하여 EKS Pod Identity Agent 추가 기능을 최신 버전으로 생성합니다.


aws eks create-addon --cluster-name cluster-name --addon-name eks-pod-identity-agent

kubectl get pods -n kube-system | grep 'eks-pod-identity-agent'

다음 단계를 사용하여 Amazon EKS 콘솔에서 EKS Pod Identity Agent 추가 기능을 생성합니다.

Amazon EKS 콘솔에서 Amazon EKS 콘솔을 엽니다.
왼쪽 탐색 창에서 클러스터를 선택한 다음 EKS Pod Identity 에이전트 추가 기능을 구성할 클러스터의 이름을 선택합니다.
추가 기능 탭을 선택합니다.
추가 기능 더 가져오기를 선택합니다.
EKS Pod Identity 에이전트 추가 기능 상자의 오른쪽 상단에 있는 상자를 선택하고 다음을 선택합니다.
선택한 추가 기능 설정 구성 페이지의 버전 드롭다운 목록에서 임의의 버전을 선택합니다.
(선택사항) 선택적 구성 설정을 확장하여 추가 구성을 입력합니다. 예를 들어, 대체 컨테이너 이미지 위치 및 ImagePullSecrets를 제공할 수 있습니다. 허용된 키가 포함된 JSON Schema는 추가 기능 구성 스키마에 표시됩니다.

구성 값에 구성 키와 값을 입력합니다.
다음을 선택합니다.
CLI를 통해 에이전트 포드가 클러스터에서 실행 중인지 확인합니다.

kubectl get pods -n kube-system | grep 'eks-pod-identity-agent'

예시 출력은 다음과 같습니다.


NAME                              READY   STATUS    RESTARTS      AGE
eks-pod-identity-agent-gmqp7      1/1     Running   1 (24h ago)   24h
eks-pod-identity-agent-prnsh      1/1     Running   1 (24h ago)   24h

이 작업을 수행하면 kube-system 네임스페이스에 새 DaemonSet가 설정됩니다. 각 EKS 노드에서 실행되는 Amazon EKS Pod Identity 에이전트는 AssumeRoleForPodIdentity 작업을 사용하여 EKS Auth API에서 임시 자격 증명을 검색합니다. 그런 다음 이러한 자격 증명을 컨테이너 내에서 실행하는 AWS SDK에 사용할 수 있습니다.

자세한 내용은 퍼블릭 문서의 사전 조건인 Amazon EKS Pod Identity Agent 설정을 참조하세요.

작업 실행 역할 생성

EKS Pod Identity를 허용하는 작업 실행 역할 만들기 또는 업데이트

Amazon EMR를 사용하여 EKS에서 워크로드를 실행하려면 IAM 역할을 생성해야 합니다. 이 설명서에서는 이 역할을 작업 실행 역할이라고 합니다. IAM 역할 생성에 대한 자세한 내용은 사용 설명서에서 IAM 역할 생성을 참조하세요.

또한 작업 실행 역할에 필요한 권한을 지정하는 IAM 정책을 생성한 다음이 정책을 역할에 연결하여 EKS Pod Identity를 활성화합니다.

예를 들어, 다음과 같은 작업 실행 역할이 있습니다. 자세한 내용은 작업 실행 역할 만들기를 참조하세요.


arn:aws:iam::111122223333:role/PodIdentityJobExecutionRole

중요

Amazon EMR on EKS는 작업 실행 역할 이름을 기반으로 Kubernetes 서비스 계정을 자동으로 생성합니다. cluster_name, pod_name 및 service_account_name의 조합이 길이 제한을 초과할 경우 작업이 실패할 수 있으므로 역할 이름이 너무 길지 않은지 확인합니다.

작업 실행 역할 구성 - 작업 실행 역할이 EKS Pod Identity에 대한 아래 신뢰 권한으로 생성되었는지 확인합니다. 기존 작업 실행 역할을 업데이트하려면 다음 EKS 서비스 보안 주체를 신뢰 정책의 추가 권한으로 신뢰하도록 구성합니다. 이 신뢰 권한은 기존 IRSA 신뢰 정책과 함께 사용할 수 있습니다.


cat >trust-relationship.json <<EOF
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "AllowEksAuthToAssumeRoleForPodIdentity",
            "Effect": "Allow",
            "Principal": {
                "Service": "pods.eks.amazonaws.com"
            },
            "Action": [
                "sts:AssumeRole",
                "sts:TagSession"
            ]
        }
    ]
}
EOF

사용자 권한: 사용자에게는 StartJobRun API 호출을 실행하거나 작업을 제출할 수 있는 iam:PassRole 권한이 필요합니다. 이 권한을 통해 사용자는 작업 실행 역할을 EMR on EKS에 전달할 수 있습니다. 기본적으로 작업 관리자에게는 권한이 있어야 합니다.

사용자에게 필요한 권한은 다음과 같습니다.


{
    "Effect": "Allow",
    "Action": "iam:PassRole",
    "Resource": "arn:aws:iam::111122223333:role/PodIdentityJobExecutionRole",
    "Condition": {
        "StringEquals": {
            "iam:PassedToService": "pods.eks.amazonaws.com"
        }
    }
}

특정 EKS 클러스터에 대한 사용자 액세스를 추가적으로 제한하려면 IAM 정책에 AssociatedResourceArn 속성 필터를 추가합니다. 역할 가정을 승인된 EKS 클러스터로 제한하여 리소스 수준 보안 제어를 강화합니다.


"Condition": {
        "ArnLike": {
            "iam:AssociatedResourceARN": [
                "arn:aws:eks:us-west-2:111122223333:cluster/*"
            ]
        }

EKS Pod Identity 연결 설정

전제 조건

EKS 관리자 사용자와 같은 Pod Identity 연결을 생성하는 IAM 자격 증명에 eks:CreatePodIdentityAssociation 및 iam:PassRole 권한이 있는지 확인합니다.

역할 및 EMR 서비스 계정에 대한 연결 생성

Create EMR role associations through the AWS CLI

작업을 Kubernetes 네임스페이스에 제출할 때 관리자는 작업 실행 역할과 EMR 관리형 서비스 계정의 자격 증명 간에 연결을 생성합니다. 단, EMR 관리형 서비스 계정은 작업 제출 시 자동으로 생성되며 작업이 제출된 네임스페이스로 범위가 지정됩니다.

AWS CLI(버전 2.24.0 이상)에서 다음 명령을 실행하여 Pod Identity의 역할 연결을 생성합니다.

다음 명령을 실행하여 Pod Identity와 역할 연결을 생성합니다.


aws emr-containers create-role-associations \
        --cluster-name mycluster \
        --namespace mynamespace \
        --role-name JobExecutionRoleIRSAv2

참고:

각 클러스터에는 1,000개의 연결 제한이 있을 수 있습니다. 각 작업 실행 역할 - 네임스페이스 매핑에는 작업 제출자, 드라이버 및 실행기 포드에 대한 3개의 연결이 필요합니다.
클러스터와 동일한 AWS 계정에 있는 역할만 연결할 수 있습니다. EKS Pod Identity가 사용하도록 구성한 이 계정의 역할에 다른 계정의 액세스 권한을 위임할 수 있습니다. 액세스 위임 및 AssumeRole에 대한 튜토리얼은 IAM 튜토리얼: IAM 역할을 사용하여 AWS 계정 간 액세스 권한 위임을 참조하세요.

Create EMR role associations through Amazon EKS

EMR은 작업이 제출될 때 특정 명명 패턴이 있는 서비스 계정을 생성합니다. 수동으로 연결하거나 이 워크플로를 AWS SDK와 통합하려면 다음 단계를 따르세요.

구문 서비스 계정 이름:


emr-containers-sa-spark-%(SPARK_ROLE)s-%(AWS_ACCOUNT_ID)s-%(BASE36_ENCODED_ROLE_NAME)s

아래 예제에서는 샘플 작업 실행 역할 JobExecutionRoleIRSAv2의 역할 연결을 생성합니다.

역할 연결 예제:


RoleName: JobExecutionRoleIRSAv2
Base36EncodingOfRoleName: 2eum5fah1jc1kwyjc19ikdhdkdegh1n26vbe

CLI 명령 예-


# setup for the client service account (used by job runner pod)
# emr-containers-sa-spark-client-111122223333-2eum5fah1jc1kwyjc19ikdhdkdegh1n26vbe
aws eks create-pod-identity-association --cluster-name mycluster --role-arn arn:aws:iam::111122223333:role/JobExecutionRoleIRSAv2 --namespace mynamespace --service-account emr-containers-sa-spark-client-111122223333-2eum5fah1jc1kwyjc19ikdhdkdegh1n26vbe

# driver service account
# emr-containers-sa-spark-driver-111122223333-2eum5fah1jc1kwyjc19ikdhdkdegh1n26vbe        
aws eks create-pod-identity-association --cluster-name mycluster --role-arn arn:aws:iam::111122223333:role/JobExecutionRoleIRSAv2 --namespace mynamespace --service-account emr-containers-sa-spark-driver-111122223333-2eum5fah1jc1kwyjc19ikdhdkdegh1n26vbe

# executor service account
# emr-containers-sa-spark-executor-111122223333-2eum5fah1jc1kwyjc19ikdhdkdegh1n26vbe
aws eks create-pod-identity-association --cluster-name mycluster --role-arn arn:aws:iam::111122223333:role/JobExecutionRoleIRSAv2 --namespace mynamespace --service-account emr-containers-sa-spark-executor-111122223333-2eum5fah1jc1kwyjc19ikdhdkdegh1n26vbe

EKS Pod Identity에 필요한 모든 단계를 완료한 후에는 IRSA 설정에서 다음 단계를 건너뛸 수 있습니다.

사용자에게 Amazon EMR on EKS에 대한 액세스 권한 부여 단계로 직접 건너뛸 수 있습니다.

역할 연결 삭제

가상 클러스터 또는 작업 실행 역할을 삭제하고 더 이상 서비스 계정에 EMR에 대한 액세스 권한을 부여하지 않으려는 경우 해당 역할에 대한 연결을 삭제합니다. 그 이유는 EKS가 존재하지 않는 리소스(네임스페이스 및 서비스 계정)와의 연결을 허용하기 때문입니다. Amazon EMR on EKS는 네임스페이스가 삭제되거나 역할이 더 이상 사용되지 않는 경우 연결을 삭제하여 다른 연결을 위한 공간을 확보할 것을 권장합니다.

참고

EKS에는 생성할 수 있는 연결 수에 제한이 있으므로(소프트 제한: 클러스터당 연결 1,000개), 연결을 삭제하지 않으면 잔여 연결이 확장 기능에 영향을 미칠 수 있습니다. 지정된 네임스페이스에 Pod Identity 연결을 나열하여 정리해야 하는 잔여 연결이 있는지 확인할 수 있습니다.


aws eks list-pod-identity-associations --cluster-name mycluster --namespace mynamespace

AWS CLI(버전 2.24.0 이상)에서 다음 emr-containers 명령을 실행하여 EMR의 역할 연결을 삭제합니다.


aws emr-containers delete-role-associations \
        --cluster-name mycluster \
        --namespace mynamespace \
        --role-name JobExecutionRoleIRSAv2

기존 IRSA를 Pod Identity로 자동 마이그레이션

eksctl 도구를 사용하여 서비스 계정에 대한 기존 IAM 역할(IRSA)을 Pod Identity 연결로 마이그레이션할 수 있습니다.


eksctl utils migrate-to-pod-identity \
    --cluster mycluster \
    --remove-oidc-provider-trust-relationship \
    --approve

--approve 플래그를 지정하지 않고 명령을 실행하면 마이그레이션 단계를 반영하는 계획만 출력되며 실제 마이그레이션이 발생하지 않습니다.

문제 해결

자격 증명 공급자에 대한 NoClassDefinitionFound 또는 ClassNotFound 예외로 인해 작업이 실패했거나 자격 증명 공급자를 가져오지 못했습니다.

EKS Pod Identity는 컨테이너 자격 증명 공급자를 사용하여 필요한 자격 증명을 검색합니다. 사용자 지정 자격 증명 공급자를 지정한 경우 올바르게 작동하는지 확인합니다. 또는 EKS Pod Identity를 지원하는 올바른 AWS SDK 버전을 사용하고 있는지 확인합니다. 자세한 내용은 Amazon EKS 시작하기를 참조하세요.

eks-pod-identity-agent 로그에 표시된 "[x] 크기 제한으로 인해 자격 증명을 검색하지 못함" 오류로 인해 작업이 실패했습니다.

EMR on EKS는 Kubernetes 서비스 계정을 작업 실행 역할 이름을 기반으로 생성합니다. 역할 이름이 너무 길면 , cluster_name pod_name 및 service_account_name의 조합이 길이 제한을 초과하기 때문에 EKS Auth가 자격 증명을 검색할 수 없습니다. 공간을 가장 많이 차지하는 구성 요소를 식별하고 그에 따라 크기를 조정합니다.

eks-pod-identity 로그에 표시된 "xxx 자격 증명 검색에 실패했습니다." 오류로 인해 작업이 실패했습니다.

이 문제의 한 가지 가능한 원인은 클러스터에 대해 PrivateLink를 올바르게 구성하지 않고 프라이빗 서브넷에 EKS 클러스터가 구성되어 있기 때문일 수 있습니다. 클러스터가 프라이빗 네트워크에 있는지 확인하고 문제를 해결할 수 있도록 AWS PrivateLink를 구성합니다. 자세한 지침은 Amazon EKS 시작하기를 참조하세요.

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

EKS 클러스터에 IAM 역할 활성화

옵션 2: EKS 클러스터에서 서비스 계정에 대한 IAM 역할(IRSA) 활성화