기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다. # Amazon EMR과 Apache Ranger 통합 Amazon EMR 5.32.0부터 Apache Ranger와 기본적으로 통합되는 클러스터를 시작할 수 있습니다. Apache Ranger는 Hadoop 플랫폼 전반에서 포괄적인 데이터 보안을 지원, 모니터링 및 관리할 수 있는 오픈 소스 프레임워크입니다. 자세한 내용은 [Apache Ranger](https://ranger.apache.org/)를 참조하세요. 기본 통합을 통해 자체 Apache Ranger를 이용해 Amazon EMR에서 세분화된 데이터 액세스 제어를 적용할 수 있습니다. 이 섹션에서는 Amazon EMR과 Apache Ranger의 통합에 대한 개념적 개요를 제공합니다. 또한 Apache Ranger와 통합된 Amazon EMR 클러스터를 시작하는 데 필요한 필수 조건과 단계도 포함합니다. Amazon EMR을 Apache Ranger와 기본적으로 통합하면 다음과 같은 주요 이점을 얻을 수 있습니다. + Hive Metastore 데이터베이스 및 테이블에 대한 세분화된 액세스 제어를 통해 Apache Spark 및 Apache Hive 애플리케이션에 대한 데이터베이스, 테이블 및 열 수준에서 데이터 필터링 정책을 정의할 수 있습니다. 행 수준 필터링 및 데이터 마스킹은 Hive 애플리케이션에서 지원됩니다. + Hive 애플리케이션용 Amazon EMR에서 기존 Hive 정책을 직접 사용할 수 있습니다. + 접두사 및 객체 수준에서 Amazon S3 데이터에 대한 액세스를 제어합니다. 이를 통해 EMR 파일 시스템을 사용하여 S3 데이터에 액세스할 때 데이터 필터링 정책을 정의할 수 있습니다. + CloudWatch Logs를 사용하여 중앙 집중식 감사를 수행할 수 있습니다. + Amazon EMR은 사용자를 대신하여 Apache Ranger 플러그인을 설치하고 관리합니다. # Amazon EMR을 사용하는 Apache Ranger Apache Ranger는 Hadoop 플랫폼 전반에서 포괄적인 데이터 보안을 지원, 모니터링 및 관리할 수 있는 프레임워크입니다. Apache Ranger는 다음과 같은 기능을 제공합니다. + 중앙 UI에서 또는 REST API를 사용하여 모든 보안 관련 작업을 관리하기 위한 중앙 집중식 보안 관리. + Hadoop 구성 요소 또는 도구를 사용하여 특정 작업을 수행할 수 있는 세분화된 권한 부여. 이는 중앙 관리 도구를 통해 관리됩니다. + 모든 Hadoop 구성 요소에 대한 표준화된 권한 부여 방법. + 다양한 권한 부여 방법에 대한 개선된 지원. + Hadoop의 모든 구성 요소 내에서 사용자 액세스 및 관리 작업(보안 관련)에 대한 중앙 집중식 감사. Apache Ranger는 권한 부여를 위해 두 가지 주요 구성 요소를 사용합니다. + **Apache Ranger 정책 관리 서버** - 이 서버를 사용하여 Hadoop 애플리케이션에 대한 권한 부여 정책을 정의할 수 있습니다. Amazon EMR과 통합하면 Apache Spark 및 Hive에서 Hive 메타스토어에 액세스할 때, 그리고 Amazon S3 데이터 [EMR 파일 시스템(EMRFS)](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-fs)에 액세스할 때 정책을 정의하고 적용할 수 있습니다. 새 Apache Ranger 정책 관리 서버를 설정하거나 기존 Apache Ranger 정책 관리 서버를 사용하여 Amazon EMR과 통합할 수 있습니다. + **Apache Ranger 플러그인** - 이 플러그인은 Apache Ranger 정책 관리 서버에 정의된 권한 부여 정책을 기준으로 사용자의 액세스를 검증합니다. Amazon EMR은 Apache Ranger 구성에서 선택한 각 Hadoop 애플리케이션에 대해 Apache Ranger 플러그인을 자동으로 설치하고 구성합니다. **Topics** + [Amazon EMR과 Apache Ranger의 통합 아키텍처](emr-ranger-architecture.md) + [Apache Ranger에서 사용할 Amazon EMR 구성 요소](emr-ranger-components.md) # Amazon EMR과 Apache Ranger의 통합 아키텍처 ![\[Amazon EMR 및 Apache Ranger 아키텍처 다이어그램.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/emr-ranger-architecture.png) # Apache Ranger에서 사용할 Amazon EMR 구성 요소 Amazon EMR을 사용하면 다음 구성 요소를 통해 Apache Ranger에서 세분화된 액세스 제어를 지원합니다. Apache Ranger 플러그인을 사용한 이러한 Amazon EMR 구성 요소의 시각적 표현은 [아키텍처 다이어그램](emr-ranger-architecture.md)을 참조하세요. **Secret Agent** - Secret Agent는 암호를 안전하게 저장하고 다른 Amazon EMR 구성 요소 또는 애플리케이션에 암호를 배포합니다. 암호에는 임시 사용자 자격 증명, 암호화 키 또는 Kerberos 티켓이 포함될 수 있습니다. Secret Agent는 클러스터의 모든 노드에서 실행되며 인스턴스 메타데이터 서비스에 대한 직접 호출을 가로챘습니다. 인스턴스 프로파일 역할 보안 인증에 대한 요청과 관련하여 Secret Agent는 EMRFS S3 Ranger 플러그인으로 요청을 승인한 후 요청하는 사용자 및 요청된 리소스에 따라 보안 인증을 제공합니다. Secret Agent는 *`emrsecretagent`* 사용자로 실행되고 /emr/secretagent/log 디렉터리에 로그를 씁니다. 이 프로세스는 특정 `iptables` 규칙 세트를 사용하여 작동합니다. `iptables`를 비활성화하지 않는 것이 중요합니다. `iptables` 구성을 사용자 지정하는 경우 NAT 테이블 규칙을 보존하고 변경하지 않아야 합니다. **EMR Record Server** - Record Server는 Spark에서 데이터 액세스 요청을 수신합니다. 그런 다음 요청된 리소스를 Amazon EMR용 Spark Ranger 플러그인으로 전달하여 요청을 승인합니다. Record Server는 Amazon S3에서 데이터를 읽고 Ranger 정책에 따라 사용자에게 액세스 권한이 부여된 필터링된 데이터를 반환합니다. Record Server는 emr\$1record\$1server 사용자로 클러스터의 모든 노드에서 실행되며 /var/log/emr-record-server 디렉터리에 로그를 기록합니다. # Amazon EMR을 Apache Ranger와 함께 사용하기 위한 고려 사항 ## Amazon EMR에서 Apache Ranger를 지원하는 애플리케이션 EMR이 Ranger 플러그인을 설치하는 Amazon EMR과 Apache Ranger 간 통합은 현재 다음과 같은 애플리케이션을 지원합니다. + Apache Spark(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) + Apache Hive(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) + EMRFS를 통한 S3 액세스(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) 다음 애플리케이션을 EMR 클러스터에 설치할 수 있으며 보안 요구 사항에 맞게 구성해야 할 수 있습니다. + Apache Hadoop(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능, YARN 및 HDFS 포함) + Apache Livy(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) + Apache Zeppelin(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) + Apache Hue(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) + Ganglia(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) + HCatalog(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) + Mahout(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) + MXNet(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) + TensorFlow(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) + Tez(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) + Trino(EMR 6.7 이상에서 사용 가능) + ZooKeeper(EMR 5.32 이상 및 EMR 6.3 이상에서 사용 가능) **중요** 위에 나열된 애플리케이션은 현재 지원되는 유일한 애플리케이션입니다. 클러스터 보안을 위해 Apache Ranger가 활성화된 경우 위 목록에 있는 애플리케이션만 사용하여 EMR 클러스터를 생성할 수 있습니다. 다른 애플리케이션은 현재 지원되지 않습니다. 다른 애플리케이션을 설치하려고 하면 클러스터 보안을 위해 클러스터가 거부될 수 있습니다. AWS Apache Hudi, Delta Lake, Apache Iceberg와 같은 Glue Data Catalog 및 Open 테이블 형식은 지원되지 않습니다. **Apache Ranger를 지원하는 Amazon EMR 기능** Amazon EMR을 Apache Ranger와 함께 사용할 때 다음 Amazon EMR 기능을 지원합니다. + 저장 데이터 및 전송 데이터 암호화 + Kerberos 인증(필수) + 인스턴스 그룹, 인스턴스 플릿, 스팟 인스턴스 + 실행 중인 클러스터에서 애플리케이션 재구성 + EMRFS 서버 측 암호화(SSE) **참고** Amazon EMR 암호화 설정에서 SSE를 관리합니다. 자세한 내용은 [암호화 옵션](emr-data-encryption-options.md)을 참조하세요. ## 애플리케이션 제한 사항 Amazon EMR과 Apache Ranger를 통합할 때는 다음과 같은 몇 가지 제한 사항을 염두에 두어야 합니다. + 현재 콘솔을 사용하여에서 AWS Ranger 통합 옵션을 지정하는 보안 구성을 생성할 수 없습니다 AWS GovCloud (US) Region. 보안 구성은 CLI를 사용하여 수행할 수 있습니다. + Kerberos는 클러스터에 설치되어 있어야 합니다. + YARN 리소스 관리자 UI, HDFS NameNode UI, Livy UI와 같은 애플리케이션 UI(사용자 인터페이스)는 기본적으로 인증을 사용해 설정되어 있지 않습니다. + HDFS 기본 권한 `umask`는 생성된 객체가 기본적으로 `world wide readable`로 설정되도록 구성됩니다. + Amazon EMR은 Apache Ranger에서 고가용성(다중 기본) 모드를 지원하지 않습니다. + 추가 제한 사항은 각 애플리케이션의 제한 사항을 참조하세요. **참고** Amazon EMR 암호화 설정에서 SSE를 관리합니다. 자세한 내용은 [암호화 옵션](emr-data-encryption-options.md)을 참조하세요. ## 플러그인 제한 사항 각 플러그인에는 특정 제한 사항이 있습니다. Apache Hive 플러그인의 제한 사항은 [Apache Hive 플러그인 제한 사항](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger-hive.html#emr-ranger-hive-limitations)을 참조하세요. Apache Spark 플러그인의 제한 사항은 [Apache Spark 플러그인 제한 사항](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger-spark.html#emr-ranger-spark-limitations)을 참조하세요. EMRFS S3 플러그인의 제한 사항은 [EMRFS S3 플러그인 제한 사항](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger-emrfs.html#emr-ranger-emrfs-limitations)을 참조하세요. # Apache Ranger에 대한 Amazon EMR 설정 Apache Ranger를 설치하기 전에 이 섹션의 정보를 검토하여 Amazon EMR이 제대로 구성되어 있는지 확인합니다. **Topics** + [Amazon EMR과 통합하도록 Ranger Admin 서버 설정](emr-ranger-admin.md) + [Apache Ranger와의 네이티브 통합을 위한 IAM 역할](emr-ranger-iam.md) + [EMR 보안 구성 생성](emr-ranger-security-config.md) + [에 TLS 인증서 저장 AWS Secrets Manager](emr-ranger-tls-certificates.md) + [Apache Ranger를 사용하여 EMR 클러스터 시작](emr-ranger-start-emr-cluster.md) + [Apache Ranger를 지원하는 Amazon EMR 클러스터를 위한 Zeppelin 구성](emr-ranger-configure-zeppelin.md) + [Amazon EMR 통합에 대해 알려진 문제](emr-ranger-security-considerations.md) # Amazon EMR과 통합하도록 Ranger Admin 서버 설정 Amazon EMR 통합의 경우 Apache Ranger 애플리케이션 플러그인은 TLS 및 SSL을 사용하여 관리 서버와 통신해야 합니다. **필수 조건: Ranger Admin 서버 SSL 지원** Amazon EMR의 Apache Ranger에는 플러그인과 Ranger Admin 서버 간 양방향 SSL 통신이 필요합니다. 플러그인이 SSL을 통해 Apache Ranger 서버와 통신하려면 Ranger Admin 서버의 ranger-admin-site.xml 내에서 다음 속성을 활성화합니다. ``` ranger.service.https.attrib.ssl.enabled true ``` 또한 다음 구성도 필요합니다. ``` ranger.https.attrib.keystore.file __ ranger.service.https.attrib.keystore.file __ ranger.service.https.attrib.keystore.pass __ ranger.service.https.attrib.keystore.keyalias ranger.service.https.attrib.clientAuth want ranger.service.https.port 6182 ``` # Amazon EMR과의 Apache Ranger 통합을 위한 TLS 인증서 Apache Ranger를 Amazon EMR과 통합하려면 Amazon EMR 노드에서 Ranger Admin 서버로의 트래픽을 TLS로 암호화하고 Ranger 플러그인이 양방향 상호 TLS 인증을 사용해 Apache Ranger 서버에 인증되어야 합니다. Amazon EMR 서비스에는 Ranger Admin 서버의 퍼블릭 인증서(이전 예제에서 지정함) 및 프라이빗 인증서가 필요합니다. **Apache Ranger 플러그인 인증서** Apache Ranger 플러그인 퍼블릭 TLS 인증서는 Apache Ranger Admin 서버에서 액세스할 수 있어야 플러그인 연결 시점을 검증할 수 있습니다. 이를 수행하는 세 가지 방법이 있습니다. **방법 1: Apache Ranger Admin 서버에서 트러스트 스토어 구성** ranger-admin-site.xml에서 다음 구성을 입력하여 트러스트 스토어를 구성합니다. ``` ranger.truststore.file ranger.truststore.password ``` **방법 2: Java cacerts 트러스트 스토어에 인증서 로드** Ranger Admin 서버의 JVM 옵션에 트러스트 스토어를 지정하지 않는 경우 플러그인 퍼블릭 인증서를 기본 cacerts 스토어에 넣을 수 있습니다. **방법 3: 트러스트 스토어 생성 및 JVM 옵션의 일부로 지정** `{RANGER_HOME_DIRECTORY}/ews/ranger-admin-services.sh` 내에서 `"-Djavax.net.ssl.trustStore="` 및 `"-Djavax.net.ssl.trustStorePassword="`를 포함하도록 `JAVA_OPTS`를 수정합니다. 예를 들어, 기존 JAVA\$1OPTS 뒤에 다음 줄을 추가합니다. ``` JAVA_OPTS=" ${JAVA_OPTS} -Djavax.net.ssl.trustStore=${RANGER_HOME}/truststore/truststore.jck -Djavax.net.ssl.trustStorePassword=changeit" ``` **참고** 사용자가 Apache Ranger Admin 서버에 로그인하여 실행 중인 프로세스를 확인할 수 있는 경우(예: `ps` 명령 사용) 이 사양은 트러스트 스토어 암호를 노출할 수 있습니다. **자체 서명된 인증서 사용** 자체 서명 인증서는 인증서로 권장되지 않습니다. 자체 서명 인증서는 취소할 수 없으며 자체 서명 인증서는 내부 보안 요구 사항을 준수하지 않을 수 있습니다. # Amazon EMR과의 Ranger 통합을 위한 서비스 정의 설치 서비스 정의는 Ranger Admin 서버에서 애플리케이션의 정책 속성을 설명하는 데 사용됩니다. 그런 다음 클라이언트가 다운로드할 수 있도록 정책을 정책 리포지토리에 저장합니다. 서비스 정의를 구성하려면 Ranger Admin 서버로 REST를 직접 호출해야 합니다. 다음 섹션에 필요한 API에 대해서는 [Apache Ranger PublicAPIsv2](https://ranger.apache.org/apidocs/resource_PublicAPIsv2.html#resource_PublicAPIsv2_createServiceDef_POST)를 참조하세요. **Apache Spark의 서비스 정의 설치** Apache Spark의 서비스 정의를 설치하려면 [Amazon EMR과 Ranger의 통합을 위한 Apache Spark 플러그인](emr-ranger-spark.md) 섹션을 참조하세요. **EMRFS 서비스 정의 설치** Amazon EMR용 S3 서비스 정의를 설치하려면 [Amazon EMR과 Ranger의 통합을 위한 EMRFS S3 플러그인](emr-ranger-emrfs.md) 섹션을 참조하세요. **Hive 서비스 정의 사용** Apache Hive는 Apache Ranger 2.0 이상과 함께 제공되는 기존 Ranger 서비스 정의를 사용할 수 있습니다. 자세한 내용은 [Amazon EMR과 Ranger의 통합을 위한 Apache Hive 플러그인](emr-ranger-hive.md) 단원을 참조하십시오. # Amazon EMR과 통합하기 위한 네트워크 트래픽 규칙 Apache Ranger가 EMR 클러스터와 통합되면 클러스터는 추가 서버 및 AWS와 통신해야 합니다. 코어 및 태스크 노드를 포함한 모든 Amazon EMR 노드는 Apache Ranger Admin 서버와 통신해야만 정책을 다운로드할 수 있어야 합니다. Apache Ranger Admin이 Amazon EC2에서 실행 중인 경우 EMR 클러스터에서 트래픽을 가져올 수 있도록 보안 그룹을 업데이트해야 합니다. Ranger Admin 서버와 통신하는 것 외에도 모든 노드는 다음 AWS 서비스와 통신할 수 있어야 합니다. + Amazon S3 + AWS KMS (EMRFS SSE-KMS를 사용하는 경우) + Amazon CloudWatch + AWS STS 프라이빗 서브넷 내에서 EMR 클러스터를 실행하려는 경우, *Amazon VPC 사용 설명서*에서 [AWS PrivateLink 및 VPC 엔드포인트](https://docs.aws.amazon.com/vpc/latest/userguide/endpoint-services-overview.html) 또는 *Amazon VPC 사용 설명서*에서 [Network Address Translation(NAT) 인스턴스](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_NAT_Instance.html)를 사용하여 이러한 서비스와 통신할 수 있도록 VPC를 구성합니다. # Apache Ranger와의 네이티브 통합을 위한 IAM 역할 Amazon EMR과 Apache Ranger 간 통합은 클러스터를 시작하기 전에 생성해야 하는 세 가지 주요 역할을 기반으로 합니다. + Amazon EMR에 대한 사용자 지정 Amazon EC2 인스턴스 프로파일 + Apache Ranger 엔진의 IAM 역할 + 다른 AWS 서비스에 대한 IAM 역할 이 섹션에서는 이러한 역할을 간단히 설명하고 각 IAM 역할에 포함해야 하는 정책을 살펴봅니다. 이러한 역할 생성에 대한 자세한 내용은 [Amazon EMR과 통합하도록 Ranger Admin 서버 설정](emr-ranger-admin.md) 섹션을 참조하세요. # Amazon EMR에서 EC2 인스턴스 프로파일 Amazon EMR은 IAM 서비스 역할을 사용하여 클러스터 프로비저닝 및 관리하는 작업을 자동으로 수행합니다. 클러스터 EC2 인스턴스의 서비스 역할(Amazon EMR에 대한 EC2 인스턴스 프로파일이라고도 함)은 시작할 때 클러스터의 모든 EC2 인스턴스에 할당되는 특별한 유형의 서비스 역할입니다. Amazon S3 데이터 및 Apache Ranger 및 기타 AWS 서비스로 보호되는 Hive 메타스토어와의 EMR 클러스터 상호 작용에 대한 권한을 정의하려면 클러스터를 시작할 `EMR_EC2_DefaultRole` 때 대신 사용할 사용자 지정 EC2 인스턴스 프로파일을 정의합니다. 자세한 내용은 [클러스터 EC2 인스턴스에 대한 서비스 역할(EC2 인스턴스 프로파일)](emr-iam-role-for-ec2.md) 및 [Amazon EMR을 사용하여 IAM 역할 사용자 지정](emr-iam-roles-custom.md) 섹션을 참조하세요. Amazon EMR이 TLS 인증서를 저장하는 세션에 태그를 지정하고 AWS Secrets Manager 에 액세스할 수 있도록 기본 EC2 인스턴스 프로파일에 다음 문을 추가해야 합니다. ``` { "Sid": "AllowAssumeOfRolesAndTagging", "Effect": "Allow", "Action": ["sts:TagSession", "sts:AssumeRole"], "Resource": [ "arn:aws:iam:::role/", "arn:aws:iam:::role/" ] }, { "Sid": "AllowSecretsRetrieval", "Effect": "Allow", "Action": "secretsmanager:GetSecretValue", "Resource": [ "arn:aws:secretsmanager:::secret:*", "arn:aws:secretsmanager:::secret:*" ] } ``` **참고** Secrets Manager 권한의 경우, 보안 암호 이름 끝에 있는 와일드카드('\$1')를 잊지 마세요. 그렇지 않으면 요청이 실패합니다. 와일드카드는 보안 암호 버전을 나타냅니다. **참고** AWS Secrets Manager 정책의 범위를 프로비저닝에 필요한 인증서로만 제한합니다. # Apache Ranger의 IAM 역할 이 역할은 Apache Hive 및 Amazon EMR Record Server와 같은 신뢰할 수 있는 실행 엔진이 Amazon S3 데이터에 액세스할 수 있도록 보안 인증을 제공합니다. S3 SSE-KMS를 사용하는 경우 KMS 키를 포함하여 Amazon S3 데이터에 액세스하는 데에만 이 역할을 사용합니다. 이 역할은 다음 예제에 명시된 최소 정책으로 생성되어야 합니다. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "CloudwatchLogsPermissions", "Action": [ "logs:CreateLogGroup", "logs:CreateLogStream", "logs:PutLogEvents" ], "Effect": "Allow", "Resource": [ "arn:aws:logs:*:123456789012:log-group:CLOUDWATCH_LOG_GROUP_NAME_IN_SECURITY_CONFIGURATION:*" ] }, { "Sid": "BucketPermissionsInS3Buckets", "Action": [ "s3:CreateBucket", "s3:DeleteBucket", "s3:ListAllMyBuckets", "s3:ListBucket" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::amzn-s3-demo-bucket1", "arn:aws:s3:::amzn-s3-demo-bucket2" ] }, { "Sid": "ObjectPermissionsInS3Objects", "Action": [ "s3:GetObject", "s3:DeleteObject", "s3:PutObject" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::amzn-s3-demo-bucket1/*", "arn:aws:s3:::amzn-s3-demo-bucket2/*" ] } ] } ``` ------ **중요** 로그 스트림에 쓰기 권한을 부여하려면 CloudWatch 로그 리소스 끝에 별표 '\$1'를 포함해야 합니다. **참고** EMRFS 일관된 보기 또는 S3-SSE 암호화를 사용하는 경우 DynamoDB 테이블 및 KMS 키에 권한을 추가하여 실행 엔진이 해당 엔진과 상호 작용할 수 있도록 합니다. Apache Ranger의 IAM 역할은 EC2 인스턴스 프로파일 역할에서 수임합니다. 다음 예제를 사용하여 Apache Ranger에 대한 IAM 역할을 EC2 인스턴스 프로파일 역할에서 수임하도록 허용하는 신뢰 정책을 생성할 수 있습니다. ``` { "Sid": "", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam:::role/" }, "Action": ["sts:AssumeRole", "sts:TagSession"] } ``` # Amazon EMR 통합을 위한 다른 AWS 서비스에 대한 IAM 역할 이 역할은 신뢰할 수 없는 실행 엔진 사용자에게 필요한 경우 AWS 서비스와 상호 작용할 수 있는 자격 증명을 제공합니다. 모든 사용자가 액세스할 수 있어야 하는 데이터가 아니라면 이 IAM 역할을 사용하여 Amazon S3 데이터에 대한 액세스를 허용하지 않습니다. 이 역할은 EC2 인스턴스 프로파일 역할에서 수임합니다. 다음 예제를 사용하여 Apache Ranger에 대한 IAM 역할을 EC2 인스턴스 프로파일 역할에서 수임하도록 허용하는 신뢰 정책을 생성할 수 있습니다. ``` { "Sid": "", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam:::role/" }, "Action": ["sts:AssumeRole", "sts:TagSession"] } ``` # Apache Ranger와 Amazon EMR의 통합에 대한 권한 검증 권한 검증에 대한 지침은 [Apache Ranger 문제 해결](emr-ranger-troubleshooting.md) 섹션을 참조하세요. # EMR 보안 구성 생성 **Apache Ranger용 Amazon EMR 보안 구성 생성** Apache Ranger와 통합된 Amazon EMR 클러스터를 시작하기 전에 보안 구성을 생성합니다. ------ #### [ Console ] **AWS Ranger 통합 옵션을 지정하는 보안 구성을 생성하려면** 1. Amazon EMR 콘솔에서 **보안 구성**, **생성**을 선택합니다. 1. 보안 구성의 **이름**을 입력합니다. 클러스터를 생성할 때 이 이름을 사용하여 보안 구성을 지정합니다. 1. **AWS Ranger 통합** 아래에서 **Apache Ranger에서 관리하는 세분화된 액세스 제어 활성화**를 선택합니다. 1. 적용할 **Apache Ranger의 IAM 역할**을 선택합니다. 자세한 내용은 [Apache Ranger와의 네이티브 통합을 위한 IAM 역할](emr-ranger-iam.md) 단원을 참조하십시오. 1. 적용할 **다른 AWS 서비스의 IAM 역할**을 선택합니다. 1. 관리 서버의 Secrets Manager ARN 및 주소를 입력하여 Ranger Admin 서버에 연결하도록 플러그인을 구성합니다. 1. Ranger 플러그인을 구성할 애플리케이션을 선택합니다. 플러그인의 프라이빗 TLS 인증서가 포함된 Secret Manager ARN을 입력합니다. Apache Spark 또는 Apache Hive를 구성하지 않고 클러스터용 애플리케이션으로 선택한 경우 요청이 실패합니다. 1. 다른 보안 구성 옵션을 적절히 설정하고 **생성**을 선택합니다. 클러스터 전용 또는 외부 KDC를 사용하여 Kerberos 인증을 활성화해야 합니다. **참고** 현재 콘솔을 사용하여에서 AWS Ranger 통합 옵션을 지정하는 보안 구성을 생성할 수 없습니다 AWS GovCloud (US) Region. 보안 구성은 CLI를 사용하여 수행할 수 있습니다. ------ #### [ CLI ] **Apache Ranger 통합을 위한 보안 구성을 생성하는 방법** 1. 를 AWS 계정 ID``로 바꿉니다. 1. ``을 리소스가 있는 리전으로 바꿉니다. 1. `TicketLifetimeInHours`의 값을 지정하여 KDC에서 발급한 Kerberos 티켓이 유효한 기간을 결정합니다. 1. `AdminServerURL`에 대한 Ranger Admin 서버 주소를 지정합니다. ``` { "AuthenticationConfiguration": { "KerberosConfiguration": { "Provider": "ClusterDedicatedKdc", "ClusterDedicatedKdcConfiguration": { "TicketLifetimeInHours": 24 } } }, "AuthorizationConfiguration":{ "RangerConfiguration":{ "AdminServerURL":"https://__:6182", "RoleForRangerPluginsARN":"arn:aws:iam::__:role/__", "RoleForOtherAWSServicesARN":"arn:aws:iam::__:role/__", "AdminServerSecretARN":"arn:aws:secretsmanager:__:__:secret:__", "RangerPluginConfigurations":[ { "App":"Spark", "ClientSecretARN":"arn:aws:secretsmanager:__:__:secret:__", "PolicyRepositoryName":"" }, { "App":"Hive", "ClientSecretARN":"arn:aws:secretsmanager:__:__:secret:__", "PolicyRepositoryName":"" }, { "App":"EMRFS-S3", "ClientSecretARN":"arn:aws:secretsmanager:__:__:secret:__", "PolicyRepositoryName":"" }, { "App":"Trino", "ClientSecretARN":"arn:aws:secretsmanager:__:__:secret:__", "PolicyRepositoryName":"" } ], "AuditConfiguration":{ "Destinations":{ "AmazonCloudWatchLogs":{ "CloudWatchLogGroup":"arn:aws:logs::__:log-group:__" } } } } } } ``` PolicyRespositoryNames는 Apache Ranger Admin에 지정된 서비스 이름입니다. 다음 명령으로 Amazon EMR 보안 구성을 생성합니다. security-configuration을 원하는 이름으로 바꿉니다. 클러스터를 생성할 때 이 구성을 이름으로 선택합니다. ``` aws emr create-security-configuration \ --security-configuration file://./security-configuration.json \ --name security-configuration ``` ------ **추가 보안 기능 구성** Amazon EMR을 Apache Ranger와 안전하게 통합하려면 다음 EMR 보안 기능을 구성합니다. + 클러스터 전용 또는 외부 KDC를 사용하여 Kerberos 인증을 활성화합니다. 지침은 [Amazon EMR을 통한 인증에 Kerberos 사용](emr-kerberos.md) 섹션을 참조하세요. + (선택 사항) 전송 및 저장 데이터 암호화를 활성화합니다. 자세한 내용은 [Amazon EMR에 대한 암호화 옵션](emr-data-encryption-options.md) 단원을 참조하십시오. 자세한 내용은 [Amazon EMR의 보안](emr-security.md) 단원을 참조하십시오. # 에 TLS 인증서 저장 AWS Secrets Manager Amazon EMR 클러스터에 설치된 Ranger 플러그인과 Ranger Admin 서버는 TLS를 통해 통신하여 전송된 정책 데이터 및 기타 정보를 가로채더라도 읽을 수 없도록 해야 합니다. 또한 EMR은 플러그인이 자체 TLS 인증서를 제공하여 Ranger Admin 서버에 인증하고 양방향 TLS 인증을 수행하도록 요구합니다. 이 설정에서는 네 개의 인증서(프라이빗 및 퍼블릭 TLS 인증서의 2개 페어)를 생성해야 합니다. Ranger Admin 서버에 인증서를 설치하는 방법에 대한 지침은 [Amazon EMR과 통합하도록 Ranger Admin 서버 설정](emr-ranger-admin.md) 섹션을 참조하세요. 설정을 완료하려면 EMR 클러스터에 설치된 Ranger 플러그인에 두 개의 인증서, 즉 관리 서버의 퍼블릭 TLS 인증서와 플러그인이 Ranger Admin 서버에 대해 인증하는 데 사용할 프라이빗 인증서가 필요합니다. 이러한 TLS 인증서를 제공하려면에 AWS Secrets Manager 있고 EMR 보안 구성에 제공되어야 합니다. **참고** 플러그인 인증서 중 하나가 손상된 경우 피해를 제한하려면 각 애플리케이션에 대해 인증서 페어를 생성하는 것이 좋지만 필수는 아닙니다. **참고** 만료일 이전에 인증서를 추적하고 로테이션해야 합니다. ## 인증서 형식 인증서를 로 가져오는 AWS Secrets Manager 것은 프라이빗 플러그인 인증서인지 퍼블릭 Ranger 관리자 인증서인지에 관계없이 동일합니다. TLS 인증서를 가져오기 전에 인증서는 509x PEM 형식이어야 합니다. 퍼블릭 인증서 예제는 다음 형식을 사용합니다. ``` -----BEGIN CERTIFICATE----- ...Certificate Body... -----END CERTIFICATE----- ``` 프라이빗 인증서 예제는 다음 형식을 사용합니다. ``` -----BEGIN PRIVATE KEY----- ...Private Certificate Body... -----END PRIVATE KEY----- -----BEGIN CERTIFICATE----- ...Trust Certificate Body... -----END CERTIFICATE----- ``` 프라이빗 인증서는 신뢰 인증서도 포함해야 합니다. 다음 명령을 실행하여 인증서 형식이 올바른지 검증할 수 있습니다. ``` openssl x509 -in -text ``` ## 로 인증서 가져오기 AWS Secrets Manager Secrets Manager에서 보안 암호를 생성할 때, **보안 암호 유형**에서 **다른 유형의 보안 암호**를 선택하고 PEM으로 인코딩된 인증서를 **일반 텍스트** 필드에 붙여넣습니다. ![\[인증서를 가져오는 중입니다 AWS Secrets Manager.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-tls-cert-import.png) # Apache Ranger를 사용하여 EMR 클러스터 시작 Apache Ranger에서 Amazon EMR 클러스터를 시작하기 전에 각 구성 요소가 다음과 같은 최소 버전 요구 사항을 충족하는지 확인합니다. + Amazon EMR 5.32.0 이상 또는 6.3.0 이상. 최신 Amazon EMR 릴리스 버전을 사용하는 것이 좋습니다. + Apache Ranger Admin 서버 2.x. 다음 단계를 완료합니다. + Apache Ranger를 아직 설치하지 않았다면 설치합니다. 자세한 내용은 [Apache Ranger 0.5.0 installation](https://cwiki.apache.org/confluence/display/RANGER/Apache+Ranger+0.5.0+Installation)을 참조하세요. + Amazon EMR 클러스터와 Apache Ranger Admin 서버 사이에 네트워크 연결이 있는지 확인합니다. [Amazon EMR과 통합하도록 Ranger Admin 서버 설정](emr-ranger-admin.md) 섹션을 참조하세요 + 필요한 IAM 역할을 생성합니다. [Apache Ranger와의 네이티브 통합을 위한 IAM 역할](emr-ranger-iam.md)을(를) 참조하세요. + Apache Ranger 설치를 위한 EMR 보안 구성을 생성합니다. 자세한 내용은 [EMR 보안 구성 생성](emr-ranger-security-config.md) 섹션을 참조하세요. # Apache Ranger를 지원하는 Amazon EMR 클러스터를 위한 Zeppelin 구성 이 주제에서는 Zeppelin을 사용한 대화형 데이터 탐색을 위해 Apache Ranger 지원 Amazon EMR 클러스터에 대해 [Apache Zeppelin](https://zeppelin.apache.org/)을 구성하는 방법을 다룹니다. Zeppelin은 Amazon EMR 릴리스 버전 5.0.0 이상에 포함되어 있습니다. 이전 릴리스 버전에는 Zeppelin이 샌드박스 애플리케이션으로 포함되었습니다. 자세한 내용은 *Amazon EMR 릴리스 안내서*에서 [Amazon EMR 4.x 릴리스](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-4x.html)를 참조하세요. 기본적으로 Zeppelin은 기본 로그인 및 암호로 구성되어 있으며, 이는 멀티 테넌트 환경에서는 안전하지 않습니다. Zeppelin을 구성하려면 다음 단계를 수행합니다. 1. **인증 메커니즘을 수정합니다**. `shiro.ini` 파일을 수정하여 원하는 인증 메커니즘을 구현합니다. Zeppelin은 Active Directory, LDAP, PAM, Knox SSO를 지원합니다. 자세한 내용은 [Apache Shiro authentication for Apache Zeppelin](https://zeppelin.apache.org/docs/0.8.2/setup/security/shiro_authentication.html)을 참조하세요. 1. **최종 사용자를 위장하도록 Zeppelin 구성** Zeppelin이 최종 사용자를 위장하도록 허용하면 Zeppelin에서 제출한 작업을 해당 최종 사용자로 실행할 수 있습니다. `core-site.xml`에 구성 파일을 추가합니다. ``` [ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.zeppelin.hosts": "*", "hadoop.proxyuser.zeppelin.groups": "*" }, "Configurations": [ ] } ] ``` 그런 다음 `/etc/hadoop/conf`의 `hadoop-kms-site.xml`에 다음 구성을 추가합니다. ``` [ { "Classification": "hadoop-kms-site", "Properties": { "hadoop.kms.proxyuser.zeppelin.hosts": "*", "hadoop.kms.proxyuser.zeppelin.groups": "*" }, "Configurations": [ ] } ] ``` [콘솔에서 인스턴스 그룹 재구성](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html#emr-configure-apps-running-cluster-console)의 단계에 따라 콘솔을 사용하여 Amazon EMR 클러스터에 이러한 구성을 추가할 수도 있습니다. 1. **최종 사용자로 Zeppelin에서 sudo 허용** 다음이 포함된 `/etc/sudoers.d/90-zeppelin-user` 파일을 생성합니다. ``` zeppelin ALL=(ALL) NOPASSWD:ALL ``` 1. **사용자 작업을 자체 프로세스에서 실행하도록 인터프리터 설정을 수정합니다**. 모든 인터프리터에 대해 '격리된' 프로세스에서 '사용자별' 인터프리터를 인스턴스화하도록 구성합니다. ![\[Amazon EMR 및 Apache Ranger 아키텍처 다이어그램.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/per_user.png) 1. **`zeppelin-env.sh` 수정** Zeppelin이 최종 사용자로 인터프리터를 시작할 수 있도록 `zeppelin-env.sh`에 다음을 추가합니다. ``` ZEPPELIN_IMPERSONATE_USER=`echo ${ZEPPELIN_IMPERSONATE_USER} | cut -d @ -f1` export ZEPPELIN_IMPERSONATE_CMD='sudo -H -u ${ZEPPELIN_IMPERSONATE_USER} bash -c' ``` 기본 노트북 권한을 작성자의 읽기 전용으로 변경하도록 `zeppelin-env.sh`에 다음을 추가합니다. ``` export ZEPPELIN_NOTEBOOK_PUBLIC="false" ``` 마지막으로 첫 번째 `CLASSPATH` 문 뒤에 EMR RecordServer 클래스 경로를 포함하도록 `zeppelin-env.sh`에 다음을 추가합니다. ``` export CLASSPATH="$CLASSPATH:/usr/share/aws/emr/record-server/lib/aws-emr-record-server-connector-common.jar:/usr/share/aws/emr/record-server/lib/aws-emr-record-server-spark-connector.jar:/usr/share/aws/emr/record-server/lib/aws-emr-record-server-client.jar:/usr/share/aws/emr/record-server/lib/aws-emr-record-server-common.jar:/usr/share/aws/emr/record-server/lib/jars/secret-agent-interface.jar" ``` 1. **Zeppelin 다시 시작합니다.** Zeppelin을 다시 시작하려면 다음 명령을 실행합니다. ``` sudo systemctl restart zeppelin ``` # Amazon EMR 통합에 대해 알려진 문제 **알려진 문제** Amazon EMR 릴리스 5.32에는 보안 인증이 저장되어 있을 수 있으므로 권한이 있는 사용자만 읽을 수 있도록 `hive-site.xml`의 권한이 변경된 알려진 문제가 있습니다. 이로 인해 Hue가 `hive-site.xml`을 읽을 수 없고 웹 페이지가 계속 다시 로드될 수 있습니다. 이 문제가 발생하면 다음 구성을 추가하여 문제를 해결합니다. ``` [ { "Classification": "hue-ini", "Properties": {}, "Configurations": [ { "Classification": "desktop", "Properties": { "server_group":"hive_site_reader" }, "Configurations":[ ] } ] } ] ``` Apache Ranger용 EMRFS S3 플러그인이 현재 Apache Ranger의 보안 영역 기능을 지원하지 않는다는 알려진 문제가 있습니다. 보안 영역 기능을 사용하여 정의된 액세스 제어 제한은 Amazon EMR 클러스터에 적용되지 않습니다. **애플리케이션 UI** 기본적으로 애플리케이션 UI는 인증을 수행하지 않습니다. 여기에는 특히 ResourceManager UI, NodeManager UI, Livy UI가 포함됩니다. 또한 UI에 액세스할 수 있는 모든 사용자는 다른 모든 사용자의 작업에 대한 정보를 볼 수 있습니다. 이 동작을 원하지 않는 경우 보안 그룹을 사용하여 사용자의 애플리케이션 UI 액세스를 제한해야 합니다. **HDFS 기본 권한** 기본적으로 사용자가 HDFS에서 생성하는 객체에는 누구나 읽을 수 있는 권한이 부여됩니다. 이로 인해 데이터에 액세스할 수 없어야 하는 사용자가 데이터를 읽을 수 있습니다. 기본 파일 권한이 작업 작성자만 읽고 쓸 수 있도록 설정되도록 이 동작을 변경하려면 다음 단계를 수행합니다. EMR 클러스터를 생성할 때 다음 구성을 제공합니다. ``` [ { "Classification": "hdfs-site", "Properties": { "dfs.namenode.acls.enabled": "true", "fs.permissions.umask-mode": "077", "dfs.permissions.superusergroup": "hdfsadmingroup" } } ] ``` 또한 다음 부트스트랩 작업을 실행합니다. ``` --bootstrap-actions Name='HDFS UMask Setup',Path=s3://elasticmapreduce/hdfs/umask/umask-main.sh ``` # Amazon EMR 통합 시나리오를 위한 Apache Ranger 플러그인 Apache Ranger 플러그인은 Apache Ranger 정책 관리 서버에 정의된 권한 부여 정책을 기준으로 사용자 액세스를 검증합니다. **Topics** + [Amazon EMR과 Ranger의 통합을 위한 Apache Hive 플러그인](emr-ranger-hive.md) + [Amazon EMR과 Ranger의 통합을 위한 Apache Spark 플러그인](emr-ranger-spark.md) + [Amazon EMR과 Ranger의 통합을 위한 EMRFS S3 플러그인](emr-ranger-emrfs.md) + [Amazon EMR과 Ranger의 통합을 위한 Trino 플러그인](emr-ranger-trino.md) # Amazon EMR과 Ranger의 통합을 위한 Apache Hive 플러그인 Apache Hive는 Hadoop 에코시스템에서 널리 사용되는 실행 엔진입니다. Amazon EMR은 Hive에 대한 세분화된 액세스 제어를 제공할 수 있는 Apache Ranger 플러그인을 제공합니다. 플러그인은 오픈 소스 Apache Ranger Admin 서버 버전 2.0 이상과 호환됩니다. **Topics** + [지원되는 기능](#emr-ranger-supported-features) + [서비스 구성 설치](#emr-ranger-hive-service-config) + [고려 사항](#emr-ranger-hive-considerations) + [제한 사항](#emr-ranger-hive-limitations) ## 지원되는 기능 EMR의 Hive용 Apache Ranger 플러그인은 데이터베이스, 테이블, 열 수준 액세스 제어, 행 필터링 및 데이터 마스킹을 포함한 오픈 소스 플러그인의 모든 기능을 지원합니다. Hive 명령 및 관련 Ranger 권한 테이블은 [Hive commands to Ranger permission mapping](https://cwiki.apache.org/confluence/display/RANGER/Hive+Commands+to+Ranger+Permission+Mapping)을 참조하세요. ## 서비스 구성 설치 Apache Hive 플러그인은 Apache Hive Hadoop SQL 내 기존 Hive 서비스 정의와 호환됩니다. ![\[Hadoop SQL에 대한 Apache Hive 서비스 정의.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger_service_mgr.png) 위에 표시된 것처럼 Hadoop SQL에 서비스 인스턴스가 없는 경우 새로 생성할 수 있습니다. Hadoop SQL 옆의 **\$1**를 클릭합니다. 1. **서비스 이름(표시된 경우)**: 서비스 이름을 입력합니다. 제안된 값은 **amazonemrhive**입니다. 이 서비스 이름을 기록합니다. 이 이름은 EMR 보안 구성을 생성할 때 필요합니다. 1. **표시 이름**: 서비스에 표시할 이름을 입력합니다. 제안된 값은 **amazonemrhive**입니다. ![\[Hadoop SQL에 대한 Apache Hive 서비스 세부 정보.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger_create_service.png) Apache Hive 구성 속성은 정책을 생성할 때 자동 완성 기능을 구현하기 위해 HiveServer2를 사용하여 Apache Ranger Admin 서버에 연결하는 데 사용됩니다. 영구 HiveServer2 프로세스가 없고 어떤 정보로든 채울 수 있는 경우 아래 속성은 정확할 필요가 없습니다. + **사용자 이름**: HiveServer2 인스턴스의 인스턴스에 대한 JDBC 연결에 사용할 사용자 이름을 입력합니다. + **암호**: 위의 사용자 이름에 대한 암호를 입력합니다. + **jdbc.driver.ClassName**: Apache Hive 연결을 위한 JDBC 클래스의 클래스 이름을 입력합니다. 기본값을 사용할 수 있습니다. + **jdbc.url**: HiveServer2에 연결할 때 사용할 JDBC 연결 문자열을 입력합니다. + **인증서의 일반 이름:** 클라이언트 플러그인에서 관리 서버에 연결하는 데 사용되는 인증서 내 CN 필드. 이 값은 플러그인용으로 생성된 TLS 인증서의 CN 필드와 일치해야 합니다. ![\[Apache Hive 서비스 구성 속성.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger_config_props.png) **연결 테스트** 버튼은 위의 값을 사용하여 HiveServer2 인스턴스에 성공적으로 연결할 수 있는지 테스트합니다. 서비스가 성공적으로 생성되면 Service Manager는 다음과 같이 표시됩니다. ![\[HiveServer2 인스턴스에 연결됨\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger_config_connected.png) ## 고려 사항 **Hive 메타데이터 서버** Hive 메타데이터 서버는 무단 액세스로부터 보호하기 위해 신뢰할 수 있는 엔진, 특히 Hive 및 `emr_record_server`를 통해서만 액세스할 수 있습니다. 클러스터의 모든 노드는 Hive 메타데이터 서버에도 액세스할 수 있습니다. 필수 포트 9083은 기본 노드에 대한 액세스 권한을 모든 노드에 제공합니다. **Authentication** 기본적으로 Apache Hive는 EMR 보안 구성에 구성된 대로 Kerberos를 사용하여 인증하도록 구성됩니다. LDAP를 사용하여 사용자를 인증하도록 HiveServer2를 구성할 수도 있습니다. 자세한 내용은 [Implementing LDAP authentication for Hive on a multi-tenant Amazon EMR cluster](https://aws.amazon.com/blogs/big-data/implementing-ldap-authentication-for-hive-on-a-multi-tenant-amazon-emr-cluster/)를 참조하세요. ## 제한 사항 Amazon EMR 5.x의 Apache Hive 플러그인에 대한 현재 제한 사항은 다음과 같습니다. + Hive 역할은 현재 지원되지 않습니다. 승인, 취소 명령문은 지원되지 않습니다. + Hive CLI는 지원되지 않습니다. JDBC 및 Beeline은 Hive를 연결할 수 있는 유일한 승인된 방법입니다. + 안전하지 않다고 판단되는 UDF로 `hive.server2.builtin.udf.blacklist` 구성을 채워야 합니다. # Amazon EMR과 Ranger의 통합을 위한 Apache Spark 플러그인 Amazon EMR은 EMR RecordServer를 통합하여 SparkSQL에 대한 세분화된 액세스 제어를 제공합니다. EMR의 RecordServer는 Apache Ranger 지원 클러스터의 모든 노드에서 실행되는 권한 있는 프로세스입니다. Spark 드라이버 또는 실행기가 SparkSQL 문을 실행하면 모든 메타데이터 및 데이터 요청이 RecordServer를 통과합니다. EMR RecordServer에 대한 자세한 내용은 [Apache Ranger에서 사용할 Amazon EMR 구성 요소](emr-ranger-components.md) 페이지를 참조하세요. **Topics** + [지원되는 기능](#emr-ranger-spark-supported-features) + [INSERT, ALTER 또는 DDL 문을 사용하도록 서비스 정의 재배포](#emr-ranger-spark-redeploy-service-definition) + [서비스 정의 설치](#emr-ranger-spark-install-servicedef) + [SparkSQL 정책 생성](#emr-ranger-spark-create-sparksql) + [고려 사항](#emr-ranger-spark-considerations) + [제한 사항](#emr-ranger-spark-limitations) ## 지원되는 기능 | SQL 명령문 및 Ranger 작업 | STATUS | 지원되는 EMR 릴리스 | | --- | --- | --- | | SELECT | 지원됨 | 5.32 기준 | | SHOW DATABASES | 지원됨 | 5.32 기준 | | SHOW COLUMNS | 지원됨 | 5.32 기준 | | SHOW TABLES | 지원됨 | 5.32 기준 | | SHOW TABLE PROPERTIES | 지원됨 | 5.32 기준 | | DESCRIBE TABLE | 지원됨 | 5.32 기준 | | INSERT OVERWRITE | 지원됨 | 5.34 및 6.4 기준 | | INSERT INTO | 지원됨 | 5.34 및 6.4 기준 | | ALTER TABLE | 지원됨 | 6.4 기준 | | CREATE TABLE | 지원됨 | 5.35 및 6.7 기준 | | 데이터베이스 생성 | 지원됨 | 5.35 및 6.7 기준 | | DROP TABLE | 지원됨 | 5.35 및 6.7 기준 | | DROP DATABASE | 지원됨 | 5.35 및 6.7 기준 | | DROP VIEW | 지원됨 | 5.35 및 6.7 기준 | | CREATE VIEW | 지원되지 않음 | | SparkSQL을 사용할 때 지원되는 기능은 다음과 같습니다. + Hive 메타스토어 내 테이블에 대한 세분화된 액세스 제어 및 정책을 데이터베이스, 테이블 및 열 수준에서 생성할 수 있습니다. + Apache Ranger 정책에는 사용자 및 그룹에 대한 권한 부여 정책과 거부 정책이 포함될 수 있습니다. + 감사 이벤트는 CloudWatch Logs로 제출됩니다. ## INSERT, ALTER 또는 DDL 문을 사용하도록 서비스 정의 재배포 **참고** Amazon EMR 6.4부터 INSERT INTO, INSERT OVERWRITE 또는 ALTER TABLE과 함께 Spark SQL을 사용할 수 있습니다. Amazon EMR 6.7부터 Spark SQL을 사용하여 데이터베이스 및 테이블을 생성하거나 삭제할 수 있습니다. Apache Ranger 서버에 Apache Spark 서비스 정의가 배포된 기존 설치가 있는 경우 다음 코드를 사용하여 서비스 정의를 재배포합니다. ``` # Get existing Spark service definition id calling Ranger REST API and JSON processor curl --silent -f -u : \ -H "Accept: application/json" \ -H "Content-Type: application/json" \ -k 'https://**:6182/service/public/v2/api/servicedef/name/amazon-emr-spark' | jq .id # Download the latest Service definition wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-spark.json # Update the service definition using the Ranger REST API curl -u : -X PUT -d @ranger-servicedef-amazon-emr-spark.json \ -H "Accept: application/json" \ -H "Content-Type: application/json" \ -k 'https://**:6182/service/public/v2/api/servicedef/' ``` ## 서비스 정의 설치 EMR의 Apache Spark 서비스 정의를 설치하려면 Ranger Admin 서버를 설정해야 합니다. [Amazon EMR과 통합하도록 Ranger Admin 서버 설정](emr-ranger-admin.md)을(를) 참조하세요. 다음 단계에 따라 Apache Spark 서비스 정의를 설치합니다. **1단계: Apache Ranger Admin 서버에 SSH로 연결** 예제: ``` ssh ec2-user@ip-xxx-xxx-xxx-xxx.ec2.internal ``` **2단계: 서비스 정의 및 Apache Ranger Admin 서버 플러그인 다운로드** 임시 디렉터리에서 서비스 정의를 다운로드합니다. 이 서비스 정의는 Ranger 2.x 버전에서 지원됩니다. ``` mkdir /tmp/emr-spark-plugin/ cd /tmp/emr-spark-plugin/ wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-spark-plugin-2.x.jar wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-spark.json ``` **3단계: Amazon EMR용 Apache Spark 플러그인 설치** ``` export RANGER_HOME=.. # Replace this Ranger Admin's home directory eg /usr/lib/ranger/ranger-2.0.0-admin mkdir $RANGER_HOME/ews/webapp/WEB-INF/classes/ranger-plugins/amazon-emr-spark mv ranger-spark-plugin-2.x.jar $RANGER_HOME/ews/webapp/WEB-INF/classes/ranger-plugins/amazon-emr-spark ``` **4단계: Amazon EMR용 Apache Spark 서비스 정의 등록** ``` curl -u **:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X POST -d @ranger-servicedef-amazon-emr-spark.json \ -H "Accept: application/json" \ -H "Content-Type: application/json" \ -k 'https://**:6182/service/public/v2/api/servicedef' ``` 이 명령이 성공적으로 실행되면 다음 이미지와 같이 Ranger Admin UI에 'AMAZON-EMR-SPARK'라는 새 서비스가 표시됩니다(Ranger 버전 2.0이 표시됨). ![\[Ranger Admin에 'AMAZON-EMR-SPARK'가 등록되었습니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-amazon-emr-spark.png) **5단계: AMAZON-EMR-SPARK 애플리케이션의 인스턴스 생성** **서비스 이름(표시된 경우):** 사용할 서비스 이름. 제안된 값은 **amazonemrspark**입니다. EMR 보안 구성을 생성할 때 필요하므로 이 서비스 이름을 기록해 둡니다. **표시 이름:** 이 인스턴스에 표시될 이름. 제안된 값은 **amazonemrspark**입니다. **인증서의 일반 이름:** 클라이언트 플러그인에서 관리 서버에 연결하는 데 사용되는 인증서 내 CN 필드. 이 값은 플러그인용으로 생성된 TLS 인증서의 CN 필드와 일치해야 합니다. ![\[Ranger Admin에서 서비스를 생성합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-service.png) **참고** 이 플러그인의 TLS 인증서는 Ranger Admin 서버의 트러스트 스토어에 등록되어 있어야 합니다. 자세한 내용은 [Amazon EMR과의 Apache Ranger 통합을 위한 TLS 인증서](emr-ranger-admin-tls.md) 섹션을 참조하세요. ## SparkSQL 정책 생성 새 정책을 생성할 때 입력할 필드는 다음과 같습니다. **정책 이름**: 이 정책의 이름입니다. **정책 레이블**: 이 정책에 적용할 수 있는 레이블입니다. **데이터베이스**: 이 정책이 적용되는 데이터베이스. 와일드카드 '\$1'는 모든 데이터베이스를 나타냅니다. **테이블**: 이 정책이 적용되는 테이블입니다. 와일드카드 '\$1'는 모든 테이블을 나타냅니다. **EMR Spark 열**: 이 정책이 적용되는 열입니다. 와일드카드 '\$1'는 모든 열을 나타냅니다. **설명**: 이 정책에 대한 설명입니다. ![\[Ranger Admin은 SparkSQL 정책 세부 정보를 생성합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-policy-details.png) 사용자 및 그룹을 지정하려면 권한을 부여할 사용자 및 그룹을 아래에 입력합니다. **허용** 조건 및 **거부** 조건에 대한 제외 항목을 지정할 수도 있습니다. ![\[Ranger Admin SparkSQL 정책 세부 정보에서 조건을 허용합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-policy-allow-conditions.png) 허용 및 거부 조건을 지정한 후 **저장**을 클릭합니다. ## 고려 사항 EMR 클러스터 내 각 노드는 포트 9083에서 프라이머리 노드에 연결할 수 있어야 합니다. ## 제한 사항 Apache Spark 플러그인의 현재 제한 사항은 다음과 같습니다. + Record Server는 항상 Amazon EMR 클러스터에서 실행되는 HMS에 연결됩니다. 필요한 경우 원격 모드에 연결하도록 HMS를 구성합니다. Apache Spark Hive-site.xml 구성 파일에 구성 값을 넣으면 안 됩니다. + CSV 또는 Avro에서 Spark 데이터 소스를 사용하여 생성한 테이블은 EMR RecordServer를 사용하여 읽을 수 없습니다. Hive를 사용하여 레코드를 통해 데이터를 생성하고 작성하며 읽습니다. + Delta Lake, Hudi 및 Iceberg 테이블은 지원되지 않습니다. + 사용자는 기본 데이터베이스에 대한 액세스 권한이 있어야 합니다. Apache Spark의 요구 사항입니다. + Ranger Admin 서버는 자동 완성 기능을 지원하지 않습니다. + Amazon EMR용 SparkSQL 플러그인은 행 필터 또는 데이터 마스킹을 지원하지 않습니다. + Spark SQL에서 ALTER TABLE을 사용하는 경우 파티션 위치는 테이블 위치의 하위 디렉터리여야 합니다. 파티션 위치가 테이블 위치와 다른 파티션에 데이터를 삽입할 수 없습니다. # Amazon EMR과 Ranger의 통합을 위한 EMRFS S3 플러그인 멀티 테넌트 클러스터의 S3 객체에 대한 액세스 제어를 보다 쉽게 제공할 수 있도록 EMRFS S3 플러그인은 EMRFS를 통해 데이터에 액세스할 때 S3 내 데이터에 대한 액세스 제어를 제공합니다. 사용자 및 그룹 수준에서 S3 리소스에 대한 액세스를 허용할 수 있습니다. 이를 위해 애플리케이션이 S3 내 데이터에 액세스하려고 하면 EMRFS는 Secret Agent 프로세스에 보안 인증 요청을 보냅니다. 여기서 Apache Ranger 플러그인에 대해 요청이 인증되고 승인됩니다. 요청이 승인되면 Secret Agent는 제한된 정책이 적용되는 Apache Ranger Engine의 IAM 역할을 수임하여 액세스를 허용한 Ranger 정책에만 액세스할 수 있는 보안 인증을 생성합니다. 그러면 S3에 액세스하도록 보안 인증이 EMRFS로 다시 전달됩니다. **Topics** + [지원되는 기능](#emr-ranger-emrfs-features) + [서비스 구성 설치](#emr-ranger-emrfs-service-config) + [EMRFS S3 정책 생성](#emr-ranger-emrfs-create-policies) + [EMRFS S3 정책 사용 시 참고 사항](#emr-ranger-emrfs-considerations) + [제한 사항](#emr-ranger-emrfs-limitations) ## 지원되는 기능 EMRFS S3 플러그인은 스토리지 수준 인증을 제공합니다. 정책을 생성하여 사용자 및 그룹에 S3 버킷 및 접두사에 대한 액세스를 제공할 수 있습니다. 권한 부여는 EMRFS에 대해서만 수행됩니다. ## 서비스 구성 설치 EMRFS 서비스 정의를 설치하려면 Ranger Admin 서버를 설정해야 합니다. 서버를 설정하려면 [Amazon EMR과 통합하도록 Ranger Admin 서버 설정](emr-ranger-admin.md) 섹션을 참조하세요. 다음 단계에 따라 EMRFS 서비스 정의를 설치합니다. **1단계: Apache Ranger Admin 서버에 SSH로 연결**. 예제: ``` ssh ec2-user@ip-xxx-xxx-xxx-xxx.ec2.internal ``` **2단계: EMRFS 서비스 정의 다운로드**. 임시 디렉터리에서 Amazon EMR 서비스 정의를 다운로드합니다. 이 서비스 정의는 Ranger 2.x 버전에서 지원됩니다. ``` wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-emrfs.json ``` **3단계: EMRFS S3 서비스 정의 등록**. ``` curl -u **:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X POST -d @ranger-servicedef-amazon-emr-emrfs.json \ -H "Accept: application/json" \ -H "Content-Type: application/json" \ -k 'https://**:6182/service/public/v2/api/servicedef' ``` 이 명령이 성공적으로 실행되면 다음 이미지와 같이 Ranger Admin UI에 'AMAZON-EMR-S3'라는 새 서비스가 표시됩니다(Ranger 버전 2.0이 표시됨). ![\[Ranger Admin은 EMRFS S3 서비스를 생성합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-service-EMRFS.png) **4단계: AMAZON-EMR-EMRFS 애플리케이션의 인스턴스 생성**. 서비스 정의 인스턴스를 생성합니다. + Amazon-EMR-EMRFS 옆의 **\$1**를 클릭합니다. 다음 필드를 입력합니다. **서비스 이름(표시된 경우)**: 제안되는 값은 **amazonemrs3**입니다. EMR 보안 구성을 생성할 때 필요하므로 이 서비스 이름을 기록해 둡니다. **표시 이름**: 이 서비스에 대해 표시되는 이름. 제안된 값은 **amazonemrs3**입니다. **인증서의 일반 이름**: 클라이언트 플러그인에서 관리 서버로 연결하는 데 사용되는 인증서 내 CN 필드입니다. 이 값은 플러그인용으로 생성된 TLS 인증서의 CN 필드와 일치해야 합니다. ![\[Ranger Admin은 EMRFS S3 서비스를 편집합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-edit-service-EMRFS.png) **참고** 이 플러그인의 TLS 인증서는 Ranger Admin 서버의 트러스트 스토어에 등록되어 있어야 합니다. 자세한 내용은 [Amazon EMR과의 Apache Ranger 통합을 위한 TLS 인증서](emr-ranger-admin-tls.md) 섹션을 참조하세요. 서비스가 생성되면 Service Manager에는 다음 이미지와 같이 'AMAZON-EMR-EMRFS'가 포함됩니다. ![\[새 EMRFS S3 서비스를 보여주는 Ranger Admin.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-new-service-EMRFS.png) ## EMRFS S3 정책 생성 Service Manager의 **정책 생성** 페이지에서 새 정책을 생성하려면 다음 필드를 채웁니다. **정책 이름**: 이 정책의 이름입니다. **정책 레이블**: 이 정책에 적용할 수 있는 레이블입니다. **S3 리소스**: 버킷과 선택적 접두사로 시작하는 리소스입니다. 모범 사례에 대한 자세한 내용은 [EMRFS S3 정책 사용 시 참고 사항](#emr-ranger-emrfs-considerations) 섹션을 참조하세요. Ranger Admin 서버의 리소스에는 **s3://**, **s3a://** 또는 **s3n://**이 포함되어서는 안 됩니다. ![\[EMRFS S3 서비스에 대한 생성 정책을 보여주는 Ranger Admin.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-policy-EMRFS.png) 권한을 부여할 사용자 및 그룹을 지정할 수 있습니다. **허용** 조건 및 **거부** 조건에 대한 제외 항목을 지정할 수도 있습니다. ![\[EMRFS S3 정책에 대한 사용자 및 그룹 권한을 보여주는 Ranger Admin.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-permissions-EMRFS.png) **참고** 각 정책에는 최대 3개의 리소스가 허용됩니다. EMR 클러스터에서 이 정책을 사용하는 경우 리소스를 3개 넘게 추가하면 오류가 발생할 수 있습니다. 정책을 3개 넘게 추가하면 정책 한도에 대한 알림이 표시됩니다. ## EMRFS S3 정책 사용 시 참고 사항 Apache Ranger 내에서 S3 정책을 생성할 때 알아두어야 할 몇 가지 사용 고려 사항이 있습니다. ### 여러 S3 객체에 대한 권한 재귀 정책과 와일드카드 표현식을 사용하여 공통 접두사가 있는 여러 S3 객체에 권한을 부여할 수 있습니다. 재귀 정책은 공통 접두사가 있는 모든 객체에 권한을 부여합니다. 와일드카드 표현식은 여러 접두사를 선택합니다. 이 두 방법을 함께 사용하면 다음 예제와 같이 여러 개의 공통 접두사가 있는 모든 객체에 권한을 부여합니다. **Example 재귀 정책 사용** 다음과 같이 구성된 S3 버킷의 모든 parquet 파일을 나열할 수 있는 권한을 원한다고 가정합니다. ``` s3://sales-reports/americas/ +- year=2000 | +- data-q1.parquet | +- data-q2.parquet +- year=2019 | +- data-q1.json | +- data-q2.json | +- data-q3.json | +- data-q4.json | +- year=2020 | +- data-q1.parquet | +- data-q2.parquet | +- data-q3.parquet | +- data-q4.parquet | +- annual-summary.parquet +- year=2021 ``` 먼저 `s3://sales-reports/americas/year=2000` 접두사의 parquet 파일을 고려합니다. 다음과 같은 두 가지 방법으로 모두에 GetObject 권한을 부여할 수 있습니다. **비재귀 정책 사용**: 한 가지 옵션은 두 개의 개별 비재귀 정책을 사용하는 것입니다. 하나는 디렉터리용이고 다른 하나는 파일용입니다. 첫 번째 정책은 `s3://sales-reports/americas/year=2020` 접두사에 권한을 부여합니다(후행 `/` 없음). ``` - S3 resource = "sales-reports/americas/year=2000" - permission = "GetObject" - user = "analyst" ``` 두 번째 정책은 와일드카드 표현식을 사용하여 `sales-reports/americas/year=2020/` 접두사가 있는 모든 파일에 권한을 부여합니다(후행 `/` 기록). ``` - S3 resource = "sales-reports/americas/year=2020/*" - permission = "GetObject" - user = "analyst" ``` **재귀 정책 사용**: 보다 편리한 대안은 단일 재귀 정책을 사용하고 접두사에 재귀 권한을 부여하는 것입니다. ``` - S3 resource = "sales-reports/americas/year=2020" - permission = "GetObject" - user = "analyst" - is recursive = "True" ``` 지금까지는 `s3://sales-reports/americas/year=2000` 접두사의 parquet 파일만 포함되었습니다. 이제 다음과 같이 와일드카드 표현식을 도입하여 다른 `s3://sales-reports/americas/year=2020` 접두사의 parquet 파일을 동일한 재귀 정책에 포함할 수도 있습니다. ``` - S3 resource = "sales-reports/americas/year=20?0" - permission = "GetObject" - user = "analyst" - is recursive = "True" ``` ### PutObject 및 DeleteObject 권한 정책 EMRFS의 파일에 대한 `PutObject` 및 `DeleteObject` 권한과 관련한 정책을 작성하려면 GetObject 권한과 달리 접두사에 부여된 추가 재귀 권한이 필요하기 때문에 특별한 주의가 필요합니다. **Example PutObject 및 DeleteObject 권한 정책** 예를 들어, `annual-summary.parquet` 파일을 삭제하려면 실제 파일에 대한 DeleteObject 권한만 필요한 것이 아닙니다. ``` - S3 resource = "sales-reports/americas/year=2020/annual-summary.parquet" - permission = "DeleteObject" - user = "analyst" ``` 접두사에 재귀 `GetObject` 및 `PutObject` 권한을 부여하는 정책도 필요합니다. 마찬가지로 `annual-summary.parquet` 파일을 수정하려면 실제 파일에 대한 `PutObject` 권한만 필요한 것이 아닙니다. ``` - S3 resource = "sales-reports/americas/year=2020/annual-summary.parquet" - permission = "PutObject" - user = "analyst" ``` 접두사에 재귀 `GetObject` 권한을 부여하는 정책도 필요합니다. ``` - S3 resource = "sales-reports/americas/year=2020" - permission = "GetObject" - user = "analyst" - is recursive = "True" ``` ### 정책의 와일드카드 와일드카드를 지정할 수 있는 영역은 두 가지입니다. S3 리소스를 지정할 때는 '\$1'와 '?'를 사용할 수 있습니다. '\$1'는 S3 경로와의 일치 기능을 제공하고 접두사 뒤의 모든 항목을 일치시킵니다. 예를 들어, 다음 정책과 같습니다. ``` S3 resource = "sales-reports/americas/*" ``` 이는 다음 S3 경로와 일치합니다. ``` sales-reports/americas/year=2020/ sales-reports/americas/year=2019/ sales-reports/americas/year=2019/month=12/day=1/afile.parquet sales-reports/americas/year=2018/month=6/day=1/afile.parquet sales-reports/americas/year=2017/afile.parquet ``` '?' 와일드카드 문자는 모든 단일 문자와 일치합니다. 예를 들어, 다음 정책과 같습니다. ``` S3 resource = "sales-reports/americas/year=201?/" ``` 이는 다음 S3 경로와 일치합니다. ``` sales-reports/americas/year=2019/ sales-reports/americas/year=2018/ sales-reports/americas/year=2017/ ``` ### 사용자의 와일드카드 사용자에게 액세스 권한을 제공하기 위해 사용자를 할당할 때 두 가지 기본 제공 와일드카드가 있습니다. 첫 번째는 모든 사용자에게 액세스 권한을 제공하는 '\$1USER\$1' 와일드카드입니다. 두 번째 와일드카드는 '\$1OWNER\$1'입니다. 이 와일드카드는 특정 객체의 소유자에게 또는 직접 액세스 권한을 제공합니다. 그러나 '\$1USER\$1' 와일드카드는 현재 지원되지 않습니다. ## 제한 사항 EMRFS S3 플러그인의 현재 제한 사항은 다음과 같습니다. + Apache Ranger 정책에는 최대 세 개의 정책이 있을 수 있습니다. + S3에 대한 액세스는 EMRFS를 통해 이루어져야 하며 Hadoop 관련 애플리케이션과 함께 사용할 수 있습니다. 다음은 지원되지 않습니다. - Boto3 라이브러리 - AWS SDK 및 AWK CLI - S3A 오픈 소스 커넥터 + Apache Ranger 거부 정책은 지원되지 않습니다. + CSE-KMS 암호화가 적용된 키를 사용하는 S3에서의 작업은 현재 지원되지 않습니다. + 교차 리전 지원은 지원되지 않습니다. + Apache Ranger의 보안 영역 기능은 지원되지 않습니다. 보안 영역 기능을 사용하여 정의된 액세스 제어 제한은 Amazon EMR 클러스터에 적용되지 않습니다. + Hadoop은 항상 EC2 인스턴스 프로파일에 액세스하므로 Hadoop 사용자는 감사 이벤트를 생성하지 않습니다. + Amazon EMR 일관된 보기를 비활성화하는 것이 좋습니다. S3는 매우 일관되므로 더 이상 필요하지 않습니다. 자세한 내용은 [Amazon S3 강력한 일관성](https://aws.amazon.com/s3/consistency/)을 참조하세요. + EMRFS S3 플러그인은 많은 STS 직접 호출을 수행합니다. 개발 계정에서 로드 테스트를 수행하고 STS 직접 호출량을 모니터링하는 것이 좋습니다. 또한 AssumeRole 서비스 한도를 높이기 위해 STS를 요청하는 것이 좋습니다. + Ranger Admin 서버는 자동 완성 기능을 지원하지 않습니다. # Amazon EMR과 Ranger의 통합을 위한 Trino 플러그인 Trino(이전의 PrestoSQL)는 HDFS, 오브젝트 스토리지, 관계형 데이터베이스 및 NoSQL 데이터베이스와 같은 데이터 소스에서 쿼리를 실행하는 데 사용할 수 있는 SQL 쿼리 엔진입니다. 따라서 데이터를 중앙 위치로 마이그레이션할 필요가 없으며 어디서나 데이터를 쿼리할 수 있습니다. Amazon EMR은 Trino에 대한 세분화된 액세스 제어를 제공할 수 있는 Apache Ranger 플러그인을 제공합니다. 플러그인은 오픈 소스 Apache Ranger Admin 서버 버전 2.0 이상과 호환됩니다. **Topics** + [지원되는 기능](#emr-ranger-trino-features) + [서비스 구성 설치](#emr-ranger-trino-service-config) + [IAM 정책 생성](#emr-ranger-trino-create-policies) + [고려 사항](#emr-ranger-trino-considerations) + [제한 사항](#emr-ranger-trino-limitations) ## 지원되는 기능 Amazon EMR의 Trino용 Apache Ranger 플러그인은 세분화된 액세스 제어로 보호되는 Trino 쿼리 엔진의 모든 기능을 지원합니다. 여기에는 데이터베이스, 테이블, 열 수준 액세스 제어, 행 필터링 및 데이터 마스킹이 포함됩니다. Apache Ranger 정책에는 사용자 및 그룹에 대한 권한 부여 정책과 거부 정책이 포함될 수 있습니다. 감사 이벤트는 CloudWatch Logs로도 제출됩니다. ## 서비스 구성 설치 Trino 서비스 정의를 설치하려면 Ranger Admin 서버를 설정해야 합니다. Ranger Admin 서버를 설정하려면 [Amazon EMR과 통합하도록 Ranger Admin 서버 설정](emr-ranger-admin.md) 섹션을 참조하세요. 다음 단계에 따라 Trino 서비스 정의를 설치합니다. 1. Apache Ranger Admin 서버에 SSH로 연결합니다. ``` ssh ec2-user@ip-xxx-xxx-xxx-xxx.ec2.internal ``` 1. Presto 서버 플러그인(있는 경우)을 제거합니다. 다음 명령을 실행합니다. '서비스를 찾을 수 없음' 오류와 함께 오류가 발생하면 Presto 서버 플러그인이 서버에 설치되지 않은 것입니다. 다음 단계를 진행합니다. ``` curl -f -u **:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X DELETE -k 'https://**:6182/service/public/v2/api/servicedef/name/presto' ``` 1. 서비스 정의와 Apache Ranger Admin 서버 플러그인을 다운로드합니다. 임시 디렉터리에서 서비스 정의를 다운로드합니다. 이 서비스 정의는 Ranger 2.x 버전에서 지원됩니다. ``` wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-trino.json ``` 1. Amazon EMR에 대한 Apache Trino 서비스 정의를 등록합니다. ``` curl -u **:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X POST -d @ranger-servicedef-amazon-emr-trino.json \ -H "Accept: application/json" \ -H "Content-Type: application/json" \ -k 'https://**:6182/service/public/v2/api/servicedef' ``` 이 명령이 성공적으로 실행되면 다음 이미지와 같이 Ranger Admin UI에 `TRINO`라는 새 서비스가 표시됩니다. ![\[Ranger Admin에서 서비스를 생성합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-service-trino.png) 1. 다음 정보를 입력하여 `TRINO` 애플리케이션 인스턴스를 생성합니다. **서비스 이름**: 사용할 서비스 이름. 제안된 값은 `amazonemrtrino`입니다. Amazon EMR 보안 구성을 생성할 때 필요하므로 이 서비스 이름을 기록해 둡니다. **표시 이름**: 이 인스턴스에 표시될 이름. 제안된 값은 `amazonemrtrino`입니다. ![\[Ranger Admin 표시 이름.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-display-name-trino.png) **jdbc.driver.ClassName**: Trino 연결을 위한 JDBC 클래스의 클래스 이름. 기본값을 사용할 수 있습니다. **jdbc.url**: Trino 코디네이터에 연결할 때 사용할 JDBC 연결 문자열. **인증서의 일반 이름**: 클라이언트 플러그인에서 관리 서버로 연결하는 데 사용되는 인증서 내 CN 필드입니다. 이 값은 플러그인용으로 생성된 TLS 인증서의 CN 필드와 일치해야 합니다. ![\[Ranger Admin 일반 이름.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-common-name-trino.png) 이 플러그인의 TLS 인증서는 Ranger Admin 서버의 트러스트 스토어에 등록되어 있어야 합니다. 자세한 내용은 [TLS 인증서](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger-admin-tls.html)를 참조하세요. ## IAM 정책 생성 새 정책을 생성할 때 다음 필드를 입력합니다. **정책 이름**: 이 정책의 이름입니다. **정책 레이블**: 이 정책에 적용할 수 있는 레이블입니다. **카탈로그**: 이 정책이 적용되는 카탈로그. 와일드카드 '\$1'는 모든 카탈로그를 나타냅니다. **스키마**: 이 정책이 적용되는 스키마. 와일드카드 '\$1'는 모든 스키마를 나타냅니다. **테이블**: 이 정책이 적용되는 테이블입니다. 와일드카드 '\$1'는 모든 테이블을 나타냅니다. **열**: 이 정책이 적용되는 열. 와일드카드 '\$1'는 모든 열을 나타냅니다. **설명**: 이 정책에 대한 설명입니다. **Trino 사용자**(사용자 위장 액세스용), **Trino 시스템 및 세션 속성**(엔진 시스템 또는 세션 속성 교체용), **함수 및 프로시저**(함수 또는 프로시저 직접 호출용), **URL**(데이터 위치에서 엔진에 대한 읽기 및 쓰기 액세스 권한 부여용)에 대해 다른 유형의 정책이 존재합니다. ![\[Ranger Admin은 정책 세부 정보를 생성합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-policy-details-trino.png) 특정 사용자 및 그룹에 권한을 부여하려면 사용자 및 그룹을 입력합니다. **허용** 조건 및 **거부** 조건에 대한 제외 항목을 지정할 수도 있습니다. ![\[Ranger Admin 정책 세부 정보는 거부 조건을 허용합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-create-policy-allow-conditions-trino.png) 허용 및 거부 조건을 지정한 후 **저장**을 선택합니다. ## 고려 사항 Apache Ranger 내에서 Trino 정책을 생성할 때 알아두어야 할 몇 가지 사용 고려 사항이 있습니다. **Hive 메타데이터 서버** Hive 메타데이터 서버는 무단 액세스로부터 보호하기 위해 신뢰할 수 있는 엔진, 특히 Trino 엔진을 통해서만 액세스할 수 있습니다. 클러스터의 모든 노드는 Hive 메타데이터 서버에도 액세스할 수 있습니다. 필수 포트 9083은 기본 노드에 대한 액세스 권한을 모든 노드에 제공합니다. **Authentication** 기본적으로 Trino는 Amazon EMR 보안 구성에 구성된 대로 Kerberos를 사용하여 인증하도록 구성됩니다. **전송 중 암호화가 필요함** Trino 플러그인을 사용하려면 Amazon EMR 보안 구성에서 전송 중 암호화를 활성화해야 합니다. 암호화를 활성화하려면 [전송 중 암호화](emr-data-encryption-options.md#emr-encryption-intransit) 섹션을 참조하세요. ## 제한 사항 Trino 플러그인의 현재 제한 사항은 다음과 같습니다. + Ranger Admin 서버는 자동 완성 기능을 지원하지 않습니다. # Apache Ranger 문제 해결 다음은 Apache Ranger 사용과 관련하여 일반적으로 진단되는 몇 가지 문제입니다. ## 권장 사항 + **단일 기본 노드 클러스터를 사용한 테스트:** 단일 노드 마스터 클러스터는 다중 노드 클러스터보다 빠르게 프로비저닝되므로 각 테스트 반복에 소요되는 시간을 줄일 수 있습니다. + **클러스터에서 개발 모드를 설정합니다.** EMR 클러스터를 시작할 때 `--additional-info"` 파라미터를 다음과 같이 설정합니다. `'{"clusterType":"development"}'` 이 파라미터는 AWS CLI 또는 AWS SDK를 통해서만 설정할 수 있으며 Amazon EMR 콘솔에서는 사용할 수 없습니다. 이 플래그가 설정된 경우 마스터에서 프로비저닝에 실패하면 Amazon EMR 서비스는 클러스터를 서비스 해제하기 전에 일정 기간 클러스터를 활성 상태로 유지합니다. 이 시간은 클러스터가 종료되기 전에 다양한 로그 파일을 탐색하는 데 매우 유용합니다. # EMR 클러스터를 프로비저닝하지 못함 Amazon EMR 클러스터 시작에 실패하는 몇 가지 이유가 있습니다. 다음은 문제를 진단할 수 있는 몇 가지 방법입니다. **EMR 프로비저닝 로그 확인** Amazon EMR은 Puppet을 사용하여 클러스터에 애플리케이션을 설치하고 구성합니다. 로그를 보면 클러스터의 프로비저닝 단계에서 오류 발생 여부에 관한 세부 정보를 확인할 수 있습니다. 로그가 S3로 푸시되도록 구성된 경우 클러스터 또는 S3에서 로그에 액세스할 수 있습니다. 로그는 `s3:////node//provision-node/apps-phase/0/{UUID}/puppet.log.gz.` 및 디스크의 `/var/log/provision-node/apps-phase/0/{UUID}/puppet.log`에 저장됩니다. **일반 오류 메시지** | 오류 메시지 | 원인 | | --- | --- | | Puppet (err): Systemd start for emr-record-server failed\$1 journalctl log for emr-record-server: | EMR Record Server를 시작하지 못했습니다. 아래 EMR Record Server 로그를 참조하세요. | | Puppet (err): Systemd start for emr-record-server failed\$1 journalctl log for emrsecretagent: | EMR Secret Agent를 시작하지 못했습니다. 아래에서 Secret Agent 로그를 확인합니다. | | /Stage[main]/Ranger\$1plugins::Ranger\$1hive\$1plugin/Ranger\$1plugins::Prepare\$1two\$1way\$1tls[configure 2-way TLS in Hive plugin]/Exec[create keystore and truststore for Ranger Hive plugin]/returns (notice): 140408606197664:error:0906D06C:PEM routines:PEM\$1read\$1bio:no start line:pem\$1lib.c:707:Expecting: ANY PRIVATE KEY | Apache Ranger 플러그인 인증서용 Secret Manager의 프라이빗 TLS 인증서가 올바른 형식이 아니거나 프라이빗 인증서가 아닙니다. 인증서 형식은 [Amazon EMR과의 Apache Ranger 통합을 위한 TLS 인증서](emr-ranger-admin-tls.md) 섹션을 참조하세요. | | /Stage[main]/Ranger\$1plugins::Ranger\$1s3\$1plugin/Ranger\$1plugins::Prepare\$1two\$1way\$1tls[configure 2-way TLS in Ranger s3 plugin]/Exec[create keystore and truststore for Ranger amazon-emr-s3 plugin]/returns (notice): An error occurred (AccessDeniedException) when calling the GetSecretValue operation: User: arn:aws:sts::XXXXXXXXXXX:assumed-role/EMR\$1EC2\$1DefaultRole/i-XXXXXXXXXXXX is not authorized to perform: secretsmanager:GetSecretValue on resource: arn:aws:secretsmanager:us-east-1:XXXXXXXXXX:secret:AdminServer-XXXXX | EC2 인스턴스 프로파일 역할에는 Secrets Agent에서 TLS 인증서를 검색할 수 있는 올바른 권한이 없습니다. | **SecretAgent 로그 확인** Secret Agent 로그는 EMR 노드의 `/emr/secretagent/log/` 또는 S3의 `s3:////node//daemons/secretagent/` 디렉터리에 있습니다. **일반 오류 메시지** | 오류 메시지 | 원인 | | --- | --- | | Exception in thread "main" com.amazonaws.services.securitytoken.model.AWSSecurityTokenServiceException: User: arn:aws:sts::XXXXXXXXXXXX:assumed-role/EMR\$1EC2\$1DefaultRole/i-XXXXXXXXXXXXXXX is not authorized to perform: sts:AssumeRole on resource: arn:aws:iam::XXXXXXXXXXXX:role/\$1RangerPluginDataAccessRole\$1 (Service: AWSSecurityTokenService; Status Code: 403; Error Code: AccessDenied; Request ID: XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX; Proxy: null) | 위의 예외는 EMR EC2 인스턴스 프로파일 역할에 **RangerPluginDataAccessRole** 역할을 수임할 권한이 없음을 의미합니다. [Apache Ranger와의 네이티브 통합을 위한 IAM 역할](emr-ranger-iam.md)을(를) 참조하세요. | | ERROR qtp54617902-149: Web App Exception Occurred javax.ws.rs.NotAllowedException: HTTP 405 Method Not Allowed | 이 오류는 무시할 수 있습니다. | **Record Server 로그 확인(SparkSQL용)** EMR Record Server 로그는 EMR 노드의 /var/log/emr-record-server/에 있거나 S3의 s3:////node//daemons/emr-record-server/ 디렉터리에 있습니다. **일반 오류 메시지** | 오류 메시지 | 원인 | | --- | --- | | InstanceMetadataServiceResourceFetcher:105 - [] Fail to retrieve token com.amazonaws.SdkClientException: Failed to connect to service endpoint | EMR SecretAgent가 나타나지 않았거나 문제가 발생했습니다. SecretAgent 로그에서 오류가 있는지 확인하고 puppet 스크립트를 검사하여 프로비저닝 오류가 있는지 확인합니다. | # Amazon EMR과 Ranger의 통합에 대한 쿼리가 예기치 않게 실패함 **Apache Ranger 플러그인 로그 확인(Apache Hive, EMR RecordServer, EMR SecretAgent 등의 로그)** 이 섹션은 Apache Hive, EMR Record Server, EMR SecretAgent와 같이 Ranger 플러그인과 통합되는 모든 애플리케이션에서 공통적으로 사용됩니다. **일반 오류 메시지** | 오류 메시지 | 원인 | | --- | --- | | ERROR PolicyRefresher:272 - [] PolicyRefresher(serviceName=policy-repository): failed to find service. Will clean up local cache of policies (-1) | 이 오류 메시지는 EMR 보안 구성에서 제공한 서비스 이름이 Ranger Admin 서버의 서비스 정책 리포지토리와 일치하지 않음을 의미합니다. | Ranger Admin 서버 내에서 AMAZON-EMR-SPARK 서비스가 다음과 같은 경우 서비스 이름으로 **amazonemrspark**를 입력해야 합니다. ![\[AMAZON-EMR-SPARK 문제 해결을 보여주는 Ranger Admin 서버.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/images/ranger-amazon-emr-spark-troubleshooting.png)