기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
AMS SSP를 사용하여 AMS 계정에서 Amazon EMR 프로비저닝
AMS 셀프 서비스 프로비저닝(SSP) 모드를 사용하여 AMS 관리형 계정에서 Amazon EMR 기능에 직접 액세스할 수 있습니다. Amazon EMR은 Apache Spark, Apache Hive, Apache HBase, Apache Flink, Apache Hudi, Presto와 같은 오픈 소스 도구를 사용하여 방대한 양의 데이터를 처리하기 위한 업계 최고의 클라우드 빅 데이터 플랫폼입니다. Amazon EMR을 사용하면 기존 온프레미스 솔루션 비용의 절반 미만과 표준 Apache Spark보다 3배 빠른 속도로 페타바이트 규모의 분석을 실행할 수 있습니다. 단기 실행 작업의 경우 클러스터를 가동 및 가동 중지하고 사용된 인스턴스에 대해 초당 비용을 지불할 수 있습니다. 장기 실행 워크로드의 경우 수요에 맞게 자동으로 확장되는 고가용성 클러스터를 생성할 수 있습니다.
AMS 다중 계정 랜딩 존 또는 단일 계정 랜딩 존 계정에서 Amazon EMR 클러스터의 인스턴스를 하나 이상 생성하여 임시 및 영구 Amazon EMR 클러스터를 모두 지원할 수 있습니다. Kerberos 인증을 활성화하여 온프레미스 Active Directory 도메인에서 사용자를 인증할 수도 있습니다.
Amazon EMR 클러스터와 함께 여러 데이터 스토어를 활용하여 사용 사례별 하둡 도구 및 라이브러리를 지원할 수 있습니다. Amazon EMR 클러스터는 OnDemand 또는 스팟 인스턴스를 사용하여 생성하고 오토 스케일링을 구성하여 용량을 관리하고 비용을 절감할 수 있습니다.
클러스터 로그 파일은 로깅 및 디버깅을 위해 Amazon S3 버킷에 보관할 수 있습니다. Amazon EMR 클러스터에서 호스팅되는 웹 인터페이스에 액세스하여 hadoop 관리 요구 사항을 지원하거나 고객을 위한 노트북 경험을 지원할 수도 있습니다.
자세한 내용은 Amazon EMR
AWS Managed Services의 Amazon EMR FAQ
Q: AMS 계정에서 Amazon EMR에 대한 액세스를 요청하려면 어떻게 해야 합니까?
관리 | AWS 서비스 | 자체 프로비저닝된 서비스 | 추가(검토 필요)(ct-3qe6io8t6jtny) 변경 유형을 제출하여 액세스를 요청합니다. 이 RFC는 계정에 다음 IAM 역할을 프로비저닝합니다.
customer_emr_cluster_instance_profilecustomer_emr_cluster_autoscaling_rolecustomer_emr_console_rolecustomer_emr_cluster_service_role
계정에 프로비저닝된 후에는 페더레이션 솔루션에서 customer_emr_console_role을 온보딩해야 합니다.
Q: AMS 계정에서 Amazon EMR을 사용하는 데 따르는 제한 사항은 무엇인가요?
AWS 콘솔에서 EC2 클러스터에 Amazon EMR을 생성하는 동안 클러스터 생성 - 고급 옵션을 사용하는 것이 좋습니다. Amazon EMR 클러스터는 키가 "for-use-with-amazon-emr-managed-policies"이고 값이 "true"인 태그를 추가하여 생성해야 합니다. 보안 옵션에서 다음 구성을 선택합니다.
클러스터의 사용자 지정 역할을 선택합니다.
EMR 역할: customer_emr_cluster_service_role
EC2 인스턴스 프로파일: customer_emr_cluster_instance_profile
Auto Scaling 역할: customer_emr_cluster_autoscaling_role
EC2 보안 그룹:
마스터: ams-emr-master-security-group
코어 및 작업: ams-emr-worker-security-group
서비스 액세스: ams-emr-serviceaccess-security-group
Q: AMS 계정에서 Amazon EMR을 사용하기 위한 사전 조건 또는 종속성은 무엇인가요?
AMS는 Amazon EMR 마스터, 작업자 및 서비스 노드에 대한 기본 보안 그룹을 생성합니다.
Amazon EMR 클러스터와 함께 사용할 시작 템플릿 및 보안 그룹에는 "for-use-with-amazon-emr-managed-policies" 태그 키와 "true" 값이 있어야 합니다.
기본 Amazon EMR 클러스터 인스턴스 프로파일을 사용하면 이름이 "emr"을 포함하는 s3 버킷 및 dynamodb 테이블과 같은 리소스에 액세스할 수 있습니다. Amazon EMR에서 사용할 추가 리소스를 사용하도록 추가 IAM 정책을 요청할 수 있습니다. 다음 리소스 ARN은 customer_emr_cluster_instance_profile을 사용하여 Amazon EMR 작업에 사용할 수 있습니다.
arn:aws:dynamodb:*:*:table/*emr*
arn:aws:kinesis:*:*:stream/*emr*
arn:aws:sns:*:*:*emr*arn:aws:sqs:*:*:*emr*
arn:aws:sqs:*:*:*emr*
arn:aws:sqs:*:*:AWS-ElasticMapReduce-*
arn:aws:sdb:*:*:domain:*emr*
arn:aws:s3:::*emr*
Amazon EMR 클러스터에 kerberos 인증이 필요한 경우:
각 각 각기 다른 Amazon EMR 클러스터에 사용할 영역 이름과 온프레미스 Active Directory IP 주소를 제공합니다.
인프라 요구 사항:
다중 계정 랜딩 존(MALZ): RFC를 제출하여 기존 애플리케이션 계정에서 새 관리형 애플리케이션 계정 또는 새 VPC를 생성합니다.
단일 계정 랜딩 존(SALZ): RFC를 제출하여 VPC에 새 서브넷을 생성합니다.
온프레미스 Active Directory에서 클러스터 영역에 대한 수신 신뢰를 구성합니다.
관리형 AD에서 영역에 대한 DNS 영역을 구성하려면 RFC를 제출합니다.
영역 구성:
MALZ: 관리 제출 | 기타 | 기타 | 업데이트(ct-0xdawir96cy7k) RFC를 업데이트하여 도메인 이름 접미사에 영역 이름을 사용하도록 VPC DHCP 옵션 세트를 업데이트합니다.
SALZ: 관리 제출 | 기타 | 기타 | 업데이트(ct-0xdawir96cy7k) RFC를 사용하여 도메인 이름 접미사에 특정 영역을 사용할 새 Amazon EMR AMI를 생성합니다.
Amazon EMR 스튜디오를 배포하려면 역할에 Amazon Simple Storage Service 버킷에 대한 사전 조건이 customer_emr_cluster_service_role 있습니다. 버킷을 생성하려면 자동 CTct-1a68ck03fn98r(배포 | 고급 스택 구성 요소 | S3 스토리지 | 생성)를 사용합니다. 이 자동 CT를 사용하여 Amazon EMR용 Amazon S3 버킷을 생성하는 경우 버킷 이름은 접두사 로 시작해야 합니다customer-emr-*. 또한 Amazon EMR 클러스터와 동일한 AWS 리전에 버킷을 생성해야 합니다.
