기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

GitHub의 Amazon EMR on EKS 모범 사례 안내서에 대한 링크

오픈 소스 커뮤니티 협업을 통해 Amazon EMR on EKS 모범 사례 안내서를 제작했습니다. 이를 통해 가상 클러스터의 생성 및 실행을 빠르게 반복하고 이와 관련된 권장 사항을 제공할 수 있습니다. 섹션별로 Amazon EMR on EKS 모범 사례 안내서를 사용하는 것이 좋습니다. 각 섹션의 링크를 선택하여 GitHub 사이트로 이동합니다.

보안

Encryption best practices: 저장 데이터 및 전송 중인 데이터에 대해 암호화를 사용하는 방법.

Managing network security에서는 Amazon RDS 및 Amazon Redshift와 같이 AWS 서비스 에 호스팅되는 데이터 소스에 연결하는 동안 Amazon EMR on EKS 포드에 대한 보안 그룹을 구성하는 방법을 설명합니다.

AWS 보안 암호 관리자를 사용하여 보안 암호를 저장합니다.

Pyspark 작업 제출

Pyspark job submission: zip, egg, wheel, pex 등의 패키징 형식을 사용하여 pySpark 애플리케이션에 대한 다양한 유형의 패키징을 지정합니다.

스토리지

Using EBS volumes: EBS 볼륨이 필요한 작업에 대해 정적 및 동적 프로비저닝을 사용하는 방법.

Using Amazon FSx for Lustre volumes: Amazon FSx for Lustre 볼륨이 필요한 작업에 대해 정적 및 동적 프로비저닝을 사용하는 방법.

Using Instance store volumes: 작업 처리를 위해 인스턴스 스토어 볼륨을 사용하는 방법.

메타스토어 통합

Using Hive metastore: Hive 메타스토어를 사용하는 다양한 방법을 제공합니다.

Glue 사용: AWS는 AWS Glue 카탈로그를 구성하는 다양한 방법을 제공합니다.

디버깅

Using Spark debugging: 로그 수준 변경 방법.

Connecting to Spark UI on the driver pod.

How to use self-hosted Spark history server with Amazon EMR on EKS.

Amazon EMR on EKS 문제 해결

Troubleshooting.

노드 배치

Using Kubernetes node selectors: single-az 및 기타 사용 사례에 대해 모범 사례.

Using Fargate node placement.

성능

Using Dynamic Resource Allocation (DRA).

기본적으로 spark.dynamicAllocation.preallocateExecutors는 Amazon EMR Spark에서 활성화됩니다. spark.dynamicAllocation.initialExecutors 및 spark.dynamicAllocation.minExecutors가 설정되지 않은 경우 Spark는 소규모 워크로드의 경우에도 예상 작업 수를 기반으로 시작 시 많은 수의 실행기를 요청할 수 있습니다. 과도한 컨테이너 이탈을 방지하려면 다음 방법 중 하나를 사용합니다.

EKS best practices: Amazon VPC 컨테이너 네트워크 인터페이스 플러그인(CNI), Cluster Autoscaler, 코어 DNS에 대한 모범 사례.

비용 최적화

Using spot instances: Amazon EC2 스팟 인스턴스 모범 사례 및 Spark 노드 서비스 해제 기능 사용 방법.

사용 AWS Outposts

를 사용하여 Amazon EMR on EKS 실행 AWS Outposts