기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
기능 및 기능
지원되는 플랫폼
-
언어: Python 및 Scala Spark 애플리케이션
-
대상 플랫폼: Amazon EMR, EMR Serverless 및 AWS Glue
작동 방식
Spark 애플리케이션이 실패하면 문제 해결 에이전트를 사용하여 무엇이 잘못되었는지 자동으로 조사할 수 있습니다. Spark 이벤트 로그, 오류 메시지 및 리소스 사용량을 분석하여 메모리 부족, 구성 오류 또는 코드 버그와 같은 정확한 문제를 정확히 찾아냅니다.
자연어 프롬프트에 Spark 워크로드를 분석하도록 요청하면 에이전트는 플랫폼의 리소스에 연결하고 기능(Spark 이벤트 로그, 쿼리 계획, 실행기 타임라인, 로그 추적, 구성 및 지표 포함)을 추출합니다.
-
EMR-EC2: 클러스터의 EMR 영구 UI에 연결
-
Glue: 작업에 대한 Glue Studio의 Spark UI에서 컨텍스트를 빌드합니다.
-
EMR-Serverless: 작업을 위해 EMR-Serverless Spark 기록 서버에 연결
-
또한 에이전트는 오류 스택 추적 및 구성 세부 정보를 분석하여 실행 가능한 인사이트를 제공합니다.
실패한 워크로드의 경우 명확한 근본 원인 설명과 이를 해결하기 위한 특정 단계를 얻을 수 있습니다. 에이전트가 코드 관련 문제를 감지하면 코드에서 변경해야 할 사항을 정확히 보여주는 코드 권장 사항을 자동으로 제공합니다. 전체 분석 없이 언제든지 코드 수준 제안을 직접 요청할 수도 있습니다.
사용 가능한 리전
Spark 문제 해결 에이전트는 다음 리전에서 사용할 수 있습니다.
-
아시아 태평양: 도쿄(ap-northeast-1), 서울(ap-northeast-2), 싱가포르(ap-southeast-1), 시드니(ap-southeast-2), 뭄바이(ap-south-1)
-
북미: 캐나다(ca-central-1)
-
유럽: 스톡홀름(eu-north-1), 아일랜드(eu-west-1), 런던(eu-west-2), 파리(eu-west-3), 프랑크푸르트(eu-central-1)
-
남아메리카: 상파울루(sa-east-1)
-
미국: 버지니아 북부(us-east-1), 오하이오(us-east-2), 오리건(us-west-2)
Spark 문제 해결 범위 및 사용자 요구 사항
-
지원되는 Spark 워크로드 상태: 도구는 실패한 Spark 워크로드에 대한 응답만 지원합니다.
-
EMR 영구 UI: Amazon EMR-EC2 워크로드를 분석할 때 분석 도구는 EMR 영구 UI에 연결하여 주요 Spark 정보를 검색하려고 시도합니다. EMR 영구 UI 고려 사항은 여기에 설명되어 있습니다.
-
Glue Studio Spark UI: Glue 워크로드를 분석할 AWS 때 분석 도구는 Amazon S3에서 사용자의 Spark 이벤트 로그를 구문 분석하여 주요 Spark 정보를 검색하려고 시도합니다. 허용되는 최대 Spark 이벤트 로그 크기는 여기에 설명되어 있습니다. 롤링 로그의 경우 512MB 및 2GB입니다.
-
코드 권장 사항: PySpark 워크로드용 Amazon EMR-EC2 및 AWS Glue 워크로드에만 지원됨
-
리전 리소스: Spark 문제 해결 에이전트는 리전별이며 문제 해결 프로세스에 해당 리전의 기본 EMR 리소스를 사용합니다. 리전 간 문제 해결은 지원되지 않습니다.
