기능 및 기능

언어: Python 및 Scala 애플리케이션

빌드 시스템: Scala 프로젝트용 Maven 및 SBT, requirements.txt, Pipfile 및 Python 프로젝트용 Setuptools

대상 플랫폼: Amazon EMR 및 EMR Serverless

지원되는 버전: 버전 2.4에서 3.5로의 Apache Spark 업그레이드를 지원합니다. 해당 배포 모드 매핑은 다음과 같습니다.

빌드 구성: 종속성 관리 파일(pom.xml, requirements.txt 등) 자동 업데이트

소스 코드: API 호환성 문제 및 더 이상 사용되지 않는 메서드 사용 수정

테스트 코드: 유닛 및 통합 테스트가 대상 Spark 버전과 함께 작동하는지 확인합니다.

종속성: 패키징된 종속성을 대상 EMR 버전과 호환되는 버전으로 업그레이드합니다.

검증: 대상 EMR 클러스터에서 애플리케이션을 컴파일하고 검증합니다.

데이터 품질 분석: 스키마 차이, 값 수준 통계 드리프트(min/max/mean) 및 집계 행 수 불일치를 감지하고 자세한 영향 보고를 제공합니다.

아시아 태평양: 도쿄(ap-northeast-1), 서울(ap-northeast-2), 싱가포르(ap-southeast-1), 시드니(ap-southeast-2), 뭄바이(ap-south-1)

북미: 캐나다(ca-central-1)

유럽: 스톡홀름(eu-north-1), 아일랜드(eu-west-1), 런던(eu-west-2), 파리(eu-west-3), 프랑크푸르트(eu-central-1)

남아메리카: 상파울루(sa-east-1)

미국: 버지니아 북부(us-east-1), 오하이오(us-east-2), 오리건(us-west-2)

클러스터 관리: Spark 업그레이드 에이전트는 애플리케이션 코드 업그레이드에 중점을 둡니다. 새 버전의 대상 EMR 클러스터는 사용자가 생성하고 관리해야 합니다.

부트스트랩 작업: Spark 업그레이드 에이전트는 Spark 애플리케이션 코드 외부에서 사용자 지정 부트스트랩 스크립트를 업그레이드하지 않습니다. 사용자가 업그레이드해야 합니다.

빌드 및 테스트용 업그레이드: 업그레이드 에이전트는 개발 환경에서 빌드를 수행하고 유닛 및 통합 테스트를 로컬로 실행하여 애플리케이션이 대상 Spark 버전으로 성공적으로 컴파일되는지 확인합니다. 로컬 실행을 위한 Spark 애플리케이션 코드에 대한 제한(보안 정책, 리소스 제한, 네트워크 제한 또는 기업 지침)이 있는 경우 Amazon SageMaker Unified Studio VSCode IDE Spaces 또는 EC2를 사용하여 업그레이드 에이전트를 실행하는 것이 좋습니다. 업그레이드 에이전트는 대상 EMR-EC2 클러스터 또는 EMR-S 애플리케이션을 사용하여 end-to-end.

오류 중심 접근 방식: 업그레이드 에이전트는 오류 중심 방법론을 사용하여 한 번에 여러 수정 사항이 아닌 컴파일 또는 런타임 오류를 기반으로 한 번에 하나의 수정 작업을 수행합니다. 이 반복적 접근 방식을 사용하면 다음 단계로 진행하기 전에 각 문제를 적절하게 해결할 수 있습니다.

프라이빗 종속성: 프라이빗 아티팩트 리포지토리에서 설치된 종속성은이 프로세스의 일부로 자동으로 업그레이드할 수 없습니다. 사용자가 업그레이드해야 합니다.

리전 리소스: Spark 업그레이드 에이전트는 리전이며 업그레이드 프로세스에 해당 리전의 기본 EMR 리소스를 사용합니다. 리전 간 업그레이드는 지원되지 않습니다.