Amazon EMR용 Apache Spark 업그레이드 에이전트란? - Amazon EMR
소개아키텍처 개요

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon EMR용 Apache Spark 업그레이드 에이전트란?

소개

Amazon EMR용 Apache Spark 업그레이드 에이전트는 EMR 애플리케이션의 Apache Spark 버전 업그레이드를 가속화하는 대화형 AI 기능입니다. 기존 Spark 업그레이드에서는 API 변경 사항을 분석하고, 종속성 충돌을 해결하고, 기능적 정확성을 검증하기 위해 몇 개월의 엔지니어링 노력이 필요합니다. 에이전트는 자연어 프롬프트, 자동 코드 변환 및 데이터 품질 검증을 통해 업그레이드 프로세스를 간소화합니다.

에이전트를 사용하여 Amazon EMR on EC2 및 Amazon EMR Serverless에서 실행되는 PySpark 및 Scala 애플리케이션을 업그레이드할 수 있습니다. 에이전트는 코드를 분석하고, 필요한 변경 사항을 식별하고, 자동화된 변환을 수행하는 동시에 모든 수정 사항에 대한 승인 제어를 유지합니다.

아키텍처 개요

업그레이드 에이전트에는 상호 작용을 위한 개발 환경의 모든 MCP 호환 AI Assistant, 클라이언트와 MCP 서버 간의 보안 통신을 처리하는 용 MCP 프록시 AWS, Amazon EMR용 특수 Spark 업그레이드 도구를 제공하는 Amazon SageMaker Unified Studio 관리형 MCP 서버(평가판)의 세 가지 주요 구성 요소가 있습니다. 이 다이어그램은 AI 어시스턴트를 통해 Amazon SageMaker Unified Studio 관리형 MCP 서버와 상호 작용하는 방법을 보여줍니다.

Apache Spark 업그레이드 에이전트

AI 어시스턴트는 다음 단계에 따라 MCP 서버에서 제공하는 특수 도구를 사용하여 업그레이드를 오케스트레이션합니다.

  1. 계획: 에이전트가 프로젝트 구조를 분석하고 end-to-end Spark 업그레이드 프로세스를 안내하는 업그레이드 계획을 생성하거나 수정합니다.

  2. 컴파일 및 빌드: 에이전트가 빌드 환경 및 종속성을 업데이트하고, 프로젝트를 컴파일하고, 빌드 및 테스트 실패를 반복적으로 수정합니다.

  3. Spark 코드 편집 도구: 에이전트는 대상 코드 업데이트를 적용하여 Spark 버전 비호환성을 해결하고 빌드 타임 및 런타임 오류를 모두 수정합니다.

  4. 실행 및 검증: 에이전트가 원격 검증 작업을 EMR에 제출하고 실행 및 로그를 모니터링하며 런타임 및 데이터 품질 문제를 반복적으로 수정합니다.

  5. 관찰성: 에이전트는 EMR 관찰성 도구를 사용하여 업그레이드 진행 상황을 추적하고 사용자가 언제든지 업그레이드 분석 및 상태를 볼 수 있도록 합니다.

각 단계의 주요 도구 목록은 Spark 업그레이드 도구 사용 섹션을 참조하세요.

주제