기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# Amazon EMR용 Apache Spark 업그레이드 에이전트란?
## 소개
Amazon EMR용 Apache Spark 업그레이드 에이전트는 EMR 애플리케이션의 Apache Spark 버전 업그레이드를 가속화하는 대화형 AI 기능입니다. 기존 Spark 업그레이드에서는 API 변경 사항을 분석하고, 종속성 충돌을 해결하고, 기능적 정확성을 검증하기 위해 몇 개월의 엔지니어링 노력이 필요합니다. 에이전트는 자연어 프롬프트, 자동 코드 변환 및 데이터 품질 검증을 통해 업그레이드 프로세스를 간소화합니다.
에이전트를 사용하여 Amazon EMR on EC2 및 Amazon EMR Serverless에서 실행되는 PySpark 및 Scala 애플리케이션을 업그레이드할 수 있습니다. 에이전트는 코드를 분석하고, 필요한 변경 사항을 식별하고, 자동화된 변환을 수행하는 동시에 모든 수정 사항에 대한 승인 제어를 유지합니다.
**참고**
Apache Spark 업그레이드 에이전트는 Amazon EMR의 일부로 추가 비용 없이 사용할 수 있습니다. 검증 작업 실행 중에 사용되는 기본 Amazon EMR 리소스에 대해서만 비용을 지불합니다.
## 아키텍처 개요
업그레이드 에이전트에는 상호 작용을 위한 개발 환경의 MCP 호환 AI Assistant, 클라이언트와 [ MCP 서버 간의 보안 통신을 처리하는 용 MCP 프록시 AWS](https://github.com/aws/mcp-proxy-for-aws), Amazon EMR용 특수 Spark 업그레이드 도구를 제공하는 Amazon SageMaker Unified Studio 관리형 MCP 서버(평가판)의 세 가지 주요 구성 요소가 있습니다. 이 다이어그램은 AI 도우미를 통해 Amazon SageMaker Unified Studio 관리형 MCP 서버와 상호 작용하는 방법을 보여줍니다.
AI 어시스턴트는 다음 단계에 따라 MCP 서버에서 제공하는 특수 도구를 사용하여 업그레이드를 오케스트레이션합니다.
1. **계획**: 에이전트가 프로젝트 구조를 분석하고 end-to-end Spark 업그레이드 프로세스를 안내하는 업그레이드 계획을 생성하거나 수정합니다.
1. **컴파일 및 빌드**: 에이전트가 빌드 환경 및 종속성을 업데이트하고, 프로젝트를 컴파일하고, 빌드 및 테스트 실패를 반복적으로 수정합니다.
1. **Spark 코드 편집 도구**: 에이전트는 대상 코드 업데이트를 적용하여 Spark 버전 비호환성을 해결하고 빌드 타임 및 런타임 오류를 모두 수정합니다.
1. **실행 및 검증**: 에이전트가 원격 검증 작업을 EMR에 제출하고 실행 및 로그를 모니터링하며 런타임 및 데이터 품질 문제를 반복적으로 수정합니다.
1. **관찰성**: 에이전트는 EMR 관찰성 도구를 사용하여 업그레이드 진행 상황을 추적하고 사용자가 언제든지 업그레이드 분석 및 상태를 볼 수 있도록 합니다.
각 단계의 주요 도구 목록은 [Spark 업그레이드 도구 사용](emr-spark-upgrade-agent-tools.md) 섹션을 참조하세요.
**Topics**
+ [소개](#emr-spark-upgrade-agent-intro)
+ [아키텍처 개요](#emr-spark-upgrade-agent-architecture)
+ [에이전트 업그레이드 설정](emr-spark-upgrade-agent-setup.md)
+ [업그레이드 에이전트 사용](emr-spark-upgrade-agent-using.md)
+ [기능 및 기능](emr-spark-upgrade-agent-features.md)
+ [문제 해결 및 Q&A](emr-spark-upgrade-agent-troubleshooting.md)
+ [Spark 업그레이드 에이전트 워크플로 세부 정보](emr-spark-upgrade-agent-workflow-details.md)
+ [데이터 품질 검증 활성화](emr-spark-upgrade-agent-data-quality-validation.md)
+ [Spark 업그레이드 에이전트에 대한 프롬프트 예제](emr-spark-upgrade-agent-prompt-examples.md)
+ [기존 애플리케이션에서 대상 EMR 클러스터/EMR-S 애플리케이션 생성](emr-spark-upgrade-agent-target-cluster.md)
+ [IAM 역할 설정](emr-spark-upgrade-agent-iam-role.md)
+ [Amazon SageMaker Unified Studio MCP에 대한 인터페이스 VPC 엔드포인트 구성](spark-upgrade-agent-vpc-endpoints.md)
+ [Spark 업그레이드 도구 사용](emr-spark-upgrade-agent-tools.md)
+ [Apache Spark 업그레이드 에이전트에 대한 리전 간 처리](emr-spark-upgrade-agent-cross-region.md)
+ [를 사용하여 Amazon SageMaker Unified Studio MCP 호출 로깅 AWS CloudTrail](spark-upgrade-cloudtrail-integration.md)
+ [Apache Spark 에이전트에 대한 서비스 개선 사항](emr-spark-agent-service-improvements.md)