업그레이드 에이전트 사용 - Amazon EMR
지원되는 배포 모드지원되는 인터페이스대상 버전에 대한 EMR 클러스터 또는 EMR Serverless 애플리케이션 설정

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

업그레이드 에이전트 사용

지원되는 배포 모드

Amazon EMR용 Apache Spark 업그레이드 에이전트는 빌드 파일 업그레이드, 스크립트/종속성 업그레이드, 대상 EMR 클러스터 또는 EMR Serverless 애플리케이션을 사용한 로컬 테스트 및 검증, 데이터 품질 검증을 포함한 end-to-end Spark 애플리케이션 업그레이드 경험을 위해 다음과 같은 두 가지 배포 모드를 지원합니다.

  • EMR on EC2

  • EMR Serverless

자세한 기능, 용량 및 제한 사항을 알아보려면 기능 및 기능 섹션을 참조하세요.

지원되는 인터페이스

Amazon SageMaker Unified Studio VS 코드 편집기 스페이스와 통합

Amazon SageMaker Unified Studio VS Code Editor Spaces에서 아래 스크린샷을 따라 업그레이드 에이전트 설정에 설명된 대로 IAM 프로파일 및 MCP 구성을 구성할 수 있습니다.

Apache Spark 업그레이드 에이전트

SMUS VS 코드 편집기를 사용한 EMR on EC2 업그레이드 경험에 대한 데모입니다. 에이전트에게 Spark 업그레이드 프로세스 시작을 요청하는 간단한 프롬프트로 시작합니다.

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0.   
Use EMR-EC2 Cluster <cluster-id> to run the validation and s3 paths   
s3://<please fill in your staging bucket path> to store updated application artifacts.   
Use spark-upgrade-profile for AWS CLI operations.

Kiro CLI(QCLI)와 통합

Kiro CLI 또는 AI Assistant를 시작하고 업그레이드 에이전트에 대해 로드된 도구를 확인합니다.

...  
spark-upgrade (MCP):   
- check_and_update_build_environment     * not trusted  
- check_and_update_python_environment    * not trusted  
- check_job_status                       * not trusted  
- compile_and_build_project              * not trusted  
...

Kiro CLI를 사용한 EMR Serverless 업그레이드 경험에 대한 데모입니다. 다음 프롬프트를 사용하여 업그레이드 프로세스를 시작할 수 있습니다.

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0.   
Use EMR-Serverless Applicaion <application-id> and execution role <your EMR Serverless job execution role> to run the validation and s3 paths   
s3://<please fill in your staging bucket path> to store updated application artifacts.

다른 IDEs와 통합

다른 IDEs에서 구성을 사용하여 관리형 MCP 서버에 연결할 수도 있습니다.

  • Cline과 통합 - MCP 서버를 Cline과 함께 사용하려면를 수정cline_mcp_settings.json하고 위의 구성을 추가합니다. MCP 구성을 관리하는 방법에 대한 자세한 내용은 Cline의 설명서를 참조하세요.

  • Claude 코드와 통합 Claude 코드와 함께 MCP 서버를 사용하려면 MCP 구성을 포함하도록 구성 파일을 수정합니다. 파일 경로는 운영 체제에 따라 다릅니다. 자세한 설정은 https://code.claude.com/docs/en/mcp 참조하십시오.

  • GitHub Copilot과의 통합 - GitHub Copilot과 함께 MCP 서버를 사용하려면 https://docs.github.com/en/copilot/how-tos/provide-context/use-mcp/extend-copilot-chat-with-mcp 지침에 따라 해당 구성 파일을 수정하고 각 IDE에 따른 지침에 따라 설정을 활성화합니다.

대상 버전에 대한 EMR 클러스터 또는 EMR Serverless 애플리케이션 설정

업그레이드된 애플리케이션에 사용할 예상 Spark 버전으로 EMR 클러스터 또는 EMR Serverless 애플리케이션을 생성합니다. 대상 EMR 클러스터 또는 EMR-S 애플리케이션은 Spark 애플리케이션 아티팩트가 업그레이드된 후 검증 작업 실행을 제출하여 성공적인 업그레이드를 확인하거나 검증 중에 발생한 추가 오류를 수정하는 데 사용됩니다. 대상 EMR 클러스터 또는 EMR Serverless 애플리케이션이 이미 있는 경우 기존 클러스터를 참조하고이 단계를 건너뛸 수 있습니다. 비프로덕션 개발자 계정을 사용하고, Spark 업그레이드를 사용하는 검증에 대해 프로덕션 데이터를 나타내지만 크기가 더 작은 샘플 모의 데이터세트를 선택합니다. 기존 클러스터에서 대상 EMR 클러스터 또는 EMR Serverless 애플리케이션을 생성하는 지침은이 페이지를 참조하세요기존 애플리케이션에서 대상 EMR 클러스터/EMR-S 애플리케이션 생성.