アップグレードエージェントの使用 - Amazon EMR
サポートされているデプロイモードサポートされているインターフェイスターゲットバージョンの EMR クラスターまたは EMR Serverless アプリケーションをセットアップする

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

アップグレードエージェントの使用

サポートされているデプロイモード

Apache Spark Upgrade Agent for Amazon EMR は、ビルドファイルのアップグレード、スクリプト/依存関係のアップグレード、ターゲット EMR クラスターまたは EMR Serverless アプリケーションを使用したローカルテストと検証、データ品質検証など、end-to-endの Spark アプリケーションアップグレードエクスペリエンスのために次の 2 つのデプロイモードをサポートしています。

  • EMR on EC2

  • EMR Serverless

機能、容量、制限の詳細については、機能と機能「」を参照してください。

サポートされているインターフェイス

Amazon SageMaker Unified Studio VS Code Editor スペースとの統合

Amazon SageMaker Unified Studio VS Code Editor Spaces では、以下のスクリーンショットに従うだけで、アップグレードエージェントのセットアップの説明に従って IAM プロファイルと MCP 設定を設定できます。

Apache Spark アップグレードエージェント

SMUS VS コードエディタを使用した EMR on EC2 アップグレードエクスペリエンスのデモンストレーション。Spark アップグレードプロセスを開始するようにエージェントに求める簡単なプロンプトで始まります。

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0.   
Use EMR-EC2 Cluster <cluster-id> to run the validation and s3 paths   
s3://<please fill in your staging bucket path> to store updated application artifacts.   
Use spark-upgrade-profile for AWS CLI operations.

Kiro CLI との統合 (QCLI)

Kiro CLI または AI Assistant を起動し、アップグレードエージェントのロードされたツールを確認します。

...  
spark-upgrade (MCP):   
- check_and_update_build_environment     * not trusted  
- check_and_update_python_environment    * not trusted  
- check_job_status                       * not trusted  
- compile_and_build_project              * not trusted  
...

Kiro CLI を使用した EMR Serverless アップグレードエクスペリエンスのデモンストレーション。アップグレードプロセスは、次のプロンプトで簡単に開始できます。

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0.   
Use EMR-Serverless Applicaion <application-id> and execution role <your EMR Serverless job execution role> to run the validation and s3 paths   
s3://<please fill in your staging bucket path> to store updated application artifacts.

他の IDEs との統合

この設定は、他の IDEs で Managed MCP サーバーに接続するためにも使用できます。

  • Cline との統合 - Cline で MCP サーバーを使用するには、 を変更cline_mcp_settings.jsonし、上記の設定を追加します。MCP 設定の管理方法の詳細については、Cline のドキュメントを参照してください。

  • と Claude コードの統合 MCP サーバーと Claude コードを使用するには、設定ファイルを変更して MCP 設定を含めます。ファイルパスはオペレーティングシステムによって異なります。詳細なセットアップについては、https://code.claude.com/docs/en/mcp を参照してください。

  • GitHub Copilot との統合 - GitHub Copilot で MCP サーバーを使用するには、https://docs.github.com/en/copilot/how-tos/provide-context/use-mcp/extend-copilot-chat-with-mcp の指示に従って対応する設定ファイルを変更し、各 IDE の指示に従ってセットアップをアクティブ化します。

ターゲットバージョンの EMR クラスターまたは EMR Serverless アプリケーションをセットアップする

アップグレードされたアプリケーションに使用する予定の Spark バージョンを使用して、EMR クラスターまたは EMR Serverless アプリケーションを作成します。ターゲット EMR クラスターまたは EMR-S アプリケーションは、Spark アプリケーションアーティファクトがアップグレードされた後に検証ジョブの実行を送信して、アップグレードが成功したことを検証したり、検証中に発生した追加のエラーを修正したりするために使用されます。ターゲット EMR クラスターまたは EMR Serverless アプリケーションが既にある場合は、既存のアプリケーションを参照し、このステップをスキップできます。本番稼働用以外のデベロッパーアカウントを使用して、本番稼働用データを表すが、Spark Upgrades での検証にはサイズが小さいサンプルモックデータセットを選択します。既存の EMR クラスターまたは EMR Serverless アプリケーションからターゲット EMR クラスターまたは EMR Serverless アプリケーションを作成するガイダンスについては、このページを参照してください。 既存のアプリケーションからターゲット EMR クラスター/EMR-S アプリケーションを作成する