翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Amazon EMR 用の Apache Spark アップグレードエージェントとは
<a name="spark-upgrades"></a>

## 序章
<a name="emr-spark-upgrade-agent-intro"></a>

Amazon EMR 用 Apache Spark アップグレードエージェントは、EMR アプリケーションの Apache Spark バージョンアップグレードを高速化する会話型 AI 機能です。従来の Spark のアップグレードでは、API の変更を分析し、依存関係の競合を解決し、機能の正確性を検証するために数か月のエンジニアリング作業が必要です。エージェントは、自然言語プロンプト、自動コード変換、データ品質検証を通じてアップグレードプロセスを簡素化します。

エージェントを使用して、EC2 および Amazon EMR Serverless の Amazon EMR で実行されている PySpark および Scala アプリケーションをアップグレードできます。エージェントはコードを分析し、必要な変更を特定し、すべての変更の承認コントロールを維持しながら自動変換を実行します。

**注記**  
Apache Spark アップグレードエージェントは、Amazon EMR の一部として追加料金なしで利用できます。検証ジョブの実行中に使用される基盤となる Amazon EMR リソースに対してのみ料金が発生します。

## アーキテクチャの概要
<a name="emr-spark-upgrade-agent-architecture"></a>

アップグレードエージェントには 3 つの主なコンポーネントがあります。インタラクション用の開発環境の MCP 互換 AI Assistant、クライアントと [ MCP サーバー間の安全な通信を処理する AWS](https://github.com/aws/mcp-proxy-for-aws) の MCP Proxy、Amazon EMR 専用の Spark アップグレードツールを提供する Amazon SageMaker Unified Studio Managed MCP Server (プレビュー) です。この図は、AI Assistant を通じて Amazon SageMaker Unified Studio Managed MCP Server を操作する方法を示しています。

![Apache Spark エージェントのアップグレード](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/images/SparkUpgradeIntroduction.png)


AI アシスタントは、次のステップに従って MCP サーバーが提供する特殊なツールを使用してアップグレードを調整します。

1. **計画**: エージェントはプロジェクト構造を分析し、end-to-endの Spark アップグレードプロセスをガイドするアップグレードプランを生成または修正します。

1. **コンパイルとビルド**: エージェントはビルド環境と依存関係を更新し、プロジェクトをコンパイルして、ビルドとテストの失敗を繰り返し修正します。

1. **Spark コード編集ツール**: エージェントは、ターゲットを絞ったコード更新を適用して Spark バージョンの非互換性を解決し、ビルドタイムエラーとランタイムエラーの両方を修正します。

1. **実行と検証**: エージェントは EMR にリモート検証ジョブを送信し、実行とログをモニタリングして、ランタイムとデータ品質の問題を繰り返し修正します。

1. **オブザーバビリティ**: エージェントは EMR オブザーバビリティツールを使用してアップグレードの進行状況を追跡し、ユーザーはいつでもアップグレード分析とステータスを表示できます。

各ステップの主要なツールのリスト[Spark アップグレードツールの使用](emr-spark-upgrade-agent-tools.md)については、「」を参照してください。

**Topics**
+ [序章](#emr-spark-upgrade-agent-intro)
+ [アーキテクチャの概要](#emr-spark-upgrade-agent-architecture)
+ [アップグレードエージェントのセットアップ](emr-spark-upgrade-agent-setup.md)
+ [アップグレードエージェントの使用](emr-spark-upgrade-agent-using.md)
+ [機能と機能](emr-spark-upgrade-agent-features.md)
+ [トラブルシューティングと Q&A](emr-spark-upgrade-agent-troubleshooting.md)
+ [Spark アップグレードエージェントのワークフローの詳細](emr-spark-upgrade-agent-workflow-details.md)
+ [データ品質検証を有効にする](emr-spark-upgrade-agent-data-quality-validation.md)
+ [Spark アップグレードエージェントのプロンプト例](emr-spark-upgrade-agent-prompt-examples.md)
+ [既存のアプリケーションからターゲット EMR クラスター/EMR-S アプリケーションを作成する](emr-spark-upgrade-agent-target-cluster.md)
+ [IAM ロールのセットアップ](emr-spark-upgrade-agent-iam-role.md)
+ [Amazon SageMaker Unified Studio MCP のインターフェイス VPC エンドポイントの設定](spark-upgrade-agent-vpc-endpoints.md)
+ [Spark アップグレードツールの使用](emr-spark-upgrade-agent-tools.md)
+ [Apache Spark アップグレードエージェントのクロスリージョン処理](emr-spark-upgrade-agent-cross-region.md)
+ [を使用した Amazon SageMaker Unified Studio MCP 呼び出しのログ記録 AWS CloudTrail](spark-upgrade-cloudtrail-integration.md)
+ [Apache Spark エージェントのサービス改善](emr-spark-agent-service-improvements.md)