使用升级代理 - Amazon EMR
支持的部署模式支持的接口为目标版本设置 EMR 集群或 EMR 无服务器应用程序

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用升级代理

支持的部署模式

适用于 Amazon EMR 的 Apache Spark 升级代理支持 Spark 应用程序升级体验的以下两种部署模式，包括构建文件升级 script/dependency 、升级、使用目标 EMR 集群或 EMR 无服务器应用程序进行本地测试和验证，以及数据质量验证。 end-to-end

  • EMR 已开启 EC2

  • EMR Serverless

请参阅特征和功能以了解详细的功能、容量和限制。

支持的接口

与亚马逊 SageMaker 统一工作室 VS 代码编辑器空间集成

在 Amazon SageMaker Unified Studio VS Code Editor Spaces 上，您只需按照以下屏幕截图进行操作，即可按照升级代理设置中所述配置 IAM 配置文件和 MCP 配置：

Apache Spark 升级代理

使用 SMUS VS 代码编辑器演示 EMR EC2 升级体验。它从一个简单的提示开始，要求代理启动 Spark 升级过程。

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0.   
Use EMR-EC2 Cluster <cluster-id> to run the validation and s3 paths   
s3://<please fill in your staging bucket path> to store updated application artifacts.   
Use spark-upgrade-profile for AWS CLI operations.

与 Kiro CLI 集成 (QCLI)

启动 Kiro CLI 或你的 AI Assistant，然后验证已加载的升级代理工具。

...  
spark-upgrade (MCP):   
- check_and_update_build_environment     * not trusted  
- check_and_update_python_environment    * not trusted  
- check_job_status                       * not trusted  
- compile_and_build_project              * not trusted  
...

使用 Kiro CLI 演示 EMR 无服务器升级体验。您只需按以下提示启动升级过程即可：

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0.   
Use EMR-Serverless Applicaion <application-id> and execution role <your EMR Serverless job execution role> to run the validation and s3 paths   
s3://<please fill in your staging bucket path> to store updated application artifacts.

与他人集成 IDEs

该配置也可以在其他配置中用于 IDEs 连接到托管 MCP 服务器：

为目标版本设置 EMR 集群或 EMR 无服务器应用程序

使用您计划用于升级后的应用程序的预期 Spark 版本创建 EMR 集群或 EMR Serverless 应用程序。在 Spark 应用程序工件升级后，将使用目标 EMR 集群或 EMR-S 应用程序提交验证作业，以验证升级成功或修复验证期间遇到的其他错误。如果您已经有目标 EMR 集群或 EMR Serverless 应用程序，则可以参考现有集群或者 EMR Serverless 应用程序，然后跳过此步骤。使用非生产开发者账户，选择代表您的生产数据但规模较小的示例模拟数据集，以使用 Spark 升级功能进行验证。请参阅此页面，获取从现有集群创建目标 EMR 集群或 EMR Serverless 应用程序的指南:. 利用现有集群/EMR-S 应用程序创建目标 EMR 集群/EMR-S 应用程序