什么是亚马逊 EMR 的 Apache Spark 升级代理 - Amazon EMR
简介架构概述

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

什么是亚马逊 EMR 的 Apache Spark 升级代理

简介

适用于亚马逊 EMR 的 Apache Spark 升级代理是一项对话式 AI 功能，可加速 EMR 应用程序的 Apache Spark 版本升级。传统的 Spark 升级需要数月的工程工作来分析 API 更改、解决依赖关系冲突和验证功能正确性。该代理通过自然语言提示、自动代码转换和数据质量验证来简化升级过程。

您可以使用代理升级在 Amazon EMR PySpark 和 Amazon EMR EC2 Serverless 上运行的 Scala 应用程序。代理会分析您的代码，识别所需的更改，并执行自动转换，同时保持您对所有修改的审批控制。

架构概述

升级代理有三个主要组件：开发环境中用于交互的任何 MCP 兼容 AI 助手、用于处理客户端与 MCP 服务器之间安全通信的 MCP 代理，以及为 AWS亚马逊 EMR 提供专用 Spark 升级工具的 Amazon SageMaker Unified Studio 托管 MCP 服务器（预览版）。此图表说明了您如何通过 AI Assistant 与 Amazon SageMaker Unified Studio 托管 MCP 服务器进行交互。

Apache Spark 升级代理

AI 助手将按照以下步骤使用 MCP 服务器提供的专用工具来协调升级：

  1. 规划：代理分析您的项目结构，并生成或修改指导 end-to-end Spark升级过程的升级计划。

  2. 编译和构建：代理更新构建环境和依赖关系，编译项目，并以迭代方式修复构建和测试失败。

  3. Spark 代码编辑工具：代理应用有针对性的代码更新来解决 Spark 版本不兼容问题，修复编译时和运行时错误。

  4. 执行和验证：代理向 EMR 提交远程验证作业，监控执行和日志，并以迭代方式修复运行时和数据质量问题。

  5. 可观察性：代理使用 EMR 可观测性工具跟踪升级进度，并允许用户随时查看升级分析和状态。

使用 Spark 升级工具有关每个步骤的主要工具列表，请参阅。

主题