View a markdown version of this page

使用故障排除代理 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用故障排除代理

支持的部署模式

适用于 Amazon EMR 的 Apache Spark 故障排除代理支持针对失败的 Spark 工作负载的全面分析功能,包括自动错误诊断、性能瓶颈识别、代码建议和可行的建议,以提高以下 Spark 部署模式下的应用程序性能:

  • EC2 上的 EMR

  • EMR Serverless

  • EC2 上的 EMR

  • AWS Glue

请参阅特征和功能以了解详细的功能、容量和限制。

支持的接口

对 Amazon SageMaker 笔记本中的单元进行故障排除

演示使用 Amazon SageMaker 笔记本电脑的故障排除经验。对于任何笔记本手机故障,您可以通过单击Fix with AI按钮让 Amazon SageMaker Notebook Agent 对故障进行故障排除,请求进行分析,然后进行可能的代码修复(如果错误是由代码引起的)。

使用 Kiro CLI 对 Glue 和 EMR Spark 应用程序进行故障排除

启动 Kiro CLI 或你的 AI Assistant,然后验证已加载的工具以进行故障排除。

... sagemaker-unified-studio-mcp-code-rec (MCP) - spark_code_recommendation not trusted sagemaker-unified-studio-mcp-troubleshooting (MCP) - analyze_spark_workload not trusted ...

现在,您可以启动 Spark 故障排除代理工作流程了。

演示 Kiro CLI 的故障排除体验。您只需按以下提示即可开始故障排除过程:

Analyze my Glue job. The job name is "xxx" and the job run id is "xxx"

与其他 MCP 客户端集成

中所述的配置也故障排除代理的设置可以在其他 MCP 客户端和 IDE 中用于连接到托管 MCP 服务器:

使用 Amazon EMR 控制台的 AI 按钮进行故障排除

您可以直接使用 Amazon EMR 控制台上的 “使用 A I 进行故障排除” 按钮来启动故障排除代理。

在 EC2 控制台上使用适用于 EMR 的 AI 按钮进行故障排除

打开 Amazon EMR 控制台(https://console.aws.amazon.com/elasticmapreduce/home)。在 EC2 上选择 EMR 并选择您的集群。打开 “步骤” 选项卡。对于任何失败的Spark步骤,请选择失败按钮。这将显示弹出框中的 “使用 AI 进行故障排除” 按钮。或者,选中失败步骤旁边的复选框,然后选择顶部的 “使用 AI 进行故障排除”。

以下视频展示了如何在 EC2 上使用 EMR 的 “人工智能故障排除” 按钮。

使用 EMR 无服务器控制台的 AI 按钮进行故障排除

在上打开亚马逊 EMR 控制台,https://console.aws.amazon.com/elasticmapreduce/home然后导航到 EMR Studio。打开你的 EMR Studio 网址。导航到 “应用程序”,然后选择要进行故障排除的应用程序。打开 Batch 作业运行选项卡。选择 “失败” 按钮可在弹出框中显示 “使用 AI 进行故障排除” 按钮。或者,选中失败的作业运行旁边的复选框,然后选择顶部的 “使用 AI 进行故障排除”。

以下视频展示了如何使用 EMR Serverless 的 “人工智能故障排除” 按钮。

在 EKS 控制台上使用适用于 EMR 的 AI 按钮进行故障排除

打开 Amazon EMR 控制台(https://console.aws.amazon.com/elasticmapreduce/home)。在 E KS 虚拟集群上选择 EMR,然后选择您的集群。对于任何失败的Spark作业运行,请选择失败按钮。这将显示弹出框中的 “使用 AI 进行故障排除” 按钮。

以下视频显示了如何在 EKS 上使用 “人工智能疑难解答” 按钮进行 EMR。