Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Was ist Apache Spark Upgrade Agent für Amazon EMR
## Einführung
Der Apache Spark Upgrade Agent für Amazon EMR ist eine dialogorientierte KI-Funktion, die Apache Spark-Versionsupgrades für Ihre EMR-Anwendungen beschleunigt. Herkömmliche Spark-Upgrades erfordern monatelangen technischen Aufwand, um API-Änderungen zu analysieren, Abhängigkeitskonflikte zu lösen und die funktionale Korrektheit zu überprüfen. Der Agent vereinfacht den Upgrade-Prozess durch Eingabeaufforderungen in natürlicher Sprache, automatisierte Codetransformation und Datenqualitätsprüfung.
Sie können den Agenten für Upgrades PySpark und Scala-Anwendungen verwenden, die auf Amazon EMR auf EC2 und Amazon EMR Serverless ausgeführt werden. Der Agent analysiert Ihren Code, identifiziert erforderliche Änderungen und führt automatisierte Transformationen durch, wobei Ihre Genehmigungskontrolle über alle Änderungen gewahrt bleibt.
**Anmerkung**
Der Apache Spark Upgrade Agent ist ohne zusätzliche Kosten als Teil von Amazon EMR erhältlich. Sie zahlen nur für die zugrunde liegenden Amazon EMR-Ressourcen, die während der Ausführung des Validierungsauftrags verwendet wurden.
## Übersicht über die Architektur
Der Upgrade-Agent besteht aus drei Hauptkomponenten: jedem MCP-kompatiblen KI-Assistenten in Ihrer Entwicklungsumgebung zur Interaktion, dem [MCP-Proxy](https://github.com/aws/mcp-proxy-for-aws), der AWS die sichere Kommunikation zwischen Ihrem Client und dem MCP-Server übernimmt, und dem Amazon SageMaker Unified Studio Managed MCP Server (in der Vorschauversion), der spezielle Spark-Upgrade-Tools für Amazon EMR bereitstellt. Dieses Diagramm zeigt, wie Sie über Ihren KI-Assistenten mit dem Amazon SageMaker Unified Studio Managed MCP Server interagieren.
Der KI-Assistent orchestriert das Upgrade mithilfe spezieller Tools, die vom MCP-Server bereitgestellt werden. Gehen Sie dabei wie folgt vor:
1. **Planung**: Der Agent analysiert Ihre Projektstruktur und generiert oder überarbeitet einen Upgrade-Plan, der den end-to-end Spark-Upgrade-Prozess steuert.
1. **Kompilieren und Erstellen**: Der Agent aktualisiert die Build-Umgebung und die Abhängigkeiten, kompiliert das Projekt und behebt iterativ Build- und Testfehler.
1. **Tools zur Bearbeitung von Spark-Code**: Der Agent wendet gezielte Code-Updates an, um Inkompatibilitäten zwischen Spark-Versionen zu beheben und sowohl Build- als auch Runtime-Fehler zu beheben.
1. **Ausführung und Validierung**: Der Agent sendet Remote-Validierungsaufträge an EMR, überwacht die Ausführung und protokolliert und behebt iterativ Laufzeit- und Datenqualitätsprobleme.
1. **Beobachtbarkeit**: Der Agent verfolgt den Upgrade-Fortschritt mithilfe von EMR-Observability-Tools und ermöglicht es Benutzern, Upgrade-Analysen und den Status jederzeit einzusehen.
Eine Liste der wichtigsten Tools [Verwenden der Spark-Upgrade-Tools](emr-spark-upgrade-agent-tools.md) für jeden Schritt finden Sie unter.
**Topics**
+ [Einführung](#emr-spark-upgrade-agent-intro)
+ [Übersicht über die Architektur](#emr-spark-upgrade-agent-architecture)
+ [Einrichtung für den Upgrade-Agenten](emr-spark-upgrade-agent-setup.md)
+ [Den Upgrade-Agenten verwenden](emr-spark-upgrade-agent-using.md)
+ [Funktionen und Fähigkeiten](emr-spark-upgrade-agent-features.md)
+ [Problembehandlung und Fragen und Antworten](emr-spark-upgrade-agent-troubleshooting.md)
+ [Der Workflow für den Spark-Upgrade-Agenten im Detail](emr-spark-upgrade-agent-workflow-details.md)
+ [Validierung der Datenqualität aktivieren](emr-spark-upgrade-agent-data-quality-validation.md)
+ [Prompte Beispiele für den Spark Upgrade Agent](emr-spark-upgrade-agent-prompt-examples.md)
+ [Erstellen einer EMR-Cluster-Ziel-/EMR-S-Anwendung aus vorhandenen](emr-spark-upgrade-agent-target-cluster.md)
+ [Einrichtung der IAM-Rolle](emr-spark-upgrade-agent-iam-role.md)
+ [Konfiguration von Schnittstellen-VPC-Endpunkten für Amazon SageMaker Unified Studio MCP](spark-upgrade-agent-vpc-endpoints.md)
+ [Verwenden der Spark-Upgrade-Tools](emr-spark-upgrade-agent-tools.md)
+ [Regionsübergreifende Verarbeitung für den Apache Spark Upgrade Agent](emr-spark-upgrade-agent-cross-region.md)
+ [Protokollieren von Amazon SageMaker Unified Studio MCP-Aufrufen mit AWS CloudTrail](spark-upgrade-cloudtrail-integration.md)
+ [Serviceverbesserungen für Apache Spark Agents](emr-spark-agent-service-improvements.md)