Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Den Upgrade-Agenten verwenden

Unterstützte Bereitstellungsmodi

Der Apache Spark Upgrade Agent für Amazon EMR unterstützt die folgenden beiden Bereitstellungsmodi für das Upgrade der end-to-end Spark-Anwendung, darunter Build-Datei-Upgrade, script/dependency Upgrade, lokaler Test und Validierung mit dem EMR-Ziel-Cluster oder der serverlosen EMR-Anwendung sowie Datenqualitätsvalidierung.

Weitere Informationen Funktionen und Fähigkeiten zu den Funktionen, Kapazitäten und Einschränkungen finden Sie unter.

Unterstützte Schnittstellen

Integration mit Amazon SageMaker Unified Studio VS Code Editor Spaces

In Amazon SageMaker Unified Studio VS Code Editor Spaces können Sie das IAM-Profil und die MCP-Konfiguration wie im Setup für den Upgrade Agent beschrieben konfigurieren, indem Sie einfach dem folgenden Screenshot folgen:

Eine Demonstration des EMR bei einem EC2 Upgrade mit dem SMUS VS-Code-Editor. Es beginnt mit einer einfachen Aufforderung, den Agenten aufzufordern, den Spark-Upgrade-Prozess zu starten.

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0.   
Use EMR-EC2 Cluster <cluster-id> to run the validation and s3 paths   
s3://<please fill in your staging bucket path> to store updated application artifacts.   
Use spark-upgrade-profile for AWS CLI operations.

Integration mit Kiro CLI (QCLI)

Starten Sie Kiro CLI oder Ihren AI Assistant und überprüfen Sie die geladenen Tools für den Upgrade-Agenten.

...  
spark-upgrade (MCP):   
- check_and_update_build_environment     * not trusted  
- check_and_update_python_environment    * not trusted  
- check_job_status                       * not trusted  
- compile_and_build_project              * not trusted  
...

Eine Demonstration des EMR Serverless Upgrade-Erlebnisses mit Kiro CLI. Sie können den Upgrade-Vorgang einfach mit der folgenden Aufforderung starten:

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0.   
Use EMR-Serverless Applicaion <application-id> and execution role <your EMR Serverless job execution role> to run the validation and s3 paths   
s3://<please fill in your staging bucket path> to store updated application artifacts.

Integration mit anderen IDEs

Die Konfiguration kann auch in anderen Programmen verwendet werden IDEs , um eine Verbindung zum Managed MCP-Server herzustellen:

EMR-Cluster oder EMR-Serverless-Anwendung für die Zielversion einrichten

Erstellen Sie den EMR-Cluster oder die EMR-Serverless-Anwendung mit der erwarteten Spark-Version, die Sie für die aktualisierte Anwendung verwenden möchten. Der Ziel-EMR-Cluster oder die EMR-S-Anwendung wird verwendet, um die Validierungsjobs zu senden, nachdem die Spark-Anwendungsartefakte aktualisiert wurden, um zu überprüfen, ob das Upgrade erfolgreich war, oder um zusätzliche Fehler zu beheben, die während der Validierung aufgetreten sind. Wenn Sie bereits über einen EMR-Zielcluster oder eine serverlose EMR-Anwendung verfügen, können Sie auf die vorhandene verweisen und diesen Schritt überspringen. Verwenden Sie Entwicklerkonten, die nicht zur Produktion bestimmt sind, und wählen Sie für die Validierung mit Spark-Upgrades Beispieldatensätze aus, die Ihre Produktionsdaten repräsentieren, aber kleiner sind. Auf dieser Seite finden Sie Anleitungen zum Erstellen eines EMR-Clusters oder einer serverlosen EMR-Anwendung aus vorhandenen Anwendungen:. Erstellen einer EMR-Cluster-Ziel-/EMR-S-Anwendung aus vorhandenen