使用升級代理程式 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用升級代理程式

支援的部署模式

適用於 Amazon EMR 的 Apache Spark 升級代理程式支援下列兩種部署模式,提供end-to-end Spark 應用程式升級體驗,包括建置檔案升級、指令碼/相依性升級、使用目標 EMR 叢集或 EMR Serverless 應用程式進行本機測試和驗證,以及資料品質驗證。

  • EC2 上的 EMR

  • EMR Serverless

請參閱功能以了解詳細功能、容量和限制。

支援的界面

與 Amazon SageMaker Unified Studio VS 程式碼編輯器空間整合

在 Amazon SageMaker Unified Studio VS 程式碼編輯器空間上,您可以依照升級代理程式設定中所述設定 IAM 設定檔和 MCP 組態,只要依照下列螢幕擷取畫面執行即可:

Apache Spark 升級代理程式

示範 SMUS VS 程式碼編輯器的 EMR on EC2 升級體驗。從簡單的提示開始,要求客服人員開始 Spark 升級程序。

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0. Use EMR-EC2 Cluster <cluster-id> to run the validation and s3 paths s3://<please fill in your staging bucket path> to store updated application artifacts. Use spark-upgrade-profile for AWS CLI operations.

與 Kiro CLI 整合 (QCLI)

啟動 Kiro CLI 或您的 AI 助理,並驗證升級代理程式載入的工具。

... spark-upgrade (MCP): - check_and_update_build_environment * not trusted - check_and_update_python_environment * not trusted - check_job_status * not trusted - compile_and_build_project * not trusted ...

Kiro CLI 的 EMR Serverless 升級體驗示範。您只需使用下列提示開始升級程序:

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0. Use EMR-Serverless Applicaion <application-id> and execution role <your EMR Serverless job execution role> to run the validation and s3 paths s3://<please fill in your staging bucket path> to store updated application artifacts.

與其他 IDEs整合

組態也可用於其他 IDEs,以連線至 Managed MCP 伺服器:

設定目標版本的 EMR 叢集或 EMR Serverless 應用程式

使用您計劃用於升級應用程式的預期 Spark 版本,建立 EMR 叢集或 EMR Serverless 應用程式。升級 Spark 應用程式成品之後,目標 EMR 叢集或 EMR-S 應用程式將用於提交驗證任務執行,以驗證成功升級或修正驗證期間遇到的其他錯誤。如果您已有目標 EMR 叢集或 EMR Serverless 應用程式,您可以參考現有的叢集並略過此步驟。使用非生產開發人員帳戶,然後選取代表生產資料但大小較小的模擬資料集範例,以便使用 Spark 升級進行驗證。如需從現有 EMR 叢集或 EMR Serverless 應用程式建立目標 EMR 叢集或 EMR Serverless 應用程式的指引,請參閱此頁面:從現有 EMR Cluster/EMR-S 應用程式建立目標