本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用升級代理程式
支援的部署模式
適用於 Amazon EMR 的 Apache Spark 升級代理程式支援下列兩種部署模式,提供end-to-end Spark 應用程式升級體驗,包括建置檔案升級、指令碼/相依性升級、使用目標 EMR 叢集或 EMR Serverless 應用程式進行本機測試和驗證,以及資料品質驗證。
-
EC2 上的 EMR
-
EMR Serverless
請參閱功能以了解詳細功能、容量和限制。
支援的界面
與 Amazon SageMaker Unified Studio VS 程式碼編輯器空間整合
在 Amazon SageMaker Unified Studio VS 程式碼編輯器空間上,您可以依照升級代理程式設定中所述設定 IAM 設定檔和 MCP 組態,只要依照下列螢幕擷取畫面執行即可:
示範 SMUS VS 程式碼編輯器的 EMR on EC2 升級體驗。從簡單的提示開始,要求客服人員開始 Spark 升級程序。
Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0. Use EMR-EC2 Cluster <cluster-id> to run the validation and s3 paths s3://<please fill in your staging bucket path> to store updated application artifacts. Use spark-upgrade-profile for AWS CLI operations.
與 Kiro CLI 整合 (QCLI)
啟動 Kiro CLI 或您的 AI 助理,並驗證升級代理程式載入的工具。
... spark-upgrade (MCP): - check_and_update_build_environment * not trusted - check_and_update_python_environment * not trusted - check_job_status * not trusted - compile_and_build_project * not trusted ...
Kiro CLI 的 EMR Serverless 升級體驗示範。您只需使用下列提示開始升級程序:
Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0. Use EMR-Serverless Applicaion <application-id> and execution role <your EMR Serverless job execution role> to run the validation and s3 paths s3://<please fill in your staging bucket path> to store updated application artifacts.
與其他 IDEs整合
組態也可用於其他 IDEs,以連線至 Managed MCP 伺服器:
-
與 Cline 整合 - 若要搭配 Cline 使用 MCP 伺服器,請修改
cline_mcp_settings.json並新增上述組態。如需如何管理 MCP 組態的詳細資訊,請參閱 Cline 的文件。 -
與 Claude Code 整合 若要搭配 Claude Code 使用 MCP 伺服器,請修改組態檔案以包含 MCP 組態。檔案路徑會根據您的作業系統而有所不同。如需詳細設定,請參閱 https://code.claude.com/docs/en/mcp
://。 -
與 GitHub Copilot 整合 - 若要搭配 GitHub Copilot 使用 MCP 伺服器,請依照 https://docs.github.com/en/copilot/how-tos/provide-context/use-mcp/extend-copilot-chat-with-mcp
:// 中的指示修改對應的組態檔案,並依照每個 IDE 的指示來啟用設定。
設定目標版本的 EMR 叢集或 EMR Serverless 應用程式
使用您計劃用於升級應用程式的預期 Spark 版本,建立 EMR 叢集或 EMR Serverless 應用程式。升級 Spark 應用程式成品之後,目標 EMR 叢集或 EMR-S 應用程式將用於提交驗證任務執行,以驗證成功升級或修正驗證期間遇到的其他錯誤。如果您已有目標 EMR 叢集或 EMR Serverless 應用程式,您可以參考現有的叢集並略過此步驟。使用非生產開發人員帳戶,然後選取代表生產資料但大小較小的模擬資料集範例,以便使用 Spark 升級進行驗證。如需從現有 EMR 叢集或 EMR Serverless 應用程式建立目標 EMR 叢集或 EMR Serverless 應用程式的指引,請參閱此頁面:從現有 EMR Cluster/EMR-S 應用程式建立目標。