View a markdown version of this page

將 Apache Livy 與 Amazon EMR on EKS 搭配使用 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

將 Apache Livy 與 Amazon EMR on EKS 搭配使用

透過 Amazon EMR 7.1.0 版和更新版本,您可以使用 Apache Livy 在 Amazon EMR on EKS 上提交任務。使用 Apache Livy,您可以設定自己的 Apache Livy REST 端點,並使用它在 Amazon EKS 叢集上部署和管理 Spark 應用程式。在 Amazon EKS 叢集中安裝 Livy 之後,您可以使用 Livy 端點將 Spark 應用程式提交到您的 Livy 伺服器。伺服器會管理 Spark 應用程式的生命週期。

注意

Amazon EMR 會根據 vCPU 和記憶體使用量計算 Amazon EKS 定價。此計算適用於驅動程式和執行器 Pod。此計算從您下載 Amazon EMR 應用程式映像時開始,直到 Amazon EKS Pod 終止且四捨五入至最接近的秒數。無論映像是存放在公有 Amazon EMR Amazon ECR 登錄檔還是您自己的私有登錄檔中,無論任務如何協調 (例如 StartJobRun API、Spark 運算子或 spark-submit),每當 Pod 使用衍生自 Amazon EMR 執行時間的映像執行時,都會套用定價。