View a markdown version of this page

将 Apache Livy 与 Amazon EMR on EKS 结合使用 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将 Apache Livy 与 Amazon EMR on EKS 结合使用

对于 Amazon EMR 7.1.0 及更高版本,可使用 Apache Livy 在 Amazon EMR on EKS 上提交作业。通过 Apache Livy,您可以设置自己的 Apache Livy REST 端点,在 Amazon EKS 集群上部署和管理 Spark 应用程序。在 Amazon EKS 集群中安装 Livy 后,就可以使用 Livy 端点将 Spark 应用程序提交到 Livy 服务器。服务器会管理 Spark 应用程序的生命周期。

注意

Amazon EMR on EMR 会根据 vCPU 和内存消耗计算 Amazon EKS 的定价。该计算适用于驱动程序和执行程序容器组(pod)。该计算从您下载 Amazon EMR 应用程序映像开始,直至 Amazon EKS 容器组(pod)终止,并四舍五入到最接近的秒。每当 Pod 使用从 Amazon EMR 运行时派生的图像运行,无论该图像存储在公共 Amazon EMR Amazon ECR 注册表中还是您自己的私有注册表中,也无论任务是如何编排的(例如 StartJobRun API、Spark 运算符或 spark-submit),定价都适用。