互動端點概觀 - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

互動端點概觀

互動端點可讓 Amazon EMR Studio 等互動式用戶端連線到 Amazon EMR on EKS 叢集，以執行互動式工作負載。互動端點由 Jupyter Enterprise Gateway 提供支援，可提供互動式用戶端所需的遠端核心生命週期管理功能。核心是特定於語言的程序，可與 Jupyter 型 Amazon EMR Studio 用戶端互動，以執行互動式工作負載。

互動端點支援下列核心：

  • Python 3

  • PySpark on Kubernetes

  • 帶 Scala 的 Apache Spark

注意

Amazon EMR on EKS 定價適用於互動端點和核心。如需詳細資訊，請參閱 Amazon EMR on EKS 定價頁面。

EMR Studio 需要以下實體才能與 Amazon EMR on EKS 連接。

  • Amazon EMR on EKS 虛擬叢集 - 虛擬叢集是您向其註冊 Amazon EMR 的 Kubernetes 命名空間。Amazon EMR 使用虛擬叢集來執行作業和託管端點。可使用相同實體叢集來支援多個虛擬叢集。不過，每個虛擬叢集都會映射 Amazon EKS 叢集上的一個命名空間。虛擬叢集不會建立任何增加帳單或需要在服務之外進行生命週期管理的作用中資源。

  • Amazon EMR on EKS 互動端點 - 互動端點是一個 HTTPS 端點，EMR Studio 使用者可以將工作區與其相連。只能從 EMR Studio 中存取 HTTPS 端點，並在 Amazon EKS 叢集的 Amazon Virtual Private Cloud (Amazon VPC) 的私有子網路中建立這些端點。

    Python、PySpark 和 Spark Scala 核心使用在 Amazon EMR on EKS 作業執行角色中定義的許可來調用其他 AWS 服務。連線到互動端點的所有核心和使用者都會利用您在建立端點時指定的角色。我們建議您為不同的使用者建立單獨的端點，並且使用者具有不同的 AWS Identity and Access Management (IAM) 角色。

  • AWS Application Load Balancer 控制器 – AWS Application Load Balancer 控制器會管理 Amazon EKS Kubernetes 叢集的 Elastic Load Balancing。當您建立 Kubernetes Ingress 資源時，控制器會佈建 Application Load Balancer (ALB)。ALB 會在 Amazon EKS 叢集之外但在相同 Amazon VPC 內公開 Kubernetes 服務 (例如互動端點)。當您建立互動端點時，也會部署 Ingress 資源，透過 ALB 公開互動端點，以供互動式用戶端連線。您只需要為每個 Amazon EKS 叢集安裝 one AWS Application Load Balancer 控制器。

下圖說明 Amazon EMR on EKS 中的互動端點架構。Amazon EKS 叢集包含用於執行分析工作負載的運算和互動端點。Application Load Balancer 控制器會在 kube-system 命名空間中執行；工作負載和互動端點會在您建立虛擬叢集時指定的命名空間中執行。建立互動端點時，Amazon EMR on EKS 控制平面會在 Amazon EKS 叢集中建立互動端點部署。此外，應用程式負載平衡器傳入的執行個體是由 AWS 負載平衡器控制器建立。Application Load Balancer 可為 EMR Studio 等用戶端提供外部介面，已連接到 Amazon EMR 叢集並執行互動式工作負載。

互動端點架構圖