具有互動端點的自訂核心映像 - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

具有互動端點的自訂核心映像

為了確保在 Amazon EMR Studio 中執行互動式工作負載時具有應用程式的正確相依性，您可以為互動端點自訂 Docker 映像檔，並執行自訂的基礎核心映像。若要建立互動端點，並將其與自訂 Docker 映像檔相連，請執行以下步驟。

注意

只能覆寫基礎映像。無法新增核心映像類型。

  1. 建立並發布自訂的 Docker 映像檔。基礎映像包含 Spark 執行期和隨之一起執行的筆記本核心。若要建立映像，可遵循 如何自訂 Docker 映像檔 中的步驟 1 到 4。在步驟 1 中，Docker 檔案中的基礎映像 URI 必須使用 notebook-spark 代替 spark。

    ECR-registry-account.dkr.ecr.Region.amazonaws.com/notebook-spark/container-image-tag

    如需如何選取 AWS 區域 和容器映像標籤的詳細資訊，請參閱 選取基礎映像 URI 的詳細資訊。

  2. 建立可與自訂映像搭配使用的互動端點。

    1. 使用下列內容建立 JSON 檔案 custom-image-managed-endpoint.json。此範例使用 Amazon EMR 6.9.0 版。

      {
    "name": "endpoint-name",
    "virtualClusterId": "virtual-cluster-id",
    "type": "JUPYTER_ENTERPRISE_GATEWAY",
    "releaseLabel": "emr-6.9.0-latest",
    "executionRoleArn": "execution-role-arn",
    "configurationOverrides": {
        "applicationConfiguration": [
            {
                "classification": "jupyter-kernel-overrides",
                "configurations": [
                    {
                        "classification": "python3",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-python:latest"
                        }
                    },
                    {
                        "classification": "spark-python-kubernetes",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-spark:latest"
                        }
                    }
                ] 
            }
        ]
    }
}

    2. 使用 JSON 檔案中指定的組態建立互動端點，如下列範例所示。如需詳細資訊，請參閱使用 create-managed-endpoint 命令建立互動端點。

      aws emr-containers create-managed-endpoint --cli-input-json custom-image-managed-endpoint.json

  3. 透過 EMR Studio 連接至互動端點。如需詳細資訊和完成的步驟，請參閱 AWS Workshop Studio 文件的 Amazon EMR on EKS 區段中的從 Studio 連線。