Imagem de kernel personalizada com o endpoint interativo - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Imagem de kernel personalizada com o endpoint interativo

Para garantir que você tenha as dependências corretas para sua aplicação ao executar as workloads interativas do Amazon EMR Studio, você pode personalizar as imagens do Docker para os endpoints interativos e executar imagens base de kernel personalizadas. Para criar um endpoint interativo e conectá-lo a uma imagem do Docker personalizada, execute as etapas a seguir.

nota

Você pode substituir somente as imagens base. Não é possível adicionar novos tipos de imagens de kernel.

  1. Crie e publique uma imagem do Docker personalizada. A imagem base contém o runtime do Spark e os kernels do caderno que são executados com ele. Para criar a imagem, você pode seguir as etapas de 1 a 4 descritas em Como personalizar imagens do Docker. Na etapa 1, o URI da imagem base em seu arquivo do Docker deve usar notebook-spark no lugar de spark.

    ECR-registry-account.dkr.ecr.Region.amazonaws.com/notebook-spark/container-image-tag

    Para obter mais informações sobre como selecionar Regiões da AWS e armazenar tags de imagem, consulteDetalhes sobre como selecionar um URI de imagem base.

  2. Crie um endpoint interativo que possa ser usado com a imagem personalizada.

    1. Crie um arquivo JSON custom-image-managed-endpoint.json com o conteúdo apresentado a seguir. Este exemplo usa a versão 6.9.0 do Amazon EMR.

      {
    "name": "endpoint-name",
    "virtualClusterId": "virtual-cluster-id",
    "type": "JUPYTER_ENTERPRISE_GATEWAY",
    "releaseLabel": "emr-6.9.0-latest",
    "executionRoleArn": "execution-role-arn",
    "configurationOverrides": {
        "applicationConfiguration": [
            {
                "classification": "jupyter-kernel-overrides",
                "configurations": [
                    {
                        "classification": "python3",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-python:latest"
                        }
                    },
                    {
                        "classification": "spark-python-kubernetes",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-spark:latest"
                        }
                    }
                ] 
            }
        ]
    }
}

    2. Crie um endpoint interativo com as configurações especificadas no arquivo JSON, conforme mostrado no exemplo a seguir. Para obter mais informações, consulte Criação de um endpoint interativo com o comando create-managed-endpoint.

      aws emr-containers create-managed-endpoint --cli-input-json custom-image-managed-endpoint.json

  3. Conecte-se ao endpoint interativo usando o EMR Studio. Para obter mais informações e etapas a serem concluídas, consulte Conectando-se a partir do Studio na seção Amazon EMR no EKS dos documentos do AWS Workshop Studio.