As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Execução de workloads interativas com o EMR Servidor por meio de um endpoint do Apache Livy

Com as versões 6.14.0 e superiores do Amazon EMR, você pode criar e habilitar um endpoint do Apache Livy enquanto cria uma aplicação do EMR Sem Servidor e executar workloads interativas por meio de cadernos auto-hospedados ou com um cliente personalizado. Um endpoint do Apache Livy oferece os seguintes benefícios:

Pré-requisitos

Para usar um endpoint do Apache Livy com o EMR Sem Servidor, você deve atender aos seguintes requisitos:

Permissões obrigatórias

Além das permissões necessárias para acessar o EMR Sem Servidor, você também deve adicionar as seguintes permissões ao perfil do IAM para acessar um endpoint do Apache Livy e executar aplicações:

{
    "Version": "2012-10-17",
    "Statement": [{
            "Sid": "EMRServerlessInteractiveAccess",
            "Effect": "Allow",
            "Action": "emr-serverless:AccessLivyEndpoints",
            "Resource": "arn:aws:emr-serverless:<AWS_REGION>:account:/applications/*"
        },
        {
            "Sid": "EMRServerlessRuntimeRoleAccess",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "execution-role-ARN",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "emr-serverless.amazonaws.com"
                }
            }
        },
        {
            "Sid": "EMRServerlessDashboardAccess",
            "Effect": "Allow",
            "Action": "emr-serverless:GetDashboardForJobRun",
            "Resource": "arn:aws:emr-serverless:<AWS_REGION>:account:/applications/*"
        }
    ]
}

Começar

Para criar uma aplicação habilitada para Apache Livy e executá-la, siga estas etapas.

Quando o endpoint estiver pronto, você poderá enviar workloads com base no caso de uso. Você deve assinar todas as solicitações no endpoint com o SIGv4 protocolo e passar um cabeçalho de autorização. É possível usar os seguintes métodos para executar workloads:

Clientes HTTP

Para criar uma sessão do Apache Livy, você deve enviar emr-serverless.session.executionRoleArn no parâmetro conf do corpo da solicitação. Confira a seguir um exemplo de solicitação POST /sessions.

{    
    "kind": "pyspark",
    "heartbeatTimeoutInSecond": 60, 
    "conf": {
        "emr-serverless.session.executionRoleArn": "<executionRoleArn>"
    }
}

A tabela a seguir descreve todas as operações disponíveis da API do Apache Livy.

Envio de solicitações ao endpoint do Apache Livy

Você também pode enviar solicitações diretamente ao endpoint do Apache Livy de um cliente HTTP. Isso permite executar remotamente o código para casos de uso fora de um caderno.

Antes de começar a enviar solicitações ao endpoint, certifique-se de que instalou as seguintes bibliotecas:

pip3 install botocore awscrt requests

Confira este exemplo de script Python para enviar solicitações HTTP diretamente a um endpoint:

from botocore import crt
import requests 
from botocore.awsrequest import AWSRequest
from botocore.credentials import Credentials
import botocore.session
import json, pprint, textwrap

endpoint = 'https://<application_id>.livy.emr-serverless-services.<AWS_REGION>.amazonaws.com'
headers = {'Content-Type': 'application/json'}

session = botocore.session.Session()
signer = crt.auth.CrtS3SigV4Auth(session.get_credentials(), 'emr-serverless', '<AWS_REGION>')


### Create session request

data = {'kind': 'pyspark', 'heartbeatTimeoutInSecond': 60, 'conf': { 'emr-serverless.session.executionRoleArn': 'arn:aws:iam::123456789012:role/role1'}}

request = AWSRequest(method='POST', url=endpoint + "/sessions", data=json.dumps(data), headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r = requests.post(prepped.url, headers=prepped.headers, data=json.dumps(data))

pprint.pprint(r.json())


### List Sessions Request

request = AWSRequest(method='GET', url=endpoint + "/sessions", headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r2 = requests.get(prepped.url, headers=prepped.headers)
pprint.pprint(r2.json())


### Get session state

session_url = endpoint + r.headers['location']

request = AWSRequest(method='GET', url=session_url, headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r3 = requests.get(prepped.url, headers=prepped.headers)

pprint.pprint(r3.json())


### Submit Statement

data = {
      'code': "1 + 1"
}

statements_url = endpoint + r.headers['location'] + "/statements"

request = AWSRequest(method='POST', url=statements_url, data=json.dumps(data), headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r4 = requests.post(prepped.url, headers=prepped.headers, data=json.dumps(data))

pprint.pprint(r4.json())

### Check statements results

specific_statement_url = endpoint + r4.headers['location']

request = AWSRequest(method='GET', url=specific_statement_url, headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r5 = requests.get(prepped.url, headers=prepped.headers)

pprint.pprint(r5.json())


### Delete session


session_url = endpoint + r.headers['location']

request = AWSRequest(method='DELETE', url=session_url, headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r6 = requests.delete(prepped.url, headers=prepped.headers)

pprint.pprint(r6.json())

Kernel do Sparkmagic

Antes de instalar o sparkmagic, verifique se você configurou AWS as credenciais na instância em que deseja instalar o sparkmagic

Internamente, cada instrução chama cada uma das operações da API do Apache Livy por meio do URL configurado do endpoint do Apache Livy. Em seguida, você pode gravar suas instruções de acordo com o caso de uso.

Considerações

Considere as informações a seguir ao executar workloads interativas por meio de endpoints do Apache Livy.