Ejecutar cargas de trabajo interactivas con EMR sin servidor a través de un punto de conexión Apache Livy

Con Amazon EMR 6.14.0 y versiones posteriores, puede crear y habilitar un punto de conexión Apache Livy mientras crea una aplicación EMR sin servidor y ejecutar cargas de trabajo interactivas a través de sus cuadernos autoalojados o con un cliente personalizado. Un punto de conexión Apache Livy ofrece los siguientes beneficios:

Requisitos previos

Para utilizar un punto de conexión de Apache Livy con EMR sin servidor, debe cumplir con los siguientes requisitos:

Permisos necesarios

Además de los permisos necesarios para acceder a EMR sin servidor, también debe agregar los siguientes permisos a su rol de IAM para acceder a un punto de conexión de Apache Livy y ejecutar aplicaciones:

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "EMRServerlessInteractiveAccess",
      "Effect": "Allow",
      "Action": [
        "emr-serverless:AccessLivyEndpoints"
      ],
      "Resource": [
        "arn:aws:emr-serverless:*:123456789012:/applications/*"
      ]
    },
    {
      "Sid": "EMRServerlessRuntimeRoleAccess",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::123456789012:role/EMRServerlessExecutionRole"
      ],
      "Condition": {
        "StringLike": {
          "iam:PassedToService": "emr-serverless.amazonaws.com"
        }
      }
    },
    {
      "Sid": "EMRServerlessDashboardAccess",
      "Effect": "Allow",
      "Action": [
        "emr-serverless:GetDashboardForJobRun"
      ],
      "Resource": [
        "arn:aws:emr-serverless:*:123456789012:/applications/*"
      ]
    }
  ]
}

Introducción

Para crear una aplicación compatible con Apache Livy y ejecutarla, siga estos pasos.

Una vez que el punto de conexión esté listo, envíe cargas de trabajo en función de su caso de uso. Debe firmar todas las solicitudes que se envíen al punto de conexión con el protocolo SigV4 y pasar un encabezado de autorización. Puede usar uno de los métodos siguientes para ejecutar cargas de trabajo:

Clientes de HTTP

Para crear una sesión de Apache Livy, envíe emr-serverless.session.executionRoleArn en el parámetro conf del cuerpo de la solicitud. El siguiente ejemplo es una solicitud POST /sessions de muestra.

{    
    "kind": "pyspark",
    "heartbeatTimeoutInSecond": 60, 
    "conf": {
        "emr-serverless.session.executionRoleArn": "<executionRoleArn>"
    }
}

La tabla siguiente describe todas las operaciones de la API de Apache Livy disponibles.

Envío de solicitudes al punto de conexión de Apache Livy

También puede enviar solicitudes directamente al punto de conexión de Apache Livy desde un cliente de HTTP. De este modo, podrá ejecutar código de forma remota para sus casos de uso fuera de un cuaderno.

Antes de empezar a enviar solicitudes al punto de conexión, asegúrese de haber instalado las siguientes bibliotecas:

pip3 install botocore awscrt requests

El siguiente es un ejemplo de script de Python para enviar solicitudes HTTP directamente a un punto de conexión:

from botocore import crt
import requests 
from botocore.awsrequest import AWSRequest
from botocore.credentials import Credentials
import botocore.session
import json, pprint, textwrap

endpoint = 'https://<application_id>.livy.emr-serverless-services.<AWS_REGION>.amazonaws.com'
headers = {'Content-Type': 'application/json'}

session = botocore.session.Session()
signer = crt.auth.CrtS3SigV4Auth(session.get_credentials(), 'emr-serverless', '<AWS_REGION>')


### Create session request

data = {'kind': 'pyspark', 'heartbeatTimeoutInSecond': 60, 'conf': { 'emr-serverless.session.executionRoleArn': 'arn:aws:iam::123456789012:role/role1'}}

request = AWSRequest(method='POST', url=endpoint + "/sessions", data=json.dumps(data), headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r = requests.post(prepped.url, headers=prepped.headers, data=json.dumps(data))

pprint.pprint(r.json())


### List Sessions Request

request = AWSRequest(method='GET', url=endpoint + "/sessions", headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r2 = requests.get(prepped.url, headers=prepped.headers)
pprint.pprint(r2.json())


### Get session state

session_url = endpoint + r.headers['location']

request = AWSRequest(method='GET', url=session_url, headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r3 = requests.get(prepped.url, headers=prepped.headers)

pprint.pprint(r3.json())


### Submit Statement

data = {
      'code': "1 + 1"
}

statements_url = endpoint + r.headers['location'] + "/statements"

request = AWSRequest(method='POST', url=statements_url, data=json.dumps(data), headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r4 = requests.post(prepped.url, headers=prepped.headers, data=json.dumps(data))

pprint.pprint(r4.json())

### Check statements results

specific_statement_url = endpoint + r4.headers['location']

request = AWSRequest(method='GET', url=specific_statement_url, headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r5 = requests.get(prepped.url, headers=prepped.headers)

pprint.pprint(r5.json())


### Delete session


session_url = endpoint + r.headers['location']

request = AWSRequest(method='DELETE', url=session_url, headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r6 = requests.delete(prepped.url, headers=prepped.headers)

pprint.pprint(r6.json())

Kernel de Sparkmagic

Antes de instalar Sparkmagic, asegúrese de haber configurado las AWS credenciales en la instancia en la que quiere instalar Sparkmagic

Internamente, cada instrucción llama a cada una de las operaciones de la API de Apache Livy a través de la URL del punto de conexión de Apache Livy configurada. A continuación, puede escribir sus instrucciones de acuerdo con su caso de uso.

Consideraciones

Tenga en cuenta las siguientes consideraciones al ejecutar cargas de trabajo interactivas a través de los puntos de conexión de Apache Livy.