Spark Connect를 통해 Amazon EMR Serverless로 대화형 세션 실행

Amazon EMR 릴리스 emr-7.13.0 이상에서는 Apache Spark Connect와 함께 EMR Serverless 세션 APIs를 사용하여 VS Code, PyCharm, Jupyter 노트북과 같은 자체 관리형 PySpark 클라이언트에서 Amazon EMR Serverless 애플리케이션에 연결할 수 있습니다. PyCharm Spark Connect는 Spark 드라이버 프로세스에서 애플리케이션 코드를 분리하는 클라이언트-서버 아키텍처를 사용합니다. Spark 작업이 EMR Serverless 컴퓨팅에서 실행되는 동안 로컬 IDE에서 PySpark 코드를 개발하고 디버깅합니다. Spark Connect는 다음과 같은 이점을 제공합니다.

Spark Connect 세션은 로컬 PySpark 클라이언트와 Amazon EMR Serverless에서 실행되는 Spark 드라이버 간의 관리형 연결입니다. 세션을 시작하면 EMR Serverless가 사용자를 대신하여 Spark 드라이버와 실행기를 프로비저닝합니다. 로컬 클라이언트는 DataFrame 및 SQL 작업을 드라이버로 전송하고 드라이버는 원격으로 실행합니다. 세션은 종료하거나 유휴 제한 시간에 도달할 때까지 지속되므로 Spark를 다시 시작하지 않고도 대화형으로 여러 쿼리를 실행할 수 있습니다. 각 세션에는 연결하는 데 사용하는 자체 엔드포인트 URL과 인증 토큰이 있습니다.

필수 권한

Amazon EMR Serverless에 액세스하는 데 필요한 권한 외에도 IAM 역할에 다음 권한을 추가하여 Spark Connect 엔드포인트에 액세스하고 Spark Connect 세션을 관리합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "EMRServerlessApplicationLevelAccess",
            "Effect": "Allow",
            "Action": [
                "emr-serverless:StartSession",
                "emr-serverless:ListSessions"
            ],
            "Resource": [
                "arn:aws:emr-serverless:region:account-id:/applications/application-id"
            ]
        },
        {
            "Sid": "EMRServerlessSessionLevelAccess",
            "Effect": "Allow",
            "Action": [
                "emr-serverless:GetSession",
                "emr-serverless:GetSessionEndpoint",
                "emr-serverless:TerminateSession",
                "emr-serverless:GetResourceDashboard"
            ],
            "Resource": [
                "arn:aws:emr-serverless:region:account-id:/applications/application-id/sessions/*"
            ]
        },
        {
            "Sid": "EMRServerlessRuntimeRoleAccess",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": [
                "arn:aws:iam::account-id:role/EMRServerlessExecutionRole"
            ],
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "emr-serverless.amazonaws.com"
                }
            }
        }
    ]
}

대화형 세션 작업

Spark Connect 지원 애플리케이션을 생성하고 연결하려면 다음 단계를 따르세요.

다음은 세션을 시작하고 요청을 세션 엔드포인트로 직접 전송하는 샘플 Python 스크립트입니다.

import boto3
import time
from pyspark.sql import SparkSession
from pyspark.sql.functions import col

client = boto3.client('emr-serverless', region_name='REGION')

APPLICATION_ID = 'APPLICATION_ID'
EXECUTION_ROLE = 'arn:aws:iam::account-id:role/EMRServerlessExecutionRole'

# Start the session
response = client.start_session(
    applicationId=APPLICATION_ID,
    executionRoleArn=EXECUTION_ROLE
)
session_id = response['sessionId']
print(f"Session {session_id} starting...")

# Wait for the session to be ready
while True:
    response = client.get_session(
        applicationId=APPLICATION_ID,
        sessionId=session_id
    )
    state = response['session']['state']
    print(f"Session state: {state}")
    if state in ('STARTED', 'IDLE'):
        break
    if state in ('FAILED', 'TERMINATED'):
        raise Exception(f"Session failed: {response['session'].get('stateDetails', 'Unknown error')}")
    time.sleep(5)

# Retrieve the Spark Connect endpoint and authentication token
response = client.get_session_endpoint(
    applicationId=APPLICATION_ID,
    sessionId=session_id
)

# Construct the authenticated remote URL
auth_token = response['authToken']
endpoint_url = response['endpoint']
connect_url = endpoint_url.replace("https://", "sc://", 1) + ":443/;use_ssl=true;"
connect_url += f"x-aws-proxy-auth={auth_token}"

# Start the Spark session
spark = SparkSession.builder.remote(connect_url).getOrCreate()
print(f"Connected. Spark version: {spark.version}")

# Run SQL
spark.sql("SELECT 1+1 AS result").show()

# Run DataFrame operations
df = spark.range(100).withColumn("squared", col("id") * col("id"))
df.show(10)
print(f"Count: {df.count()}")

# Stop the Spark session (disconnects the client only)
spark.stop()

# Terminate the EMR Serverless session to stop billing.
# spark.stop() only closes the local client connection. The remote session
# continues running and incurring charges until you explicitly terminate it
# or it reaches the idle timeout.
client.terminate_session(
    applicationId=APPLICATION_ID,
    sessionId=session_id
)
print(f"Session {session_id} terminated.")

세션의 라이브 Spark UI 또는 Spark 기록 서버에 액세스하려면 GetResourceDashboard API를 사용합니다.

response = client.get_resource_dashboard(
    applicationId=APPLICATION_ID,
    resourceId=session_id,
    resourceType='SESSION'
)
response['url']

세션이 활성 상태인 동안 URL은 쿼리, 단계 및 실행기의 실시간 모니터링을 위해 라이브 Apache Spark UI를 엽니다. 세션이 종료된 후에도 Spark 기록 서버는 Amazon EMR Serverless 콘솔을 통해 세션 후 분석에 계속 사용할 수 있습니다.

고려 사항 및 제한 사항

Spark Connect를 통해 대화형 워크로드를 실행할 때는 다음 사항을 고려하세요.