Erste Schritte mit dem Spark-Operator für Amazon EMR in EKS

Sofern noch nicht geschehen, führen die Schritte unter Einrichten des Spark-Operators für Amazon EMR in EKS aus.

Authentifizieren Ihren Helm-Client in Ihrer Amazon-ECR-Registry. Ersetzen Sie im folgenden Befehl die region-id Werte durch Ihre bevorzugten AWS-Region Werte und den entsprechenden ECR-registry-account Wert für die Region auf der Seite. Amazon-ECR-Registrierungskonten nach Regionen

aws ecr get-login-password \
--region region-id | helm registry login \
--username AWS \
--password-stdin ECR-registry-account.dkr.ecr.region-id.amazonaws.com

Installieren Sie den Spark-Operator mit dem folgenden Befehl.

Verwenden Sie für den --version-Helm-Chart-Parameter Ihre Amazon-EMR-Versionskennung, wobei das emr--Präfix und das Datumssuffix entfernt wurden. Geben Sie beispielsweise emr-6.12.0-java17-latest bei der Version 6.12.0-java17 an. Das Beispiel im folgenden Befehl verwendet die emr-7.9.0-latest Version, also gibt sie 7.9.0 für das Helm-Chart --version an.

helm install spark-operator-demo \
  oci://895885662937.dkr.ecr.region-id.amazonaws.com/spark-operator \
  --set emrContainers.awsRegion=region-id \
  --version 7.9.0 \
  --namespace spark-operator \
  --create-namespace 

Standardmäßig erstellt der Befehl ein Servicekonto emr-containers-sa-spark-operator für den Spark-Operator. Um ein anderes Servicekonto zu verwenden, geben Sie das Argument serviceAccounts.sparkoperator.name an. Beispiel:

--set serviceAccounts.sparkoperator.name my-service-account-for-spark-operator

Wenn Sie das vertikale Auto Scaling mit dem Spark-Operator verwenden möchten, fügen Sie dem Installationsbefehl die folgende Zeile hinzu, um Webhooks für den Operator zuzulassen:

--set webhook.enable=true

Vergewissern Sie sich, dass Sie das Helm-Chart mit dem folgenden helm list-Befehl installiert haben:

helm list --namespace spark-operator -o yaml

Der helm list-Befehl sollte Ihre neu bereitgestellten Helm-Chart-Versionsinformationen zurückgeben:

app_version: v1beta2-1.3.8-3.1.1
chart: spark-operator-7.9.0
name: spark-operator-demo
namespace: spark-operator
revision: "1"
status: deployed
updated: 2023-03-14 18:20:02.721638196 +0000 UTC

Schließen Sie die Installation mit allen zusätzlichen Optionen ab, die Sie benötigen. Weitere Informationen finden Sie in der spark-on-k8s-operatorDokumentation zu GitHub.

Bevor Sie eine Spark-Anwendung mit dem Spark-Operator ausführen können, führen Sie die Schritte unter Einrichten des Spark-Operators für Amazon EMR in EKS und Den Spark-Operator installieren durch.

Erstellen Sie eine SparkApplication-Aufgabendefinitions-Datei spark-pi.yaml mit dem folgenden Beispielinhalt:

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: spark-operator
spec:
  type: Scala
  mode: cluster
  image: "895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest"
  imagePullPolicy: Always
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///usr/lib/spark/examples/jars/spark-examples.jar"
  sparkVersion: "3.3.1"
  restartPolicy:
    type: Never
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 1
    coreLimit: "1200m"
    memory: "512m"
    labels:
      version: 3.3.1
    serviceAccount: emr-containers-sa-spark
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
  executor:
    cores: 1
    instances: 1
    memory: "512m"
    labels:
      version: 3.3.1
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"

Senden Sie jetzt die Spark-Anwendung mit dem folgenden Befehl. Dadurch wird auch ein SparkApplication-Objekt mit dem spark-pi-Namen erstellt:

kubectl apply -f spark-pi.yaml

Überprüfen Sie die Ereignisse für das SparkApplication-Objekt mit dem folgenden Befehl:

kubectl describe sparkapplication spark-pi --namespace spark-operator