Erstellen einer EMR-Cluster-Ziel-/EMR-S-Anwendung aus vorhandenen - Amazon EMR
Schritte:Klonen einer serverlosen EMR-Anwendung auf die Ziel-Release-Version

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen einer EMR-Cluster-Ziel-/EMR-S-Anwendung aus vorhandenen

Wenn Sie bereits einen EC2 EMR-Cluster haben, auf dem die Quell-Spark-Version ausgeführt wird, können Sie ihn klonen, um einen neuen Cluster mit derselben Konfiguration, aber einer aktualisierten EMR-Release-Version zu erstellen, um die Validierungsschritte während des Upgrade-Prozesses auszuführen.

Schritte:

  1. Melden Sie sich bei der an AWS-Managementkonsole und öffnen Sie die Amazon EMR-Konsole.

  2. Wählen Sie im linken Navigationsbereich unter EMR on EC2 die Option Clusters aus.

  3. Aus der Clusterliste:

    • Verwenden Sie bei Bedarf die Suche oder Filter, um Ihren Cluster zu finden.

    • Aktivieren Sie das Kontrollkästchen neben dem Cluster, den Sie klonen möchten.

    • Die Option Klonen wird oben in der Liste angezeigt. Klicken auf Clone.

    • Wenn für den Cluster Schritte konfiguriert sind, wählen Sie Schritte einbeziehen und dann Weiter, um die Schritte zusammen mit den anderen Clustereinstellungen zu klonen.

  4. Überprüfen Sie die Einstellungen für den neuen Cluster, die aus dem ursprünglichen Cluster kopiert wurden.

  5. Aktualisieren Sie die Amazon EMR-Release-Version auf die Zielversion.

  6. Als bewährte Methode zur Kosteneffizienz sollten Sie bei der Konfiguration des Clusters die automatische Skalierung aktivieren, um die Kapazität automatisch an die Workload-Anforderungen anzupassen.

  7. Wenn Sie mit der Konfiguration zufrieden sind, wählen Sie Cluster erstellen aus, um den neuen Cluster zu starten.

  8. Warten Sie, bis der Cluster den Status Running erreicht hat, und notieren Sie sich die Cluster-ID. Geben Sie diese ID an den Agenten weiter, wenn Sie aufgefordert werden, die aktualisierte Anwendung zu validieren.

  9. Wenn Sie es vorziehen, einen neuen Cluster von Grund auf neu zu erstellen, lesen Sie bitte die EMR-Dokumentation: https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-gs.html.

Klonen einer serverlosen EMR-Anwendung auf die Ziel-Release-Version

Es gibt keine direkte Möglichkeit, eine serverlose EMR-Anwendung auf eine neue Anwendung mit einer anderen EMR-Release-Version zu klonen. Stattdessen können Sie den EMR Serverless SDK/CLI oder die Konsole verwenden, um eine neue Anwendung zu erstellen und die Konfiguration einer vorhandenen wiederzuverwenden.

Hier sind einige CLI-Hilfsbefehle für den Einstieg:

aws emr-serverless get-application --application-id XXX > old-config.json  
cat old-config.json | jq '{  
  name: (.application.name + "<suffix to differentiate name from old application>"),  
  releaseLabel: "<target EMR release version>",  
  type: .application.type,  
  initialCapacity: .application.initialCapacity,  
  maximumCapacity: .application.maximumCapacity,  
  autoStartConfiguration: .application.autoStartConfiguration,  
  autoStopConfiguration: .application.autoStopConfiguration,  
  tags: .application.tags,  
  architecture: .application.architecture,  
  runtimeConfiguration: .application.runtimeConfiguration,  
  monitoringConfiguration: .application.monitoringConfiguration  
}' > new-config.json  
aws emr-serverless create-application --cli-input-json file://new-config.json

Hinweis: Stellen Sie sicher, dass die Jobausführungsrolle für die neue Anwendung es EMR Serverless ermöglicht, die Rolle zu übernehmen. Überprüfen Sie die Vertrauensrichtlinie der Rolle. Wenn Sie dieselbe Jobausführungsrolle aus der alten Anwendung wiederverwenden, aktualisieren Sie die Vertrauensrichtlinie, sodass sie die neue Anwendung einbezieht, wie unten dargestellt:

#Replace the old application id and new application id in the policy  
{  
    "Version": "2012-10-17",		 	 	  
    "Statement": [  
        {  
            "Sid": "ServerlessTrustPolicy",  
            "Effect": "Allow",  
            "Principal": {  
                "Service": "emr-serverless.amazonaws.com"  
            },  
            "Action": "sts:AssumeRole",  
            "Condition": {  
                "StringLike": {  
                    "aws:SourceArn": [  
                        "arn:aws:emr-serverless:us-east-1:<account>:/applications/<old application id>",  
                        "arn:aws:emr-serverless:us-east-1:<account>:/applications/<new application id>"  
                    ]  
                }  
            }  
        }  
    ]  
}