Creación de un clúster de EMR/aplicación EMR-S de destino a partir de los existentes - Amazon EMR
Pasos:Clonación de una aplicación EMR Serverless en la versión de lanzamiento de destino

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Creación de un clúster de EMR/aplicación EMR-S de destino a partir de los existentes

Si ya tiene un EC2 clúster de EMR que ejecute la versión de origen de Spark, puede clonarlo para crear un nuevo clúster con la misma configuración, pero con una versión de lanzamiento de EMR actualizada para ejecutar los pasos de validación durante el proceso de actualización.

Pasos:

  1. Inicie sesión en la consola Amazon EMR Consola de administración de AWS y ábrala.

  2. En el panel de navegación izquierdo, seleccione Clústeres en EMR activado. EC2

  3. De la lista de clústeres:

    • Utilice la búsqueda o los filtros si es necesario para encontrar el clúster.

    • Seleccione la casilla de verificación situada junto al clúster que desee clonar.

    • La opción Clonar aparecerá en la parte superior de la lista. Elija Clonar.

    • Si el clúster tiene pasos configurados, seleccione Incluir pasos y, a continuación, Continuar clonando los pasos junto con el resto de la configuración del clúster.

  4. Revise la configuración del nuevo clúster que se ha copiado del clúster original.

  5. Actualice la versión de lanzamiento de Amazon EMR a la versión de destino.

  6. Como práctica recomendada para lograr una mayor rentabilidad, considere habilitar el escalado automático al configurar el clúster para ajustar automáticamente la capacidad en función de las demandas de carga de trabajo.

  7. Cuando esté satisfecho con la configuración, seleccione Crear clúster para lanzar el nuevo clúster.

  8. Espera a que el clúster alcance el estado En ejecución y anota el ID del clúster. Proporcione este ID al agente cuando se le pida que valide la aplicación actualizada.

  9. Si prefiere crear un clúster nuevo desde cero, consulte la documentación de EMR: https://docs.aws.amazon.com/emr/ latest/ManagementGuide/emr -gs.html.

Clonación de una aplicación EMR Serverless en la versión de lanzamiento de destino

No existe una forma directa de clonar una aplicación EMR Serverless en una nueva con una versión de lanzamiento de EMR diferente. En su lugar, puede usar el EMR Serverless SDK/CLI o la consola para crear una nueva aplicación y reutilizar la configuración de una existente.

Estos son algunos comandos CLI auxiliares para empezar:

aws emr-serverless get-application --application-id XXX > old-config.json  
cat old-config.json | jq '{  
  name: (.application.name + "<suffix to differentiate name from old application>"),  
  releaseLabel: "<target EMR release version>",  
  type: .application.type,  
  initialCapacity: .application.initialCapacity,  
  maximumCapacity: .application.maximumCapacity,  
  autoStartConfiguration: .application.autoStartConfiguration,  
  autoStopConfiguration: .application.autoStopConfiguration,  
  tags: .application.tags,  
  architecture: .application.architecture,  
  runtimeConfiguration: .application.runtimeConfiguration,  
  monitoringConfiguration: .application.monitoringConfiguration  
}' > new-config.json  
aws emr-serverless create-application --cli-input-json file://new-config.json

Nota: Asegúrese de que la función de ejecución de tareas de la nueva aplicación permita a EMR Serverless asumir la función. Revise la política de confianza del rol. Si va a reutilizar la misma función de ejecución de tareas de la aplicación anterior, actualice la política de confianza para incluir la nueva aplicación, tal y como se muestra a continuación:

#Replace the old application id and new application id in the policy  
{  
    "Version": "2012-10-17",		 	 	  
    "Statement": [  
        {  
            "Sid": "ServerlessTrustPolicy",  
            "Effect": "Allow",  
            "Principal": {  
                "Service": "emr-serverless.amazonaws.com"  
            },  
            "Action": "sts:AssumeRole",  
            "Condition": {  
                "StringLike": {  
                    "aws:SourceArn": [  
                        "arn:aws:emr-serverless:us-east-1:<account>:/applications/<old application id>",  
                        "arn:aws:emr-serverless:us-east-1:<account>:/applications/<new application id>"  
                    ]  
                }  
            }  
        }  
    ]  
}