Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
# Come personalizzare le immagini Docker
Segui questi passaggi per personalizzare le immagini Docker per Amazon EMR su EKS. I passaggi mostrano come ottenere un'immagine di base, personalizzarla e pubblicarla e inviare un carico di lavoro utilizzando l'immagine.
+ [Prerequisiti](#docker-custom-images-prereq)
+ [Fase 1: recupero di un'immagine di base da Amazon Elastic Container Registry (Amazon ECR)](#docker-custom-images-retrieve)
+ [Fase 2: personalizzazione di un'immagine di base](#docker-custom-images-customize)
+ [Fase 3: (facoltativo ma consigliato) convalida di un'immagine personalizzata](#docker-custom-images-validate)
+ [Fase 4: Pubblicazione di un'immagine personalizzata](#docker-custom-images-publish)
+ [Fase 5: Invio di un carico di lavoro Spark in Amazon EMR utilizzando un'immagine personalizzata](#docker-custom-images-submit)
**Nota**
Altre opzioni da prendere in considerazione quando si personalizzano le immagini Docker sono la personalizzazione per gli endpoint interattivi, cosa che si fa per assicurarsi di avere le dipendenze richieste, o l'utilizzo di immagini di contenitori multiarchitetturali:
[Personalizzazione delle immagini Docker per endpoint interattivi](docker-custom-images-managed-endpoint.md)
[Lavorare con immagini multi-architettura](docker-custom-images-multi-architecture.md)
## Prerequisiti
+ Completa le fasi [Configurazione di Amazon EMR su EKS](setting-up.md) per Amazon EMR su EKS.
+ Installa Docker nel tuo ambiente. Per ulteriori informazioni, consulta [Ottieni Docker](https://docs.docker.com/get-docker/).
## Fase 1: recupero di un'immagine di base da Amazon Elastic Container Registry (Amazon ECR)
L'immagine di base contiene il runtime Amazon EMR e i connettori utilizzati per accedere ad altri servizi AWS . Per Amazon EMR 6.9.0 e versioni successive, è possibile ottenere le immagini di base da Amazon ECR Public Gallery. Sfoglia la galleria per trovare il collegamento all'immagine e trasferiscila nel tuo Workspace locale. Ad esempio, per la versione Amazon EMR 7.12.0, il `docker pull` comando seguente consente di ottenere l'immagine di base standard più recente. Puoi sostituire `emr-7.12.0:latest` con `emr-7.12.0-spark-rapids:latest` per recuperare l'immagine che dispone dell'acceleratore RAPIDS Nvidia. Puoi anche sostituire `emr-7.12.0:latest` con `emr-7.12.0-java11:latest` per recuperare l'immagine con runtime Java 11.
```
docker pull public.ecr.aws/emr-on-eks/spark/emr-7.12.0:latest
```
Se desideri recuperare l'immagine di base per il rilascio 6.9.0 o precedenti di Amazon EMR o se preferisci recuperarla dagli account di registro Amazon ECR in ogni Regione, completa la procedura seguente:
1. Scegli un URI dell'immagine di base. L'URI dell'immagine presenta questo formato, `ECR-registry-account.dkr.ecr.Region.amazonaws.com/spark/container-image-tag`, come illustrato nell'esempio seguente.
```
895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest
```
Per scegliere un'immagine di base nella tua Regione, consulta [Dettagli per la selezione dell'URI di un'immagine di base](docker-custom-images-tag.md).
1. Accedi al repository Amazon ECR in cui è memorizzata l'immagine di base. Sostituisci *895885662937* e *us-west-2* con l'account del registro Amazon ECR e la AWS regione che hai selezionato.
```
aws ecr get-login-password --region us-west-2 | docker login --username AWS --password-stdin 895885662937.dkr.ecr.us-west-2.amazonaws.com
```
1. Estrai l'immagine di base nel Workspace locale. *emr-6.6.0:latest*Sostituiscilo con il tag dell'immagine del contenitore che hai selezionato.
```
docker pull 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest
```
## Fase 2: personalizzazione di un'immagine di base
Segui questi passaggi per personalizzare l'immagine di base che hai estratto da Amazon ECR.
1. Crea un nuovo `Dockerfile` nel Workspace locale.
1. Modifica il `Dockerfile` appena creato e aggiungi i seguenti contenuti. Questo `Dockerfile` usa l'immagine di container estratto da `895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest`.
```
FROM 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest
USER root
### Add customization commands here ####
USER hadoop:hadoop
```
1. Aggiungi comandi in `Dockerfile` per personalizzare l'immagine di base. Ad esempio, aggiungi un comando per installare le librerie Python, come mostrato qui di seguito in `Dockerfile`.
```
FROM 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest
USER root
RUN pip3 install --upgrade boto3 pandas numpy // For python 3
USER hadoop:hadoop
```
1. Dalla stessa directory in cui viene creato `Dockerfile`, esegui il comando seguente per generare l'immagine Docker. Fornisci un nome per l'immagine Docker, ad esempio. *emr6.6\$1custom*
```
docker build -t emr6.6_custom .
```
## Fase 3: (facoltativo ma consigliato) convalida di un'immagine personalizzata
Si consiglia di testare la compatibilità dell'immagine personalizzata prima di pubblicarla. Puoi utilizzare la [CLI di immagine personalizzata di Amazon EMR su EKS](https://github.com/awslabs/amazon-emr-on-eks-custom-image-cli) per verificare se l'immagine ha le strutture di file richieste e le configurazioni corrette per l'esecuzione su Amazon EMR su EKS.
**Nota**
La CLI di immagine personalizzata di Amazon EMR su EKS non può confermare che l'immagine sia priva di errori. Prestare attenzione quando si rimuovono le dipendenze dalle immagini di base.
Seguire i seguenti fasi per convalidare l'immagine personalizzata.
1. Download e installa la CLI di immagine personalizzata di Amazon EMR su EKS. Per ulteriori informazioni, consulta [Guida all'installazione della CLI di immagine personalizzata di Amazon EMR su EKS](https://github.com/awslabs/amazon-emr-on-eks-custom-image-cli/blob/main/installer/assets/INSTALLATION_GUIDE.md).
1. Eseguire il comando seguente per testare l'installazione.
```
emr-on-eks-custom-image --version
```
Di seguito è illustrato un esempio di output.
```
Amazon EMR on EKS Custom Image CLI
Version: x.xx
```
1. Eseguire il comando seguente per convalidare l'immagine personalizzata.
```
emr-on-eks-custom-image validate-image -i image_name -r release_version [-t image_type]
```
+ `-i` specifica l'URI dell'immagine locale che deve essere convalidato. Questo può essere l'URI dell'immagine, qualsiasi nome o tag definito per l'immagine.
+ `-r` specifica la versione di rilascio esatta per l'immagine di base, ad esempio `emr-6.6.0-latest`.
+ `-t` specifica il tipo di immagine. Se si tratta di un'immagine Spark, inserisci `spark`. Il valore predefinito è `spark`. L'attuale versione CLI per immagine personalizzata di Amazon EMR su EKS supporta solo le immagini runtime Spark.
Se si esegue correttamente il comando e l'immagine personalizzata soddisfa tutte le configurazioni e le strutture di file richieste, l'output restituito visualizza i risultati di tutti i test, come dimostra l'esempio seguente.
```
Amazon EMR on EKS Custom Image Test
Version: x.xx
... Checking if docker cli is installed
... Checking Image Manifest
[INFO] Image ID: xxx
[INFO] Created On: 2021-05-17T20:50:07.986662904Z
[INFO] Default User Set to hadoop:hadoop : PASS
[INFO] Working Directory Set to /home/hadoop : PASS
[INFO] Entrypoint Set to /usr/bin/entrypoint.sh : PASS
[INFO] SPARK_HOME is set with value: /usr/lib/spark : PASS
[INFO] JAVA_HOME is set with value: /etc/alternatives/jre : PASS
[INFO] File Structure Test for spark-jars in /usr/lib/spark/jars: PASS
[INFO] File Structure Test for hadoop-files in /usr/lib/hadoop: PASS
[INFO] File Structure Test for hadoop-jars in /usr/lib/hadoop/lib: PASS
[INFO] File Structure Test for bin-files in /usr/bin: PASS
... Start Running Sample Spark Job
[INFO] Sample Spark Job Test with local:///usr/lib/spark/examples/jars/spark-examples.jar : PASS
-----------------------------------------------------------------
Overall Custom Image Validation Succeeded.
-----------------------------------------------------------------
```
Se l'immagine personalizzata non soddisfa le configurazioni o le strutture di file richieste, si verificano messaggi di errore. L'output restituito fornisce informazioni sulle configurazioni o sulle strutture di file errate.
## Fase 4: Pubblicazione di un'immagine personalizzata
Pubblica la nuova immagine Docker nel registro Amazon ECR.
1. Esegui il comando seguente per creare un repository Amazon ECR per archiviare l'immagine Docker. Fornisci un nome per il tuo repository, ad esempio. *emr6.6\$1custom\$1repo* Sostituisci *us-west-2* con la tua regione.
```
aws ecr create-repository \
--repository-name emr6.6_custom_repo \
--image-scanning-configuration scanOnPush=true \
--region us-west-2
```
Per ulteriori informazioni, consulta [Creazione di un repository](https://docs.aws.amazon.com/AmazonECR/latest/userguide/getting-started-cli.html#cli-create-repository) nella *Guida per l'utente di Amazon ECR*.
1. Esegui il comando seguente per autenticarti nel registro di default.
```
aws ecr get-login-password --region us-west-2 | docker login --username AWS --password-stdin aws_account_id.dkr.ecr.us-west-2.amazonaws.com
```
Per ulteriori informazioni, consulta [Autenticazione nel registro di default](https://docs.aws.amazon.com/AmazonECR/latest/userguide/getting-started-cli.html#cli-authenticate-registry) nella *Guida per l'utente di Amazon ECR*.
1. Tagga e pubblica un'immagine nel repository Amazon ECR creato.
Tagga l'immagine.
```
docker tag emr6.6_custom aws_account_id.dkr.ecr.us-west-2.amazonaws.com/emr6.6_custom_repo
```
Invia l'immagine.
```
docker push aws_account_id.dkr.ecr.us-west-2.amazonaws.com/emr6.6_custom_repo
```
Per ulteriori informazioni, consulta [Invio di un'immagine ad Amazon ECR](https://docs.aws.amazon.com/AmazonECR/latest/userguide/getting-started-cli.html#cli-push-image) nella *Guida per l'utente di Amazon ECR*.
## Fase 5: Invio di un carico di lavoro Spark in Amazon EMR utilizzando un'immagine personalizzata
Dopo aver creato e pubblicato un'immagine personalizzata, puoi inviare un processo Amazon EMR su EKS utilizzando un'immagine personalizzata.
Innanzitutto, crea un start-job-run-request file.json e specifica il `spark.kubernetes.container.image` parametro per fare riferimento all'immagine personalizzata, come dimostra il seguente file JSON di esempio.
**Nota**
Puoi utilizzare lo schema `local://` per fare riferimento ai file disponibili nell'immagine personalizzata come mostrato con l'argomento `entryPoint` nel frammento JSON riportato di seguito. È possibile utilizzare anche la schema `local://` per fare riferimento alle dipendenze dell'applicazione. Tutti i file e le dipendenze a cui si fa riferimento utilizzando lo schema `local://` devono essere già presenti nel percorso specificato nell'immagine personalizzata.
```
{
"name": "spark-custom-image",
"virtualClusterId": "virtual-cluster-id",
"executionRoleArn": "execution-role-arn",
"releaseLabel": "emr-6.6.0-latest",
"jobDriver": {
"sparkSubmitJobDriver": {
"entryPoint": "local:///usr/lib/spark/examples/jars/spark-examples.jar",
"entryPointArguments": [
"10"
],
"sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.kubernetes.container.image=123456789012.dkr.ecr.us-west-2.amazonaws.com/emr6.6_custom_repo"
}
}
}
```
Puoi fare riferimento all'immagine personalizzata con le proprietà `applicationConfiguration` come illustrato nell'esempio seguente.
```
{
"name": "spark-custom-image",
"virtualClusterId": "virtual-cluster-id",
"executionRoleArn": "execution-role-arn",
"releaseLabel": "emr-6.6.0-latest",
"jobDriver": {
"sparkSubmitJobDriver": {
"entryPoint": "local:///usr/lib/spark/examples/jars/spark-examples.jar",
"entryPointArguments": [
"10"
],
"sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi"
}
},
"configurationOverrides": {
"applicationConfiguration": [
{
"classification": "spark-defaults",
"properties": {
"spark.kubernetes.container.image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/emr6.6_custom_repo"
}
}
]
}
}
```
Successivamente, esegui il comando `start-job-run` per inviare il processo.
```
aws emr-containers start-job-run --cli-input-json file://./start-job-run-request.json
```
Negli esempi JSON precedenti, sostituiscilo *emr-6.6.0-latest* con la tua versione di rilascio di Amazon EMR. Consigliamo vivamente di utilizzare la versione `-latest` per garantire che la versione selezionata contenga gli aggiornamenti di sicurezza più recenti. Per ulteriori informazioni sulle versioni di Amazon EMR e sui relativi tag di immagine, consulta [Dettagli per la selezione dell'URI di un'immagine di base](docker-custom-images-tag.md).
**Nota**
È possibile utilizzare `spark.kubernetes.driver.container.image` e `spark.kubernetes.executor.container.image` per specificare un'immagine diversa per i pod di driver ed executor.