Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Comprendere i concetti e la terminologia di Amazon EMR su EKS
Amazon EMR su EKS offre un'opzione di implementazione per Amazon EMR che consente di eseguire framework per Big Data open source su Amazon Elastic Kubernetes Service (Amazon EKS). Questo argomento fornisce un contesto su alcuni dei termini più diffusi, tra cui namespace, cluster virtuali e job run, che sono unità di lavoro che invii per l'elaborazione.
Spazio dei nomi Kubernetes
Amazon EKS utilizza gli spazi dei nomi Kubernetes per suddividere le risorse del cluster tra più utenti e applicazioni. Questi spazi dei nomi costituiscono la base degli ambienti multi-tenant. Uno spazio dei nomi Kubernetes può avere Amazon EC2 o AWS Fargate come provider di elaborazione. Questa flessibilità offre diverse opzioni di prestazioni e costi per l'esecuzione dei processi.
Cluster virtuale
Un cluster virtuale è uno spazio dei nomi Kubernetes con cui è registrato Amazon EMR. Amazon EMR utilizza cluster virtuali per eseguire processi e ospitare endpoint. Più cluster virtuali possono essere supportati dallo stesso cluster fisico. Tuttavia, ogni cluster virtuale esegue la mappatura a uno spazio dei nomi in un cluster EKS. I cluster virtuali non creano risorse attive che incrementano i costi in fattura o che richiedono la gestione del ciclo di vita all'esterno del servizio.
Esecuzione del processo
L'esecuzione di un job è un'unità di lavoro, ad esempio un jar Spark, PySpark uno script o una query SparkSQL, che invii ad Amazon EMR su EKS. Un processo può avere più esecuzioni. Quando si invia l'esecuzione di un processo, occorre includere le seguenti informazioni:
-
Un cluster virtuale in cui deve essere eseguito il processo.
-
Un nome per identificare il processo.
-
Ruolo di esecuzione: un ruolo IAM definito che esegue il processo e consente di specificare le risorse a cui è possibile accedere tramite il processo.
-
L'etichetta di rilascio di Amazon EMR che specifica la versione delle applicazioni open source da utilizzare.
-
Gli artefatti da utilizzare durante l'invio del processo, ad esempio i parametri spark-submit.
Per impostazione predefinita, i log vengono caricati su Spark History Server e sono accessibili da AWS Management Console. Puoi anche inviare log di eventi, log di esecuzione e metriche ad Amazon S3 e Amazon. CloudWatch
Container di Amazon EMR
Un container di Amazon EMR è il nome dell'API per Amazon EMR su EKS. Il prefisso emr-containers viene utilizzato nei seguenti scenari:
-
È il prefisso nei comandi CLI per Amazon EMR su EKS. Ad esempio
aws emr-containers start-job-run. -
È il prefisso prima delle operazioni di policy IAM per Amazon EMR su EKS. Ad esempio
"Action": [ "emr-containers:StartJobRun"]. Per ulteriori informazioni, consulta Operazioni di policy per Amazon EMR su EKS. -
È il prefisso utilizzato negli endpoint del servizio di Amazon EMR su EKS. Ad esempio
emr-containers.us-east-1.amazonaws.com. Per ulteriori informazioni, consulta Endpoint del servizio di Amazon EMR su EKS.
