Metriche di monitoraggio, rilasci e aggiornamenti Monitoraggio a livello di applicazione Monitoraggio a livello di lavoro Monitoraggio a livello di Job Worker

Monitoraggio delle applicazioni e dei lavori EMR Serverless

Con Amazon CloudWatch Metrics for EMR Serverless, puoi ricevere parametri di CloudWatch 1 minuto e accedere a dashboard per CloudWatch accedere alle near-real-time operazioni e alle prestazioni delle tue applicazioni EMR Serverless.

EMR Serverless invia metriche a ogni minuto. CloudWatch EMR Serverless emette queste metriche a livello di applicazione, nonché di mansione, tipo di lavoratore e livelli. capacity-allocation-type

Per iniziare, utilizza il modello di CloudWatch dashboard EMR Serverless fornito nell'archivio EMR GitHub Serverless e distribuiscilo.

Nota

I carichi di lavoro interattivi EMR Serverless hanno solo il monitoraggio a livello di applicazione abilitato e hanno una nuova dimensione di tipo di lavoratore,. Spark_Kernel Per monitorare ed eseguire il debug dei carichi di lavoro interattivi, accedi ai log e all'interfaccia utente di Apache Spark dall'area di lavoro di EMR Studio.

Metriche di monitoraggio

Importante

Stiamo ristrutturando la visualizzazione delle nostre metriche per aggiungere ApplicationName e JobName come dimensioni. Per la versione 7.10 e successive, le metriche precedenti non verranno più aggiornate. Per le versioni EMR precedenti alla 7.10, le metriche precedenti sono ancora disponibili.

Dimensioni attuali

La tabella seguente descrive le dimensioni EMR Serverless disponibili all'interno dello spazio dei nomi. AWS/EMR Serverless

Dimensioni per le metriche EMR Serverless
Dimensione	Description
`ApplicationId`	Filtri per tutte le metriche di un'applicazione EMR Serverless utilizzando l'ID dell'applicazione.
`ApplicationName`	Filtri per tutte le metriche di un'applicazione EMR Serverless utilizzando il nome. Se il nome non viene fornito o contiene caratteri non ASCII, viene pubblicato come [Non specificato].
`JobId`	Filtri per tutte le metriche di un server EMR senza l'ID di esecuzione del lavoro.
`JobName`	Filtri per tutte le metriche di un job EMR Serverless eseguito utilizzando il nome. Se il nome non viene fornito o contiene caratteri non ASCII, viene pubblicato come [Non specificato].
`WorkerType`	Filtri per tutte le metriche di un determinato tipo di lavoratore. Ad esempio, puoi filtrare per `SPARK_DRIVER` e `SPARK_EXECUTORS` per i job Spark.
`CapacityAllocationType`	Filtri per tutte le metriche di un determinato tipo di allocazione della capacità. Ad esempio, puoi filtrare per la capacità preinizializzata e `PreInitCapacity` `OnDemandCapacity` per tutto il resto.

Monitoraggio a livello di applicazione

Puoi monitorare l'utilizzo della capacità a livello di applicazione EMR Serverless con i parametri di Amazon. CloudWatch Puoi anche configurare un singolo display per monitorare l'utilizzo della capacità delle applicazioni in una dashboard. CloudWatch

Metriche delle applicazioni EMR Serverless
Parametro	Description	Unità	Dimensione
`MaxCPUAllowed`	La CPU massima consentita per l'applicazione.	VPCU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	La memoria massima in GB consentita per l'applicazione.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	Lo spazio di archiviazione massimo in GB consentito per l'applicazione.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	Il numero totale di v CPUs allocato.	VPCU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	Il numero totale di lavoratori inattivi.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	Memoria totale in GB allocata.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	Il numero totale di lavoratori in attesa di creazione.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	Il numero totale di lavoratori utilizzati dall'applicazione.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	Lo spazio di archiviazione totale su disco in GB allocato.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	Il numero totale di lavoratori disponibili.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Monitoraggio a livello di lavoro

Amazon EMR Serverless invia i seguenti parametri a livello di processo ogni minuto. Amazon CloudWatch Puoi accedere ai valori delle metriche per le esecuzioni aggregate dei processi in base allo stato di esecuzione del processo. L'unità per ciascuna metrica è il conteggio.

Metriche a livello di job EMR Serverless
Parametro	Description	Dimensione
`SubmittedJobs`	Il numero di lavori in uno stato Inviato.	`ApplicationId`, `ApplicationName`
`PendingJobs`	Il numero di lavori in uno stato In sospeso.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	Il numero di lavori in uno stato Pianificato.	`ApplicationId`, `ApplicationName`
`RunningJobs`	Il numero di lavori in uno stato In esecuzione.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	Il numero di lavori in uno stato di successo.	`ApplicationId`, `ApplicationName`
`FailedJobs`	Il numero di lavori in uno stato Non riuscito.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	Il numero di lavori in uno stato di annullamento.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	Il numero di lavori in uno stato annullato.	`ApplicationId`, `ApplicationName`

È possibile monitorare le metriche specifiche del motore per l'esecuzione e il completamento dei job EMR Serverless con un'applicazione specifica del motore. UIs Quando si accede all'interfaccia utente per un processo in esecuzione, l'interfaccia utente live dell'applicazione viene visualizzata con aggiornamenti in tempo reale. Quando si accede all'interfaccia utente per un lavoro completato, viene visualizzata l'interfaccia utente persistente dell'app.

Esecuzione di processi

Per eseguire lavori EMR Serverless, accedi a un'interfaccia in tempo reale che fornisce metriche specifiche del motore. Puoi utilizzare l'interfaccia utente di Apache Spark o l'interfaccia utente di Hive Tez per monitorare ed eseguire il debug dei lavori. Per accedervi UIs, usa la console EMR Studio o richiedi un endpoint URL sicuro con. AWS Command Line Interface

Lavori completati

Per i job EMR Serverless completati, usa lo Spark History Server o l'interfaccia utente Persistent Hive Tez per accedere ai dettagli, alle fasi, alle attività e alle metriche dei job Spark o Hive eseguiti. Per accedervi UIs, usa la console EMR Studio o richiedi un endpoint URL sicuro con. AWS Command Line Interface

Monitoraggio a livello di Job Worker

Amazon EMR Serverless invia ad Amazon i seguenti parametri a livello di job worker disponibili nel AWS/EMRServerless namespace e nel gruppo di metrici. Job Worker Metrics CloudWatch EMR Serverless raccoglie punti dati dai singoli lavoratori durante le esecuzioni dei lavori a livello di mansione, tipo di lavoratore e livello. capacity-allocation-type È possibile utilizzarlo ApplicationId come dimensione per monitorare più lavori che appartengono alla stessa applicazione.

Metriche EMR Serverless a livello di job worker
Parametro	Description	Unità	Dimensione
`WorkerCpuAllocated`	Il numero totale di core vCPU allocati per i lavoratori in un job run.	VPCU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerCpuUsed`	Il numero totale di core vCPU utilizzati dai lavoratori in un job run.	VPCU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerMemoryAllocated`	Memoria totale in GB allocata per i lavoratori durante l'esecuzione di un processo.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerMemoryUsed`	Memoria totale in GB utilizzata dai lavoratori durante l'esecuzione di un processo.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	Il numero di byte di storage temporaneo allocato ai lavoratori durante l'esecuzione di un job.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	Il numero di byte di storage temporaneo utilizzati dai lavoratori durante l'esecuzione di un processo.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerStorageReadBytes`	Il numero di byte letti dallo storage dai lavoratori durante l'esecuzione di un job.	Byte	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerStorageWriteBytes`	Il numero di byte scritti nello storage dai lavoratori durante l'esecuzione di un job.	Byte	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`

I passaggi seguenti descrivono come accedere ai vari tipi di metriche.

Console

Per accedere all'interfaccia utente dell'applicazione con la console

Accedi alla tua applicazione EMR Serverless su EMR Studio con le istruzioni in Guida introduttiva dalla console.
Per accedere all'applicazione UIs e ai log specifici del motore per un processo in esecuzione:
1. Scegli un lavoro con uno stato. RUNNING
2. Seleziona il lavoro nella pagina dei dettagli della candidatura o vai alla pagina dei dettagli del lavoro relativa al tuo lavoro.
3. Nel menu a discesa Display UI, scegli Spark UI o Hive Tez UI per accedere all'interfaccia utente dell'applicazione per il tuo tipo di lavoro.
4. Per accedere ai log del motore Spark, vai alla scheda Executors nell'interfaccia utente Spark e scegli il link Logs per il driver. Per accedere ai log del motore Hive, scegli il link Logs per il DAG appropriato nell'interfaccia utente di Hive Tez.
Per accedere all'applicazione e ai log specifici del motore per un lavoro completato: UIs
1. Scegli un lavoro con uno stato. SUCCESS
2. Seleziona il lavoro nella pagina dei dettagli della candidatura o vai alla pagina dei dettagli del lavoro.
3. Nel menu a discesa Display UI, scegli Spark History Server o Persistent Hive Tez UI per accedere all'interfaccia utente dell'applicazione per il tuo tipo di lavoro.
4. Per accedere ai log del motore Spark, vai alla scheda Executors nell'interfaccia utente Spark e scegli il link Logs per il driver. Per accedere ai log del motore Hive, scegli il link Logs per il DAG appropriato nell'interfaccia utente di Hive Tez.

AWS CLI

Per accedere all'interfaccia utente dell'applicazione con AWS CLI

Per generare un URL da utilizzare per accedere all'interfaccia utente dell'applicazione per i lavori in esecuzione e completati, chiama l'GetDashboardForJobRunAPI.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
L'URL generato è valido per un'ora.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Monitoraggio

Metriche del motore Spark