Monitoraggio, metriche, rilasci, aggiornamenti Monitoraggio a livello di applicazione Monitoraggio a livello di lavoro Monitoraggio a livello di Job Worker

Monitoraggio delle applicazioni e dei lavori EMR Serverless

Con Amazon CloudWatch Metrics for EMR Serverless, puoi ricevere parametri in CloudWatch 1 minuto e CloudWatch accedere a dashboard per visualizzare near-real-time le operazioni e le prestazioni delle tue applicazioni EMR Serverless.

EMR Serverless invia metriche a ogni minuto. CloudWatch EMR Serverless emette queste metriche a livello di applicazione, nonché di mansione, tipo di lavoratore e livelli. capacity-allocation-type

Per iniziare, utilizza il modello di CloudWatch dashboard EMR Serverless fornito nell'archivio EMR GitHub Serverless e distribuiscilo.

Nota

I carichi di lavoro interattivi EMR Serverless hanno solo il monitoraggio a livello di applicazione abilitato e hanno una nuova dimensione di tipo di lavoratore,. Spark_Kernel Per monitorare ed eseguire il debug dei carichi di lavoro interattivi, è possibile visualizzare i log e l'interfaccia utente di Apache Spark direttamente dall'area di lavoro di EMR Studio.

Monitoraggio di parametri

Importante

Stiamo ristrutturando la visualizzazione delle nostre metriche per aggiungere ApplicationName e JobName come dimensioni. Le metriche precedenti ed esistenti sono ancora disponibili, ma consigliamo di utilizzare le nuove metriche.

Dimensioni attuali

La tabella seguente descrive le dimensioni EMR Serverless disponibili all'interno dello spazio dei nomi. AWS/EMR Serverless

Dimensioni per le metriche EMR Serverless
Dimensione	Descrizione
`ApplicationId`	Filtri per tutte le metriche di un'applicazione EMR Serverless utilizzando l'ID dell'applicazione.
`ApplicationName`	Filtri per tutte le metriche di un'applicazione EMR Serverless utilizzando il nome. Se il nome non viene fornito o contiene caratteri non ASCII, viene pubblicato come [Non specificato].
`JobId`	Filtri per tutte le metriche di un server EMR senza l'ID di esecuzione del lavoro.
`JobName`	Filtri per tutte le metriche di un job EMR Serverless eseguito utilizzando il nome. Se il nome non viene fornito o contiene caratteri non ASCII, viene pubblicato come [Non specificato].
`WorkerType`	Filtri per tutte le metriche di un determinato tipo di lavoratore. Ad esempio, puoi filtrare per `SPARK_DRIVER` e `SPARK_EXECUTORS` per i job Spark.
`CapacityAllocationType`	Filtri per tutte le metriche di un determinato tipo di allocazione della capacità. Ad esempio, puoi filtrare per la capacità preinizializzata e `PreInitCapacity` `OnDemandCapacity` per tutto il resto.

Monitoraggio a livello di applicazione

Puoi monitorare l'utilizzo della capacità a livello di applicazione EMR Serverless con i parametri di Amazon. CloudWatch Puoi anche configurare una vista singola per monitorare l'utilizzo della capacità delle applicazioni in una dashboard. CloudWatch

Metriche delle applicazioni EMR Serverless
Parametro	Descrizione	Unità	Dimensione
`MaxCPUAllowed`	La CPU massima consentita per l'applicazione.	VPCU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	La memoria massima in GB consentita per l'applicazione.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	Lo spazio di archiviazione massimo in GB consentito per l'applicazione.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	Il numero totale di v CPUs allocato.	VPCU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	Il numero totale di lavoratori inattivi.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	Memoria totale in GB allocata.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	Il numero totale di lavoratori in attesa di creazione.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	Il numero totale di lavoratori utilizzati dall'applicazione.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	Lo spazio di archiviazione totale su disco in GB allocato.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	Il numero totale di lavoratori disponibili.	Conteggio	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Monitoraggio a livello di lavoro

Amazon EMR Serverless invia i seguenti parametri a livello di processo ogni minuto. Amazon CloudWatch Puoi visualizzare i valori delle metriche per le esecuzioni aggregate dei processi in base allo stato di esecuzione del processo. L'unità per ciascuna metrica è il conteggio.

Metriche a livello di job EMR Serverless
Parametro	Descrizione	Dimensione
`SubmittedJobs`	Il numero di lavori in uno stato Inviato.	`ApplicationId`, `ApplicationName`
`PendingJobs`	Il numero di lavori in uno stato In sospeso.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	Il numero di lavori in uno stato Pianificato.	`ApplicationId`, `ApplicationName`
`RunningJobs`	Il numero di lavori in uno stato In esecuzione.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	Il numero di lavori in uno stato di successo.	`ApplicationId`, `ApplicationName`
`FailedJobs`	Il numero di lavori in uno stato Non riuscito.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	Il numero di lavori in uno stato di annullamento.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	Il numero di lavori in uno stato annullato.	`ApplicationId`, `ApplicationName`

È possibile monitorare le metriche specifiche del motore sia per i lavori EMR Serverless in esecuzione che per quelli completati con un'applicazione specifica del motore. UIs Quando si visualizza l'interfaccia utente per un processo in esecuzione, viene visualizzata l'interfaccia utente dell'applicazione in tempo reale con aggiornamenti in tempo reale. Quando si visualizza l'interfaccia utente di un lavoro completato, viene visualizzata l'interfaccia utente persistente dell'app.

Esecuzione di processi

Per eseguire i job EMR Serverless, è possibile visualizzare un'interfaccia in tempo reale che fornisce metriche specifiche del motore. Puoi utilizzare l'interfaccia utente di Apache Spark o l'interfaccia utente di Hive Tez per monitorare ed eseguire il debug dei lavori. Per accedervi UIs, usa la console EMR Studio o richiedi un endpoint URL sicuro con. AWS Command Line Interface

Lavori completati

Per i job EMR Serverless completati, puoi utilizzare lo Spark History Server o l'interfaccia utente Persistent Hive Tez per visualizzare i dettagli, le fasi, le attività e le metriche dei job Spark o Hive eseguiti. Per accedervi UIs, usa la console EMR Studio o richiedi un endpoint URL sicuro con. AWS Command Line Interface

Monitoraggio a livello di Job Worker

Amazon EMR Serverless invia ad Amazon i seguenti parametri a livello di job worker disponibili nel AWS/EMRServerless namespace e nel gruppo di metrici. Job Worker Metrics CloudWatch EMR Serverless raccoglie punti dati dai singoli lavoratori durante le esecuzioni dei lavori a livello di mansione, tipo di lavoratore e livello. capacity-allocation-type È possibile utilizzarlo ApplicationId come dimensione per monitorare più lavori che appartengono alla stessa applicazione.

Metriche EMR Serverless a livello di job worker
Parametro	Descrizione	Unità	Dimensione
`WorkerCpuAllocated`	Il numero totale di core vCPU allocati per i lavoratori in un job run.	VPCU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerCpuUsed`	Il numero totale di core vCPU utilizzati dai lavoratori in un processo.	VPCU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerMemoryAllocated`	Memoria totale in GB allocata per i lavoratori durante l'esecuzione di un processo.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerMemoryUsed`	Memoria totale in GB utilizzata dai lavoratori durante l'esecuzione di un processo.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	Il numero di byte di storage temporaneo allocato ai lavoratori durante l'esecuzione di un job.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	Il numero di byte di storage temporaneo utilizzati dai lavoratori durante l'esecuzione di un processo.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerStorageReadBytes`	Il numero di byte letti dallo storage dai lavoratori durante l'esecuzione di un job.	Byte	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`
`WorkerStorageWriteBytes`	Il numero di byte scritti nello storage dai lavoratori durante l'esecuzione di un job.	Byte	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType` e `CapacityAllocationType`

I passaggi seguenti descrivono come visualizzare i vari tipi di metriche.

Console

Per accedere all'interfaccia utente dell'applicazione con la console

Accedi alla tua applicazione EMR Serverless su EMR Studio con le istruzioni in Guida introduttiva dalla console.
Per visualizzare l'applicazione UIs e i registri specifici del motore per un processo in esecuzione:
1. Scegli un lavoro con uno stato. RUNNING
2. Seleziona il lavoro nella pagina dei dettagli della candidatura o vai alla pagina dei dettagli del lavoro relativa al tuo lavoro.
3. Nel menu a discesa Display UI, scegli Spark UI o Hive Tez UI per accedere all'interfaccia utente dell'applicazione per il tuo tipo di lavoro.
4. Per visualizzare i log del motore Spark, vai alla scheda Executors nell'interfaccia utente Spark e scegli il link Logs per il driver. Per visualizzare i log del motore Hive, scegli il link Logs per il DAG appropriato nell'interfaccia utente di Hive Tez.
Per visualizzare l'applicazione e i registri specifici del motore per un lavoro completato: UIs
1. Scegli un lavoro con uno stato. SUCCESS
2. Seleziona il lavoro nella pagina dei dettagli della candidatura o vai alla pagina dei dettagli del lavoro.
3. Nel menu a discesa Display UI, scegli Spark History Server o Persistent Hive Tez UI per accedere all'interfaccia utente dell'applicazione per il tuo tipo di lavoro.
4. Per visualizzare i log del motore Spark, vai alla scheda Executors nell'interfaccia utente Spark e scegli il link Logs per il driver. Per visualizzare i log del motore Hive, scegli il link Logs per il DAG appropriato nell'interfaccia utente di Hive Tez.

AWS CLI

Per accedere all'interfaccia utente dell'applicazione con AWS CLI

Per generare un URL da utilizzare per accedere all'interfaccia utente dell'applicazione sia per i lavori in esecuzione che per quelli completati, chiama l'GetDashboardForJobRunAPI.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
L'URL generato è valido per un'ora.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Monitoraggio

Metriche del motore Spark