Métricas de monitoramento: atualizações de versão Application-level monitoramento Job-level monitoramento Monitoramento em nível de trabalhador para trabalhos

Monitoramento de aplicações e trabalhos do EMR Sem Servidor

Com CloudWatch as métricas da Amazon para EMR Serverless, você pode receber CloudWatch métricas de 1 minuto e acessar CloudWatch painéis para acessar operações e desempenho quase em tempo real de seus aplicativos EMR Serverless.

O EMR Serverless envia métricas a CloudWatch cada minuto. O EMR Sem Servidor emite essas métricas no nível da aplicação, bem como nos níveis de trabalho, tipo de trabalhador e tipo de alocação de capacidade.

Para começar, use o modelo de CloudWatch painel EMR Serverless fornecido no repositório EMR GitHub Serverless e implante-o.

nota

As workloads interativas do EMR Sem Servidor têm apenas o monitoramento em nível de aplicação habilitado e uma nova dimensão de tipo de trabalhador, Spark_Kernel. Para monitorar e depurar suas workloads interativas, acesse os logs e a interface do usuário do Apache Spark no Workspace do EMR Studio.

Monitoramento de métricas

Importante

Estamos reestruturando nossa exibição de métricas para adicionar ApplicationName e JobName como dimensões. Para a versão 7.10 e posteriores, as métricas mais antigas não serão mais atualizadas. Para versões do EMR abaixo de 7.10, as métricas mais antigas ainda estão disponíveis.

Dimensões atuais

A tabela abaixo descreve as dimensões do EMR Sem Servidor disponíveis no namespace AWS/EMR Serverless.

Dimensões para métricas do EMR Sem Servidor
Dimensão	Description
`ApplicationId`	Filtros para todas as métricas de uma aplicação EMR Sem Servidor usando o ID da aplicação.
`ApplicationName`	Filtros para todas as métricas de uma aplicação EMR Sem Servidor usando o nome. Se o nome não for fornecido ou contiver caracteres não ASCII, ele será publicado como [Unspecified].
`JobId`	Filtros para todas as métricas da execução de um ID de execução de trabalho do EMR Sem Servidor.
`JobName`	Filtros para todas as métricas de um trabalho EMR Sem Servidor executado usando o nome. Se o nome não for fornecido ou contiver caracteres não ASCII, ele será publicado como [Unspecified].
`WorkerType`	Filtros para todas as métricas de um determinado tipo de trabalhador. Por exemplo, você pode filtrar por `SPARK_DRIVER` e `SPARK_EXECUTORS` para trabalhos do Spark.
`CapacityAllocationType`	Filtros para todas as métricas de um determinado tipo de alocação de capacidade. Por exemplo, você pode filtrar por `PreInitCapacity` para capacidade pré-inicializada e `OnDemandCapacity` para todo o resto.

Application-level monitoramento

Você pode monitorar o uso da capacidade no nível do aplicativo EMR Serverless com as métricas da Amazon. CloudWatch Você também pode configurar um único monitor para monitorar o uso da capacidade do aplicativo em um CloudWatch painel.

Métricas de aplicações do EMR Sem Servidor
Métrica	Description	Unidade	Dimensão
`MaxCPUAllowed`	O máximo de CPU permitido para a aplicação.	vCPU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	A memória máxima em GB permitida para a aplicação.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	O armazenamento máximo em GB permitido para a aplicação.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	O número total de vCPUs alocadas.	vCPU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	O número total de trabalhadores ociosos.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	A memória total em GB alocada.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	O número total de trabalhadores pendentes de criação.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	O número total de trabalhadores em uso pela aplicação.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	O armazenamento total em disco em GB alocado.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	O número total de trabalhadores disponíveis.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Job-level monitoramento

O Amazon EMR Sem Servidor envia as métricas de nível de trabalho a seguir a cada minuto ao Amazon CloudWatch . Você pode acessar os valores das métricas para execuções de trabalhos agregadas por estado de execução de trabalhos. A unidade para cada uma das métricas é contagem.

Métricas de nível de trabalho do EMR Sem Servidor
Métrica	Description	Dimensão
`SubmittedJobs`	O número de trabalhos no estado Enviado.	`ApplicationId`, `ApplicationName`
`PendingJobs`	O número de trabalhos em um estado Pendente.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	O número de trabalhos em um estado Programado.	`ApplicationId`, `ApplicationName`
`RunningJobs`	O número de trabalhos em um estado Em execução.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	O número de trabalhos em um estado Com êxito.	`ApplicationId`, `ApplicationName`
`FailedJobs`	O número de trabalhos em um estado de Falha.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	O número de trabalhos em um estado de Cancelamento.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	O número de trabalhos em um estado Cancelado.	`ApplicationId`, `ApplicationName`

Você pode monitorar métricas específicas do mecanismo para trabalhos em execução e concluídos do EMR Sem Servidor com interfaces de usuário de aplicações específicas do mecanismo. Quando você acessa a interface do usuário para um trabalho em execução, a interface do usuário da aplicação ao vivo é exibida com atualizações em tempo real. Quando você acessa a interface do usuário para um trabalho concluído, a interface do usuário persistente da aplicação é exibida.

Execução de trabalhos

Para trabalhos do EMR Sem Servidor em execução, acesse uma interface em tempo real que fornece métricas específicas do mecanismo. Você pode usar a interface do usuário do Apache Spark ou a interface do usuário do Hive Tez para monitorar e depurar trabalhos. Para acessar essas interfaces de usuário, use o console do EMR Studio ou solicite um endpoint de URL seguro com a AWS Command Line Interface.

Trabalhos concluídos

Para trabalhos concluídos do EMR Sem Servidor, use o Spark History Server ou a interface de usuário persistente do Hive Tez para acessar detalhes, estágios, tarefas e métricas das execuções de trabalhos do Spark ou do Hive. Para acessar essas interfaces de usuário, use o console do EMR Studio ou solicite um endpoint de URL seguro com a AWS Command Line Interface.

Monitoramento em nível de trabalhador para trabalhos

O Amazon EMR Serverless envia as seguintes métricas em nível de funcionário que estão disponíveis no AWS/EMRServerless namespace e Job Worker Metrics no grupo de métricas para a Amazon. CloudWatch O EMR Sem Servidor coleta pontos de dados de trabalhadores individuais durante a execução do trabalho, no nível do trabalho, no tipo de trabalhador e no nível do tipo de alocação de capacidade. Você pode usar ApplicationId como uma dimensão para monitorar vários trabalhos que pertencem à mesma aplicação.

nota

Para visualizar o total de CPU e memória usadas por um trabalho sem servidor do EMR ao visualizar as métricas no CloudWatch console da Amazon, use a estatística como soma e período como 1 minuto.

Métricas do EMR Sem Servidor em nível de trabalhador
Métrica	Description	Unidade	Dimensão
`WorkerCpuAllocated`	O número total de núcleos de vCPU alocados para trabalhadores em uma execução de trabalho.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerCpuUsed`	O número total de núcleos de vCPU utilizados pelos trabalhadores em uma execução de trabalho.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerMemoryAllocated`	A memória total em GB alocada para trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerMemoryUsed`	A memória total em GB utilizada pelos trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	O número de bytes de armazenamento temporário alocados para trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	O número de bytes de armazenamento temporário usados pelos trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerStorageReadBytes`	O número de bytes lidos do armazenamento por trabalhadores durante uma execução de trabalho.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerStorageWriteBytes`	O número de bytes gravados no armazenamento por trabalhadores durante uma execução de trabalho.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`

As etapas abaixo descrevem como acessar os vários tipos de métricas.

Console

Para acessar a interface do usuário da aplicação com o console

Navegue até a aplicação do EMR Sem Servidor no EMR Studio com as instruções em Getting started from the console.
Para acessar interfaces de usuário e logs de aplicações específicos do mecanismo para um trabalho em execução:
1. Escolha um trabalho com um status RUNNING.
2. Selecione o trabalho na página de Detalhes da aplicação ou navegue até a página Detalhes do trabalho do seu trabalho.
3. No menu suspenso Exibir interface do usuário, escolha Interface do usuário do Spark ou Interface do usuário do Hive Tez para navegar até a interface da aplicação do seu tipo de trabalho.
4. Para acessar os logs do mecanismo do Spark, navegue até a guia Executores na interface do usuário do Spark e escolha o link Logs do driver. Para acessar os logs do mecanismo do Hive, escolha o link Logs do DAG apropriado na interface do usuário do Hive Tez.
Para acessar interfaces de usuário e logs de aplicações específicos do mecanismo de um trabalho concluído:
1. Escolha um trabalho com um status SUCCESS.
2. Selecione o trabalho na página Detalhes da aplicação ou navegue até a página Detalhes do trabalho.
3. No menu suspenso Exibir interface do usuário, escolha Servidor de histórico do Spark ou Interface de usuário persistente do Hive Tez para navegar até a interface da aplicação do seu tipo de trabalho.
4. Para acessar os logs do mecanismo do Spark, navegue até a guia Executores na interface do usuário do Spark e escolha o link Logs do driver. Para acessar os logs do mecanismo do Hive, escolha o link Logs do DAG apropriado na interface do usuário do Hive Tez.

AWS CLI

Para acessar a interface do usuário do seu aplicativo com o AWS CLI

Para gerar um URL usado para acessar a interface do usuário da aplicação para trabalhos em execução e concluídos, chame a API GetDashboardForJobRun.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
O URL gerado é válido por uma hora.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Monitoramento

Métricas do mecanismo do Spark