Métricas de monitoramento: atualizações de versão Monitoramento em nível de aplicações Monitoramento no nível do trabalho Monitoramento em nível de trabalhador para trabalhos

Monitoramento de aplicações e trabalhos do EMR Sem Servidor

Com CloudWatch as métricas da Amazon para EMR Serverless, você pode receber CloudWatch métricas de 1 minuto e acessar CloudWatch painéis para acessar near-real-time as operações e o desempenho de seus aplicativos EMR Serverless.

O EMR Serverless envia métricas a cada minuto. CloudWatch O EMR Serverless emite essas métricas no nível do aplicativo, bem como no cargo, no tipo de funcionário e nos níveis. capacity-allocation-type

Para começar, use o modelo de CloudWatch painel do EMR Serverless fornecido no repositório do EMR Serverless e implante-o. GitHub

nota

As workloads interativas do EMR Sem Servidor têm apenas o monitoramento em nível de aplicação habilitado e uma nova dimensão de tipo de trabalhador, Spark_Kernel. Para monitorar e depurar suas workloads interativas, acesse os logs e a interface do usuário do Apache Spark no Workspace do EMR Studio.

Monitoramento de métricas

Importante

Estamos reestruturando nossa exibição de métricas para adicionar ApplicationName e JobName como dimensões. Para a versão 7.10 e posteriores, as métricas mais antigas não serão mais atualizadas. Para versões do EMR abaixo de 7.10, as métricas mais antigas ainda estão disponíveis.

Dimensões atuais

A tabela abaixo descreve as dimensões do EMR Sem Servidor disponíveis no namespace AWS/EMR Serverless.

Dimensões para métricas do EMR Sem Servidor
Dimensão	Description
`ApplicationId`	Filtros para todas as métricas de uma aplicação EMR Sem Servidor usando o ID da aplicação.
`ApplicationName`	Filtros para todas as métricas de uma aplicação EMR Sem Servidor usando o nome. Se o nome não for fornecido ou contiver caracteres não ASCII, ele será publicado como [Unspecified].
`JobId`	Filtros para todas as métricas da execução de um ID de execução de trabalho do EMR Sem Servidor.
`JobName`	Filtros para todas as métricas de um trabalho EMR Sem Servidor executado usando o nome. Se o nome não for fornecido ou contiver caracteres não ASCII, ele será publicado como [Unspecified].
`WorkerType`	Filtros para todas as métricas de um determinado tipo de trabalhador. Por exemplo, você pode filtrar por `SPARK_DRIVER` e `SPARK_EXECUTORS` para trabalhos do Spark.
`CapacityAllocationType`	Filtros para todas as métricas de um determinado tipo de alocação de capacidade. Por exemplo, você pode filtrar por `PreInitCapacity` para capacidade pré-inicializada e `OnDemandCapacity` para todo o resto.

Monitoramento em nível de aplicações

Você pode monitorar o uso da capacidade no nível do aplicativo EMR Serverless com as métricas da Amazon. CloudWatch Você também pode configurar um único monitor para monitorar o uso da capacidade do aplicativo em um CloudWatch painel.

Métricas de aplicações do EMR Sem Servidor
Métrica	Description	Unidade	Dimensão
`MaxCPUAllowed`	O máximo de CPU permitido para a aplicação.	vCPU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	A memória máxima em GB permitida para a aplicação.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	O armazenamento máximo em GB permitido para a aplicação.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	Os números totais de v CPUs alocados.	vCPU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	O número total de trabalhadores ociosos.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	A memória total em GB alocada.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	O número total de trabalhadores pendentes de criação.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	O número total de trabalhadores em uso pela aplicação.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	O armazenamento total em disco em GB alocado.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	O número total de trabalhadores disponíveis.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Monitoramento no nível do trabalho

O Amazon EMR Sem Servidor envia as métricas de nível de trabalho a seguir a cada minuto ao Amazon CloudWatch . Você pode acessar os valores das métricas para execuções de trabalhos agregadas por estado de execução de trabalhos. A unidade para cada uma das métricas é contagem.

Métricas de nível de trabalho do EMR Sem Servidor
Métrica	Description	Dimensão
`SubmittedJobs`	O número de trabalhos no estado Enviado.	`ApplicationId`, `ApplicationName`
`PendingJobs`	O número de trabalhos em um estado Pendente.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	O número de trabalhos em um estado Programado.	`ApplicationId`, `ApplicationName`
`RunningJobs`	O número de trabalhos em um estado Em execução.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	O número de trabalhos em um estado Com êxito.	`ApplicationId`, `ApplicationName`
`FailedJobs`	O número de trabalhos em um estado de Falha.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	O número de trabalhos em um estado de Cancelamento.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	O número de trabalhos em um estado Cancelado.	`ApplicationId`, `ApplicationName`

Você pode monitorar métricas específicas do mecanismo para executar e concluir trabalhos do EMR Serverless com um aplicativo específico do mecanismo. UIs Quando você acessa a interface do usuário para um trabalho em execução, a interface do usuário da aplicação ao vivo é exibida com atualizações em tempo real. Quando você acessa a interface do usuário para um trabalho concluído, a interface do usuário persistente da aplicação é exibida.

Execução de trabalhos

Para trabalhos do EMR Sem Servidor em execução, acesse uma interface em tempo real que fornece métricas específicas do mecanismo. Você pode usar a interface do usuário do Apache Spark ou a interface do usuário do Hive Tez para monitorar e depurar trabalhos. Para acessá-los UIs, use o console do EMR Studio ou solicite um endpoint de URL seguro com o. AWS Command Line Interface

Trabalhos concluídos

Para trabalhos concluídos do EMR Sem Servidor, use o Spark History Server ou a interface de usuário persistente do Hive Tez para acessar detalhes, estágios, tarefas e métricas das execuções de trabalhos do Spark ou do Hive. Para acessá-los UIs, use o console do EMR Studio ou solicite um endpoint de URL seguro com o. AWS Command Line Interface

Monitoramento em nível de trabalhador para trabalhos

O Amazon EMR Serverless envia as seguintes métricas de nível de funcionário que estão disponíveis no AWS/EMRServerless namespace e no grupo de métricas para a Amazon. Job Worker Metrics CloudWatch O EMR Serverless coleta pontos de dados de trabalhadores individuais durante a execução do trabalho no nível do cargo, no tipo de trabalhador e no nível. capacity-allocation-type Você pode usar ApplicationId como uma dimensão para monitorar vários trabalhos que pertencem à mesma aplicação.

Métricas do EMR Sem Servidor em nível de trabalhador
Métrica	Description	Unidade	Dimensão
`WorkerCpuAllocated`	O número total de núcleos de vCPU alocados para trabalhadores em uma execução de trabalho.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerCpuUsed`	O número total de núcleos de vCPU utilizados pelos trabalhadores em uma execução de trabalho.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerMemoryAllocated`	A memória total em GB alocada para trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerMemoryUsed`	A memória total em GB utilizada pelos trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	O número de bytes de armazenamento temporário alocados para trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	O número de bytes de armazenamento temporário usados pelos trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerStorageReadBytes`	O número de bytes lidos do armazenamento por trabalhadores durante uma execução de trabalho.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerStorageWriteBytes`	O número de bytes gravados no armazenamento por trabalhadores durante uma execução de trabalho.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`

As etapas abaixo descrevem como acessar os vários tipos de métricas.

Console

Para acessar a interface do usuário da aplicação com o console

Navegue até a aplicação do EMR Sem Servidor no EMR Studio com as instruções em Getting started from the console.
Para acessar aplicativos UIs e registros específicos do mecanismo para um trabalho em execução:
1. Escolha um trabalho com um status RUNNING.
2. Selecione o trabalho na página de Detalhes da aplicação ou navegue até a página Detalhes do trabalho do seu trabalho.
3. No menu suspenso Exibir interface do usuário, escolha Interface do usuário do Spark ou Interface do usuário do Hive Tez para navegar até a interface da aplicação do seu tipo de trabalho.
4. Para acessar os logs do mecanismo do Spark, navegue até a guia Executores na interface do usuário do Spark e escolha o link Logs do driver. Para acessar os logs do mecanismo do Hive, escolha o link Logs do DAG apropriado na interface do usuário do Hive Tez.
Para acessar aplicativos UIs e registros específicos do motor para um trabalho concluído:
1. Escolha um trabalho com um status SUCCESS.
2. Selecione o trabalho na página Detalhes da aplicação ou navegue até a página Detalhes do trabalho.
3. No menu suspenso Exibir interface do usuário, escolha Servidor de histórico do Spark ou Interface de usuário persistente do Hive Tez para navegar até a interface da aplicação do seu tipo de trabalho.
4. Para acessar os logs do mecanismo do Spark, navegue até a guia Executores na interface do usuário do Spark e escolha o link Logs do driver. Para acessar os logs do mecanismo do Hive, escolha o link Logs do DAG apropriado na interface do usuário do Hive Tez.

AWS CLI

Para acessar a interface do usuário do seu aplicativo com o AWS CLI

Para gerar um URL usado para acessar a interface do usuário da aplicação para trabalhos em execução e concluídos, chame a API GetDashboardForJobRun.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
O URL gerado é válido por uma hora.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Monitoramento

Métricas do mecanismo do Spark