Atualizações de lançamento de métricas de monitoramento Monitoramento em nível de aplicações Monitoramento no nível do trabalho Monitoramento em nível de trabalhador para trabalhos

Monitoramento de aplicações e trabalhos do EMR Sem Servidor

Com CloudWatch as métricas da Amazon para EMR Serverless, você pode receber CloudWatch métricas de 1 minuto e acessar CloudWatch painéis para acessar near-real-time as operações e o desempenho de seus aplicativos EMR Serverless.

O EMR Serverless envia métricas a cada minuto. CloudWatch O EMR Serverless emite essas métricas no nível do aplicativo, bem como no cargo, no tipo de funcionário e nos níveis. capacity-allocation-type

Para começar, use o modelo de CloudWatch painel do EMR Serverless fornecido no repositório do EMR Serverless e implante-o. GitHub

nota

As workloads interativas do EMR Sem Servidor têm apenas o monitoramento em nível de aplicação habilitado e uma nova dimensão de tipo de trabalhador, Spark_Kernel. Para monitorar e depurar suas cargas de trabalho interativas, acesse os registros e a interface do usuário do Apache Spark de dentro do seu EMR Studio Workspace.

Métricas de monitoramento

Importante

Estamos reestruturando nossa exibição de métricas para adicionar ApplicationName e JobName como dimensões. Para a versão 7.10 e posteriores, as métricas mais antigas não serão mais atualizadas. Para versões do EMR abaixo da 7.10, as métricas mais antigas ainda estão disponíveis.

Dimensões atuais

A tabela abaixo descreve as dimensões do EMR Sem Servidor disponíveis no namespace AWS/EMR Serverless.

Dimensões para métricas do EMR Sem Servidor
Dimensão	Description
`ApplicationId`	Filtra todas as métricas de um aplicativo EMR Serverless usando o ID do aplicativo.
`ApplicationName`	Filtra todas as métricas de um aplicativo EMR Serverless usando o nome. Se o nome não for fornecido ou contiver caracteres não ASCII, ele será publicado como [Não especificado].
`JobId`	Filtra todas as métricas de um EMR Serverless, sem o ID de execução do trabalho.
`JobName`	Filtra todas as métricas de uma execução de trabalho do EMR Serverless usando o nome. Se o nome não for fornecido ou contiver caracteres não ASCII, ele será publicado como [Não especificado].
`WorkerType`	Filtros para todas as métricas de um determinado tipo de trabalhador. Por exemplo, você pode filtrar por `SPARK_DRIVER` e `SPARK_EXECUTORS` para trabalhos do Spark.
`CapacityAllocationType`	Filtros para todas as métricas de um determinado tipo de alocação de capacidade. Por exemplo, você pode filtrar por `PreInitCapacity` para capacidade pré-inicializada e `OnDemandCapacity` para todo o resto.

Monitoramento em nível de aplicações

Você pode monitorar o uso da capacidade no nível do aplicativo EMR Serverless com as métricas da Amazon. CloudWatch Você também pode configurar um único monitor para monitorar o uso da capacidade do aplicativo em um CloudWatch painel.

Métricas de aplicações do EMR Sem Servidor
Métrica	Description	Unidade	Dimensão
`MaxCPUAllowed`	O máximo de CPU permitido para a aplicação.	vCPU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	A memória máxima em GB permitida para a aplicação.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	O armazenamento máximo em GB permitido para a aplicação.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	Os números totais de v CPUs alocados.	vCPU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	O número total de trabalhadores ociosos.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	A memória total em GB alocada.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	O número total de trabalhadores pendentes de criação.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	O número total de trabalhadores em uso pela aplicação.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	O armazenamento total em disco em GB alocado.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	O número total de trabalhadores disponíveis.	Contagem	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Monitoramento no nível do trabalho

O Amazon EMR Sem Servidor envia as métricas de nível de trabalho a seguir a cada minuto ao Amazon CloudWatch . Você pode acessar os valores métricos para execuções de tarefas agregadas por estado de execução de tarefas. A unidade para cada uma das métricas é contagem.

Métricas de nível de trabalho do EMR Sem Servidor
Métrica	Description	Dimensão
`SubmittedJobs`	O número de trabalhos no estado Enviado.	`ApplicationId`, `ApplicationName`
`PendingJobs`	O número de trabalhos em um estado Pendente.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	O número de trabalhos em um estado Programado.	`ApplicationId`, `ApplicationName`
`RunningJobs`	O número de trabalhos em um estado Em execução.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	O número de trabalhos em um estado Com êxito.	`ApplicationId`, `ApplicationName`
`FailedJobs`	O número de trabalhos em um estado de Falha.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	O número de trabalhos em um estado de Cancelamento.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	O número de trabalhos em um estado Cancelado.	`ApplicationId`, `ApplicationName`

Você pode monitorar métricas específicas do mecanismo para executar e concluir trabalhos do EMR Serverless com aplicativos específicos do mecanismo. UIs Quando você acessa a interface do usuário de um trabalho em execução, a interface ativa do aplicativo é exibida com atualizações em tempo real. Quando você acessa a interface de usuário de um trabalho concluído, a interface de usuário persistente do aplicativo é exibida.

Execução de trabalhos

Para suas tarefas do EMR Serverless em execução, acesse uma interface em tempo real que fornece métricas específicas do mecanismo. Você pode usar a interface do usuário do Apache Spark ou a interface do usuário do Hive Tez para monitorar e depurar trabalhos. Para acessá-los UIs, use o console do EMR Studio ou solicite um endpoint de URL seguro com o. AWS Command Line Interface

Trabalhos concluídos

Para suas tarefas concluídas do EMR Serverless, use o Spark History Server ou a interface do usuário persistente do Hive Tez para acessar detalhes, estágios, tarefas e métricas das execuções de tarefas do Spark ou do Hive. Para acessá-los UIs, use o console do EMR Studio ou solicite um endpoint de URL seguro com o. AWS Command Line Interface

Monitoramento em nível de trabalhador para trabalhos

O Amazon EMR Serverless envia as seguintes métricas de nível de funcionário que estão disponíveis no AWS/EMRServerless namespace e no grupo de métricas para a Amazon. Job Worker Metrics CloudWatch O EMR Serverless coleta pontos de dados de trabalhadores individuais durante a execução do trabalho no nível do cargo, no tipo de trabalhador e no nível. capacity-allocation-type Você pode usar ApplicationId como uma dimensão para monitorar vários trabalhos que pertencem à mesma aplicação.

Métricas do EMR Sem Servidor em nível de trabalhador
Métrica	Description	Unidade	Dimensão
`WorkerCpuAllocated`	O número total de núcleos de vCPU alocados para trabalhadores em uma execução de trabalho.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerCpuUsed`	O número total de núcleos de vCPU utilizados pelos trabalhadores em uma execução de trabalho.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerMemoryAllocated`	A memória total em GB alocada para trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerMemoryUsed`	A memória total em GB utilizada pelos trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	O número de bytes de armazenamento temporário alocados para trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	O número de bytes de armazenamento temporário usados pelos trabalhadores em uma execução de trabalho.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerStorageReadBytes`	O número de bytes lidos do armazenamento por trabalhadores durante uma execução de trabalho.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`
`WorkerStorageWriteBytes`	O número de bytes gravados no armazenamento por trabalhadores durante uma execução de trabalho.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, e `CapacityAllocationType`

As etapas abaixo descrevem como acessar os vários tipos de métricas.

Console

Para acessar a interface do usuário da aplicação com o console

Navegue até a aplicação do EMR Sem Servidor no EMR Studio com as instruções em Getting started from the console.
Para acessar aplicativos UIs e registros específicos do mecanismo para um trabalho em execução:
1. Escolha um trabalho com um status RUNNING.
2. Selecione o trabalho na página de Detalhes da aplicação ou navegue até a página Detalhes do trabalho do seu trabalho.
3. No menu suspenso Exibir interface do usuário, escolha Interface do usuário do Spark ou Interface do usuário do Hive Tez para navegar até a interface da aplicação do seu tipo de trabalho.
4. Para acessar os registros do mecanismo Spark, navegue até a guia Executors na interface do Spark e escolha o link Logs para o driver. Para acessar os registros do mecanismo do Hive, escolha o link Registros do DAG apropriado na interface do usuário do Hive Tez.
Para acessar aplicativos UIs e registros específicos do motor para um trabalho concluído:
1. Escolha um trabalho com um status SUCCESS.
2. Selecione o trabalho na página Detalhes da aplicação ou navegue até a página Detalhes do trabalho.
3. No menu suspenso Exibir interface do usuário, escolha Servidor de histórico do Spark ou Interface de usuário persistente do Hive Tez para navegar até a interface da aplicação do seu tipo de trabalho.
4. Para acessar os registros do mecanismo Spark, navegue até a guia Executors na interface do Spark e escolha o link Logs para o driver. Para acessar os registros do mecanismo do Hive, escolha o link Registros do DAG apropriado na interface do usuário do Hive Tez.

AWS CLI

Para acessar a interface do usuário do seu aplicativo com o AWS CLI

Para gerar uma URL usada para acessar a interface do usuário do seu aplicativo para trabalhos em execução e concluídos, chame a GetDashboardForJobRun API.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
O URL gerado é válido por uma hora.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Monitoramento

Métricas do mecanismo do Spark