# Monitorar trabalhos Spark do AWS Glue
<a name="monitor-spark"></a>

**Topics**
+ [Métricas do Spark disponíveis no AWS Glue Studio](#console-jobs-details-metrics-spark)
+ [Monitorar trabalhos usando a interface do usuário da Web do Apache Spark](monitor-spark-ui.md)
+ [Monitoramento com insights de execuções de trabalho do AWS Glue](monitor-job-insights.md)
+ [Monitorar o com o Amazon CloudWatch](monitor-cloudwatch.md)
+ [Monitoramento e depuração de trabalho](monitor-profile-glue-job-cloudwatch-metrics.md)

## Métricas do Spark disponíveis no AWS Glue Studio
<a name="console-jobs-details-metrics-spark"></a>

A guia **Metrics** (Métricas) mostra métricas coletadas quando um trabalho é executado e a criação de perfil está ativada. Os seguintes gráficos são exibidos em trabalhos do Spark: 
+ Movimentação de dados ETL
+ Perfil de memória: driver e executores

Escolha **View additional metrics (Ver métricas adicionais)** para mostrar os gráficos a seguir:
+ Movimentação de dados ETL
+ Perfil de memória: driver e executores
+ Embaralhamento de dados em executores
+ Carga da CPU: driver e executores
+ Execução de trabalho: executores ativos, estágios concluídos e executores máximos necessários

Os dados para esses gráficos serão enviados para as métricas do CloudWatch se o trabalho estiver configurado para coletar métricas. Para obter mais informações sobre como ativar métricas e interpretar os gráficos, consulte [Monitoramento e depuração de trabalho](monitor-profile-glue-job-cloudwatch-metrics.md). 

**Example Grafo de movimentação de dados de ETL**  
O gráfico de movimentação de dados ETL mostra as seguintes métricas:  
+ O número de bytes lidos do Amazon S3 por todos os executores: [`glue.ALL.s3.filesystem.read_bytes`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.ALL.s3.filesystem.read_bytes)
+ O número de bytes gravados no Amazon S3 por todos os executores: [`glue.ALL.s3.filesystem.write_bytes`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.ALL.s3.filesystem.write_bytes)

![O gráfico para movimentação de dados de ETL na guia Metrics (Métricas) do console do AWS Glue.](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/job_detailed_etl.png)


**Example Grafo de perfil de memória**  
O gráfico de perfil de memória mostra as seguintes métricas:  
+ A fração de memória usada pelo heap da JVM para este driver (escala: 0–1) pelo driver, um executor identificado por *executorId* ou todos os executores:
  + [`glue.driver.jvm.heap.usage`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.jvm.heap.usage)
  + [`glue.executorId.jvm.heap.usage`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.executorId.jvm.heap.usage)
  + [`glue.ALL.jvm.heap.usage`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.ALL.jvm.heap.usage)

![O gráfico para perfil de memória na guia Metrics (Métricas) do console do AWS Glue.](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/job_detailed_mem.png)


**Example Grafo de embaralhamento de dados em executores**  
O gráfico de embaralhamento de dados nos executores mostra as seguintes métricas:  
+ O número de bytes lidos por todos os executores para embaralhar os dados entre eles — [`glue.driver.aggregate.shuffleLocalBytesRead`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.aggregate.shuffleLocalBytesRead)
+ O número de bytes gravados por todos os executores para embaralhar os dados entre eles — [`glue.driver.aggregate.shuffleBytesWritten`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.aggregate.shuffleBytesWritten)

![O gráfico de ordem aleatória de dados entre executores na guia Metrics (Métricas) do console do AWS Glue.](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/job_detailed_data.png)


**Example Grafo de carga de CPU**  
O gráfico de carga de CPU mostra as seguintes métricas:  
+ A fração de carga de sistema da CPU usada (escala: 0–1) pelo driver, um executor identificado por *executorId* ou todos os executores:
  + [`glue.driver.system.cpuSystemLoad`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.system.cpuSystemLoad)
  + [`glue.executorId.system.cpuSystemLoad`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.executorId.system.cpuSystemLoad)
  + [`glue.ALL.system.cpuSystemLoad`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.ALL.system.cpuSystemLoad)

![O gráfico para carga da CPU na guia Metrics (Métricas) do console do AWS Glue.](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/job_detailed_cpu.png)


**Example Grafo de execução de trabalho**  
O gráfico de execução de trabalho mostra as seguintes métricas:  
+ O número de executores ativamente em execução — [`glue.driver.ExecutorAllocationManager.executors.numberAllExecutors`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.ExecutorAllocationManager.executors.numberAllExecutors)
+ O número de estágios concluídos — [`glue.aggregate.numCompletedStages`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.aggregate.numCompletedStages)
+ O número máximo de executores necessários — [`glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors)

![O gráfico para execução de trabalho na guia Metrics (Métricas) do console do AWS Glue.](http://docs.aws.amazon.com/pt_br/glue/latest/dg/images/job_detailed_exec.png)