Monitorar os cálculos do Apache Spark com as métricas do CloudWatch
O Athena publica métricas relacionadas a cálculos no Amazon CloudWatch quando a opção Publish CloudWatch metrics para seu grupo de trabalho habilitado para Spark está selecionada. É possível criar painéis personalizados, definir alarmes e acionar métricas no console do CloudWatch.
O Athena publica a seguinte métrica no console do CloudWatch sob o namespace AmazonAthenaForApacheSpark:
-
DPUCount: a quantidade de DPUs consumidas durante a sessão para executar os cálculos.
Essa métrica tem as seguintes dimensões:
-
SessionId: o ID da sessão para a qual os cálculos são enviados. -
WorkGroup: o nome do grupo de trabalho.
Para visualizar as métricas para grupos de trabalho habilitados para Spark no console do Amazon CloudWatch
Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/
. -
No painel de navegação, escolha Metrics (Métricas), All metrics (Todas as métricas).
-
Selecione o namespace AmazonAthenaForApacheSpark.
Para exibir métricas com a CLI
-
Execute um destes procedimentos:
-
Para listar as métricas dos grupos de trabalho habilitados para Spark do Athena, abra uma solicitação de comando e use o comando a seguir:
aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark" -
Para listar todas as métricas disponíveis, use o comando a seguir:
aws cloudwatch list-metrics
-
Se você habilitou as métricas do CloudWatch em seu grupo de trabalho habilitado para Spark do Athena, o Athena enviará a métrica a seguir para o CloudWatch por grupo de trabalho. A métrica usa o namespace AmazonAthenaForApacheSpark.
| Nome da métrica | Descrição |
|---|---|
| DPUCount | A quantidade de DPUs (unidades de processamento de dados) consumidas durante a sessão para executar os cálculos. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória. |
Essa métrica tem as seguintes dimensões.
| Dimensão | Descrição |
|---|---|
| SessionId |
O ID da sessão para a qual os cálculos são enviados. |
| WorkGroup |
O nome do grupo de trabalho. |
