Monitorar trabalhos Spark do - Amazon EMR

Monitorar trabalhos Spark do

Para que seja possível monitorar e solucionar falhas, configure os endpoints interativos para que os trabalhos iniciados com o endpoint possam enviar informações de log para o Amazon S3, para o Amazon CloudWatch Logs ou para ambos. As seções a seguir descrevem como enviar logs de aplicações do Spark para o Amazon S3 para os trabalhos do Spark executados com endpoints interativos do Amazon EMR no EKS.

Configuração da política do IAM para os logs do Amazon S

Antes que seus kernels possam enviar dados de log ao Amazon S3, a política de permissões para o perfil de execução de trabalho deve incluir as permissões apresentadas a seguir. Substitua amzn-s3-demo-destination-bucket pelo nome do bucket de registro em log.

JSON
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket",
        "arn:aws:s3:::amzn-s3-demo-bucket/*"
      ],
      "Sid": "AllowS3Putobject"
    }
  ]
}
nota

O Amazon EMR no EKS também pode criar um bucket do S3. Se um bucket do S3 não estiver disponível, inclua a permissão s3:CreateBucket na política do IAM.

Após conceder as permissões necessárias para o envio de logs ao bucket do S3 ao perfil de execução, os dados de log serão enviados para os locais do Amazon S3 apresentados a seguir. Isso acontece quando s3MonitoringConfiguration é transferido na seção monitoringConfiguration de uma solicitação create-managed-endpoint.

  • Logs de driver – logUri/virtual-cluster-id/endpoints/endpoint-id/containers/spark-application-id/spark-application-id-driver/(stderr.gz/stdout.gz)

  • Logs de executor – logUri/virtual-cluster-id/endpoints/endpoint-id/containers/spark-application-id/executor-pod-name-exec-<Number>/(stderr.gz/stdout.gz)

nota

O Amazon EMR no EKS não faz o upload dos logs do endpoint para o bucket do S3.