As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Características e capacidades
Plataformas com suporte
-
Linguagens: aplicativos Python e Scala Spark
-
Plataformas de destino: Amazon EMR, EMR Serverless e Glue AWS
Como funciona
Quando seu aplicativo Spark falhar, você pode usar o agente de solução de problemas para investigar automaticamente o que deu errado. Ele analisa seus registros de eventos, mensagens de erro e uso de recursos do Spark para identificar o problema exato, seja um executor do Spark com falta de memória, um erro de configuração ou um bug de código.
Quando você solicita que um prompt em linguagem natural analise sua carga de trabalho do Spark, o agente se conecta aos recursos da sua plataforma e extrai recursos (que incluem registros de eventos do Spark, planos de consulta, cronogramas do executor, rastreamentos de registros, configurações e métricas):
-
No EMR-EC2: ele se conecta à interface persistente do EMR para o cluster
-
No Glue: ele cria o contexto da interface do usuário do Spark do Glue Studio para o trabalho
-
No EMR-Serverless: ele se conecta ao EMR-Serverless Spark History Server para o trabalho
-
O agente também analisa os rastreamentos da pilha de erros e os detalhes da configuração para fornecer informações práticas.
Para cargas de trabalho com falha, você obtém uma explicação clara da causa raiz e etapas específicas para corrigi-la. Se o agente detectar um problema relacionado ao código, ele fornecerá automaticamente recomendações de código para mostrar exatamente o que alterar em seu código. Você também pode solicitar sugestões em nível de código diretamente sempre que quiser, sem a análise completa.
Regiões disponíveis
O agente de solução de problemas do Spark está disponível nas seguintes regiões:
-
Ásia-Pacífico: Tóquio (ap-northeast-1), Seul (ap-northeast-2), Cingapura (ap-southeast-1), Sydney (ap-southeast-2) e Mumbai (ap-southeast-1)
-
América do Norte: Canadá (ca-central-1)
-
Europa: Estocolmo (eu-north-1), Irlanda (eu-west-1), Londres (eu-west-2), Paris (eu-west-3) e Frankfurt (eu-central-1)
-
América do Sul: São Paulo (sa-east-1)
-
Estados Unidos: Virgínia do Norte (us-east-1), Ohio (us-east-2) e Oregon (us-east-2)
Escopo da solução de problemas do Spark e dos requisitos do usuário
-
Estados de carga de trabalho do Spark compatíveis: as ferramentas só suportarão respostas para cargas de trabalho do Spark com falha.
-
UI persistente do EMR: ao analisar as EC2 cargas de trabalho do Amazon EMR, a ferramenta de análise tentará se conectar à interface persistente do EMR para recuperar as principais informações do Spark. As considerações sobre a interface de usuário persistente do EMR estão documentadas aqui.
-
UI do Glue Studio Spark: ao analisar as cargas de trabalho do AWS Glue, a ferramenta de análise tentará recuperar as principais informações do Spark analisando os registros de eventos do Spark do usuário no Amazon S3. O tamanho máximo permitido do registro de eventos do Spark está documentado aqui: 512 MB e 2 GB para registros contínuos.
-
Recomendações de código: compatível somente com cargas de trabalho do Amazon EMR e EC2 AWS Glue para cargas de trabalho PySpark
-
Recursos regionais: o agente de solução de problemas do Spark é regional e usa os recursos subjacentes do EMR nessa região para o processo de solução de problemas. A solução de problemas entre regiões não é suportada.
