Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Caractéristiques et capacités
Plateformes prises en charge
-
Langages : applications Python et Scala Spark
-
Plateformes cibles : Amazon EMR, EMR Serverless et Glue AWS
Comment ça marche
En cas de défaillance de votre application Spark, vous pouvez utiliser l'agent de résolution des problèmes pour identifier automatiquement le problème. Il analyse vos journaux d'événements Spark, vos messages d'erreur et l'utilisation des ressources pour identifier le problème exact, qu'il s'agisse d'un manque de mémoire, d'une erreur de configuration ou d'un bogue de code.
Lorsque vous demandez à une invite en langage naturel d'analyser votre charge de travail Spark, l'agent se connecte aux ressources de votre plateforme et extrait des fonctionnalités (notamment les journaux d'événements Spark, les plans de requêtes, les chronologies des exécuteurs, les traces de journal, les configurations et les métriques) :
-
Sur EMR- EC2 : il se connecte à l'interface utilisateur persistante EMR du cluster
-
On Glue : il crée le contexte à partir de l'interface utilisateur Spark de Glue Studio pour le travail
-
Sur EMR-Serverless : il se connecte au serveur d'historique Spark sans serveur EMR pour le travail
-
L'agent analyse également les traces de votre pile d'erreurs et les détails de configuration pour vous fournir des informations exploitables.
Pour les charges de travail défaillantes, vous obtenez une explication claire de la cause première et des étapes spécifiques pour y remédier. Si l'agent détecte un problème lié au code, il fournit automatiquement des recommandations de code pour vous indiquer exactement ce qu'il faut modifier dans votre code. Vous pouvez également demander des suggestions au niveau du code directement quand vous le souhaitez, sans analyse complète.
Régions disponibles
L'agent de résolution des problèmes Spark est disponible dans les régions suivantes :
-
Asie-Pacifique : Tokyo (ap-northeast-1), Séoul (ap-northeast-2), Singapour (ap-southeast-1), Sydney (ap-southeast-2) et Mumbai (ap-southeast-1)
-
Amérique du Nord : Canada (ca-central-1)
-
Europe : Stockholm (eu-nord-1), Irlande (eu-west-1), Londres (eu-west-2), Paris (eu-west-3) et Francfort (eu-central-1)
-
Amérique du Sud : São Paulo (sa-east-1)
-
États-Unis : Virginie du Nord (us-east-1), Ohio (us-east-2) et Oregon (us-west-2)
Champ de résolution des problèmes liés à Spark et exigences des utilisateurs
-
États de charge de travail Spark pris en charge : les outils ne prennent en charge que les réponses aux charges de travail Spark ayant échoué.
-
Interface utilisateur persistante EMR : lors de l'analyse des EC2 charges de travail Amazon EMR, l'outil d'analyse tente de se connecter à l'interface utilisateur persistante EMR pour récupérer les informations clés de Spark. Les considérations relatives à l'interface utilisateur EMR Persistent sont documentées ici.
-
Interface utilisateur de Glue Studio Spark : lors de l'analyse des charges de travail AWS Glue, l'outil d'analyse tente de récupérer les informations clés de Spark en analysant les journaux d'événements Spark des utilisateurs depuis Amazon S3. La taille maximale autorisée des journaux d'événements Spark est documentée ici : 512 Mo et 2 Go pour les journaux évolutifs.
-
Recommandations relatives au code : prise en charge uniquement pour les charges de travail Amazon EMR et EC2 AWS Glue pour les charges de travail PySpark
-
Ressources régionales : L'agent de résolution des problèmes Spark est régional et utilise les ressources EMR sous-jacentes de cette région pour le processus de dépannage. Le dépannage interrégional n'est pas pris en charge.
