View a markdown version of this page

Analyse des résultats des tests dans AWS Device Farm - AWS Device Farm

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Analyse des résultats des tests dans AWS Device Farm

Avec AWS Device Farm, vous pouvez choisir entre deux modes d'exécution  : le mode standard et le mode personnalisé. Le mode standard a été conçu pour fournir des rapports granulaires en remplacement de tout rapport de test que vous pourriez générer. Le rapport contient des artefacts de test, tels que des vidéos et des journaux, présentés séparément pour chaque test. Lorsque vous choisissez le mode standard, Device Farm ne garantit pas que la séquence d'exécution des tests corresponde à votre ordre d'exécution local. Comme il implique un post-traitement pour chaque test, l'exécution du mode standard prend généralement plus de temps que votre exécution locale.

En revanche, le mode personnalisé génère les mêmes rapports que ceux que vous créez localement pour n'importe quel framework. Il fournit également un rapport détaillé sur les tests facultatif pour chaque tâche et s'exécute lors de l'utilisation de certains frameworks tels qu'Appium TestNG, Instrumentation et XCUItest. Comme il n'implique pas de séparer les artefacts de test individuels, ce mode maintient la parité avec l'exécution locale en termes de séquençage des tests et de temps d'exécution. La génération de Test Insights s'effectue de manière asynchrone une fois vos tests terminés.

Le mode standard n'est pas recommandé pour les nouveaux projets de test. Nous vous recommandons d'utiliser le mode personnalisé avec Test Insights à la place, car il est flexible et peut répliquer les rapports fournis par le mode standard pour les frameworks pris en charge. Test Insights vous aide à comprendre les performances de votre suite de tests à la fois au niveau de la tâche et de l'exécution.

Test Insights inclut les informations suivantes :

  • Nombre de tests réussis, échoués, ignorés et erronés pour chaque tâche et pour chaque exécution

  • Résultat de test détaillé avec horodatage et traces de pile pour chaque test, le cas échéant

  • Temps médian d'exécution des tests pour chaque tâche, et durée médiane et moyenne d'exécution des tâches pour chaque exécution

Quel que soit le mode que vous choisissez, Device Farm rassemble des artefacts que vous pouvez télécharger une fois votre test terminé. Il s'agit notamment des journaux des appareils et des tests, de la sortie des spécifications de test, du vidage TCP réseau et des captures d'écran. Ces informations peuvent vous aider à analyser le comportement de votre application sur des appareils réels, à identifier les problèmes ou les bogues et à diagnostiquer les problèmes.