本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
在 AWS Device Farm 中分析测试结果
使用 AWS Device Farm,您可以选择两种执行模式:标准模式和自定义模式。标准模式旨在提供精细报告,以替代您可能生成的任何测试报告。该报告包含针对每项测试分别显示的测试工件,例如视频和日志。当您选择标准模式时,Device Farm 不保证测试执行顺序与您的本地执行顺序相匹配。由于标准模式涉及每个测试的后处理,因此与本地执行相比,标准模式的执行时间通常更长。
相比之下,自定义模式生成的报告与您在本地为任何框架创建的报告相同。它还为每项作业提供可选的详细测试见解报告,并在使用精选框架(例如Appium TestNG、Instrumentation和XCUITest时运行)时运行。由于不涉及分离单个测试工件,因此该模式在测试排序和执行时间上与本地执行保持一致。测试完成后,会异步生成 “测试见解”。
对于新的测试项目,不建议使用标准模式。我们建议改用带有 Test Insights 的自定义模式,因为它灵活且可以复制标准模式为支持的框架提供的报告。Test Insights 可帮助您了解测试套件在作业和运行级别上的性能。
测试见解包括以下信息:
-
每项任务和每次运行的测试通过、失败、跳过和出错的测试计数
-
详细的测试输出,包括每个测试的时间戳和堆栈跟踪(如果适用)
-
每个作业的测试执行时间中位数,以及每次运行的任务执行时长的中位数和平均值
无论您选择哪种模式,Device Farm 都会收集可在测试运行完成后下载的工件。其中包括设备和测试日志、测试规范输出、网络 TCP 转储和屏幕截图。这些信息可以帮助您分析您的应用程序在真实设备上的表现,识别问题或错误,并诊断问题。