View a markdown version of this page

Analisar os resultados dos testes no AWS Device Farm - AWS Device Farm

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Analisar os resultados dos testes no AWS Device Farm

Com o AWS Device Farm, você pode escolher entre dois modos de execução: padrão e personalizado. O modo padrão foi projetado para fornecer relatórios granulares em substituição a qualquer relatório de teste que você possa gerar. O relatório contém artefatos de teste, como vídeos e registros, apresentados separadamente para cada teste. Quando você escolhe o modo padrão, o Device Farm não garante que a sequência de execução do teste corresponda à sua ordem de execução local. Como envolve pós-processamento para cada teste, o modo padrão normalmente leva mais tempo para ser executado em comparação com sua execução local.

Por outro lado, o modo personalizado gera os mesmos relatórios que você cria localmente para qualquer estrutura. Ele também fornece um relatório opcional detalhado do Test Insights para cada trabalho e execução ao usar estruturas selecionadas, como Appium TestNG, Instrumentation e XCUITest. Como não envolve a separação de artefatos de teste individuais, esse modo mantém a paridade com a execução local no sequenciamento e no tempo de execução do teste. A geração do Test Insights acontece de forma assíncrona após a conclusão dos testes.

O modo padrão não é recomendado para novos projetos de teste. Em vez disso, recomendamos usar o modo personalizado com o Test Insights porque ele é flexível e pode replicar os relatórios que o modo padrão fornece para estruturas compatíveis. O Test Insights ajuda você a entender o desempenho do seu conjunto de testes, tanto no nível da tarefa quanto da execução.

O Test Insights inclui as seguintes informações:

  • Contagens de testes aprovados, reprovados, ignorados e com erro para cada trabalho e para cada execução

  • Saída de teste detalhada com registros de data e hora e rastreamentos de pilha para cada teste, quando aplicável

  • Tempo médio de execução do teste para cada trabalho e duração média e média da execução do trabalho para cada execução

Independentemente do modo escolhido, o Device Farm reúne artefatos que você pode baixar após a conclusão do teste. Isso inclui registros de dispositivos e testes, saída de especificações de teste, despejo de TCP de rede e capturas de tela. Essas informações podem ajudar você a analisar como sua aplicação está se comportando em dispositivos reais, identificar problemas ou bugs e diagnosticar problemas.