Noções básicas de resultados e logs - AWS IoT Greengrass
Visualização de resultadosComo interpretar os resultados do AWS IoT Device TesterVisualizar logs

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Noções básicas de resultados e logs

Esta seção descreve como visualizar e interpretar os resultados de relatórios e logs do IDT.

Para solucionar erros, consulte Solução de problemas do IDT para AWS IoT Greengrass V2.

Visualização de resultados

Enquanto em execução, o IDT grava erros no console, arquivos de log e relatórios de teste. Depois de concluir o conjunto de testes de qualificação, o IDT gera dois relatórios de teste. Esses relatórios estão localizados em <device-tester-extract-location>/results/<execution-id>/. Ambos os relatórios capturam os resultados da execução do pacote de testes de qualificação.

O awsiotdevicetester_report.xml é o relatório de teste de qualificação que você envia para a AWS para listar o dispositivo no Device Catalog da AWS Partner. O relatório contém os seguintes elementos:

  • A versão IDT.

  • A versão do AWS IoT Greengrass que foi testada.

  • A SKU e o nome de grupo do dispositivo especificados no arquivo device.json.

  • Os atributos do grupo do dispositivo especificados no arquivo device.json.

  • O resumo agregado dos resultados de teste.

  • Um detalhamento dos resultados dos testes por bibliotecas que foram testadas com base nos recursos do dispositivo, como acesso a recursos locais, sombra e MQTT.

O relatório GGV2Q_Result.xml está no formato JUnit XML. Você pode integrá-lo em plataformas de integração e implantação como Jenkins, Bamboo e assim por diante. O relatório contém os seguintes elementos:

  • Um resumo agregado dos resultados de teste.

  • Detalhamento dos resultados do teste pela funcionalidade do AWS IoT Greengrass que foi testada.

Como interpretar os resultados do AWS IoT Device Tester

A seção de relatório em awsiotdevicetester_report.xml ou awsiotdevicetester_report.xml lista os testes que foram executados e os resultados.

A primeira tag XML <testsuites> contém o resumo da execução do teste. Por exemplo:

<testsuites name="GGQ results" time="2299" tests="28" failures="0" errors="0" disabled="0">
recursos usados na tag <testsuites>
name

O nome do conjunto de testes.

time

O tempo, em segundos, necessário para executar o conjunto de qualificação.

tests

O número de testes que foram executados.

failures

O número de testes que foram executados, mas não foram aprovados.

errors

O número de testes que não puderam ser executados pelo IDT.

disabled

Ignore esse atributo. Ele não é usado.

O arquivo awsiotdevicetester_report.xml contém uma tag <awsproduct> com informações sobre o produto que está sendo testado e os recursos do produto que foram validados após a execução de um pacote de testes.

recursos usados na tag <awsproduct>
name

O nome do produto testado.

version

A versão do produto testado.

features

Os atributos validados. Atributos marcados como required são necessários para enviar sua placa para qualificação. O trecho a seguir mostra como essas informações aparecem no arquivo awsiotdevicetester_report.xml.

<name="aws-iot-greengrass-v2-core" value="supported" type="required"></feature>

Se não há falhas de teste ou erros nos atributos exigidos, isso significa que o dispositivo atende aos requisitos técnicos para executar o AWS IoT Greengrass e pode interoperar com serviços do AWS IoT. Se você quiser listar o dispositivo no Device Catalog da AWS Partner, poderá usar esse relatório como evidência de qualificação.

Se houver falhas de teste ou erros, você poderá identificar o teste com falha analisando as tags XML <testsuites>. As tags XML <testsuite> dentro da tag <testsuites> mostram o resumo do resultado do teste para um grupo de testes. Por exemplo:

<testsuite name="combination" package="" tests="1" failures="0" time="161" disabled="0" errors="0" skipped="0">

O formato é semelhante à tag <testsuites>, mas com um recurso skipped que não é usado e pode ser ignorado. Dentro de cada tag XML <testsuite>, há tags <testcase> para cada teste que foi executado para um grupo de testes. Por exemplo:

<testcase classname="Security Combination (IPD + DCM) Test Context" name="Security Combination IP Change Tests sec4_test_1: Should rotate server cert when IPD disabled and following changes are made:Add CIS conn info and Add another CIS conn info" attempts="1"></testcase>>
recursos usados na tag <testcase>
name

O nome do teste.

attempts

O número de vezes que o IDT executou o caso de teste.

Quando um teste falha ou ocorre um erro, as tags <failure> ou <error> são adicionadas à tag <testcase> com informações para a solução de problemas. Por exemplo:

<testcase classname="mcu.Full_MQTT" name="AFQP_MQTT_Connect_HappyCase" attempts="1">
	<failure type="Failure">Reason for the test failure</failure>
	<error>Reason for the test execution error</error>
</testcase>

Visualizar logs

O IDT gera logs de teste em execução em <devicetester-extract-location>/results/<execution-id>/logs. Dois conjuntos de logs são gerados:

test_manager.log

Logs gerados a partir do componente Test Manager do AWS IoT Device Tester (por exemplo, logs relacionados à configuração, sequenciamento de teste e geração de relatórios).

<test-case-id>.log (for example, lambdaDeploymentTest.log)

Os logs do caso de teste dentro do grupo de testes, incluindo logs do dispositivo em teste. A partir do IDT v4.2.0, o IDT agrupa os logs de teste de cada caso de teste em uma pasta <test-case-id> separada dentro do diretório <devicetester-extract-location>/results/<execution-id>/logs/<test-group-id>/.