결과 및 로그 이해 - AWS IoT Greengrass

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

결과 및 로그 이해

이 단원에서는 IDT 결과 보고서 및 로그를 보고 해석하는 방법을 설명합니다.

오류를 해결하려면 AWS IoT Greengrass V2용 IDT 문제 해결 섹션을 참조하세요.

결과 보기

실행하는 동안 IDT는 콘솔, 로그 파일 및 테스트 보고서에 오류를 작성합니다. IDT는 자격 테스트 제품군을 완료한 후 두 개의 테스트 보고서를 생성합니다. 이러한 보고서는 <device-tester-extract-location>/results/<execution-id>/에 있습니다. 두 보고서 모두 적격성 테스트 제품군을 실행하여 얻은 결과를 캡처합니다.

awsiotdevicetester_report.xml은 AWS Partner Device Catalog에 장치를 등록하기 위해AWS에 제출하는 자격 테스트 보고서입니다. 보고서에는 다음 요소가 포함됩니다.

  • IDT 버전

  • 테스트한 AWS IoT Greengrass 버전

  • device.json 파일에 지정된 SKU 및 장치 풀 이름

  • device.json 파일에 지정된 장치 풀의 기능

  • 테스트 결과의 집계 요약

  • 로컬 리소스 액세스, 섀도, MQTT 등 디바이스 기능을 기반으로 테스트한 라이브러리별 테스트 결과 분석입니다.

GGV2Q_Result.xml 보고서는 JUnit XML 형식입니다. Jenkins, Bamboo 등과 같은 지속적 통합 및 배포 플랫폼에 이 보고서를 통합할 수 있습니다. 보고서에는 다음 요소가 포함됩니다.

  • 테스트 결과의 집계 요약

  • 테스트한 AWS IoT Greengrass 기능별 테스트 결과의 분석

AWS IoT Device Tester 결과 해석

awsiotdevicetester_report.xml 또는 awsiotdevicetester_report.xml의 보고서 섹션에는 실행된 테스트 및 결과가 나열됩니다.

첫 번째 XML 태그(<testsuites>)에는 테스트 실행의 요약이 포함되어 있습니다. 예:

<testsuites name="GGQ results" time="2299" tests="28" failures="0" errors="0" disabled="0">
<testsuites> 태그에 사용되는 속성
name

테스트 제품군의 이름입니다.

time

자격 제품군을 실행하는 데 걸린 시간(초)입니다.

tests

실행된 테스트 수입니다.

failures

실행되었지만 통과하지 못한 테스트의 수입니다.

errors

IDT에서 실행하지 못한 테스트의 수입니다.

disabled

이 속성을 무시합니다. 사용되지 않습니다.

awsiotdevicetester_report.xml 파일에는 테스트하는 제품에 대한 정보와 테스트 제품군을 실행한 후 확인된 제품 기능에 대한 정보를 포함하는 <awsproduct> 태그가 포함되어 있습니다.

<awsproduct> 태그에 사용되는 속성
name

테스트하는 제품의 이름입니다.

version

테스트하는 제품의 버전입니다.

features

확인된 기능입니다. required로 표시된 기능은 자격에 대한 보드를 제출하는 데 필요합니다. 다음 코드 조각은 awsiotdevicetester_report.xml 파일에 이 정보가 나타나는 방식을 보여 줍니다.

<name="aws-iot-greengrass-v2-core" value="supported" type="required"></feature>

필수 기능에 대한 테스트 실패 또는 오류가 없는 경우 장치는 AWS IoT Greengrass를 실행하기 위한 기술 요구 사항을 충족하며 AWS IoT 서비스와 상호 작용할 수 있습니다. AWS Partner Device Catalog에 장치를 나열하려는 경우 이 보고서를 자격 증거로 사용할 수 있습니다.

테스트 실패 또는 오류의 경우 <testsuites> XML 태그를 검토하여 실패한 테스트를 식별할 수 있습니다. <testsuite> 태그 내부의 <testsuites> XML 태그는 테스트 그룹에 대한 테스트 결과 요약을 보여 줍니다. 예:

<testsuite name="combination" package="" tests="1" failures="0" time="161" disabled="0" errors="0" skipped="0">

형식은 <testsuites> 태그와 비슷하지만, 사용되지 않고 무시할 수 있는 skipped 속성이 있습니다. 각 <testsuite> XML 태그 안에는 테스트 그룹에 대해 실행된 각 테스트에 대한 <testcase> 태그가 있습니다. 예:

<testcase classname="Security Combination (IPD + DCM) Test Context" name="Security Combination IP Change Tests sec4_test_1: Should rotate server cert when IPD disabled and following changes are made:Add CIS conn info and Add another CIS conn info" attempts="1"></testcase>>
<testcase> 태그에 사용되는 속성
name

테스트의 이름입니다.

attempts

IDT가 테스트 사례를 실행한 횟수.

테스트가 실패하거나 오류가 발생하는 경우 문제 해결에 대한 정보와 함께 <failure> 또는 <error> 태그가 <testcase> 태그에 추가됩니다. 예:

<testcase classname="mcu.Full_MQTT" name="AFQP_MQTT_Connect_HappyCase" attempts="1"> <failure type="Failure">Reason for the test failure</failure> <error>Reason for the test execution error</error> </testcase>

로그 보기

IDT는 <devicetester-extract-location>/results/<execution-id>/logs의 테스트 실행에서 로그를 생성합니다. 두 개의 로그 세트가 생성됩니다.

test_manager.log

AWS IoT Device Tester의 Test Manager 구성 요소(예: 구성 관련 로그, 테스트 시퀀싱, 보고서 생성)에서 생성된 로그입니다.

<test-case-id>.log (for example, lambdaDeploymentTest.log)

테스트 중인 디바이스의 로그를 포함하여 테스트 그룹 내 테스트 사례의 로그입니다. IDT v4.2.0부터는 각 테스트 사례에 대한 테스트 로그를 <devicetester-extract-location>/results/<execution-id>/logs/<test-group-id>/ 디렉터리 내의 별도의 <test-case-id> 폴더에 그룹화합니다.