結果とログを理解する - AWS IoT Greengrass
結果の表示AWS IoT Device Tester 結果の解釈ログの表示

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

結果とログを理解する

このセクションでは、IDT の結果レポートとログを表示し、解釈する方法について説明します。

エラーをトラブルシューティングする方法については、「IDT for AWS IoT Greengrass V2 のトラブルシューティング」を参照してください。

結果の表示

実行中、IDT はコンソール、ログファイル、テストレポートにエラーを書き込みます。IDT で適格性テストスイートを実行すると、2 つのレポートが生成されます。これらのレポートは <device-tester-extract-location>/results/<execution-id>/ にあります。両レポートとも、適格性確認テストスイートを実行した結果をキャプチャします。

awsiotdevicetester_report.xml は、AWS Partner Device Catalog にデバイスを記載するために AWS に提出する適格性確認テストレポートです。レポートには、次の要素が含まれます。

  • IDT バージョン。

  • テストされた AWS IoT Greengrass のバージョン。

  • device.json ファイルで指定されている SKU とデバイスプール。

  • device.json ファイルで指定されているデバイスプールの機能。

  • テスト結果の概要の集計。

  • デバイスの機能 (ローカル リソース アクセス、シャドウ、MQTT など) に基づいてテストしたライブラリ別のテスト結果の内訳。

GGV2Q_Result.xml レポートは JUnit XML 形式です。Jenkins、Bamboo などのように継続的な統合 (CI) と継続的なデプロイ (CD) のプラットフォームに統合することができます。レポートには、次の要素が含まれます。

  • テスト結果の概要を集計したもの。

  • テストされた AWS IoT Greengrass 機能別のテスト結果の内訳。

AWS IoT Device Tester 結果の解釈

awsiotdevicetester_report.xml または awsiotdevicetester_report.xml のレポートセクションには、実行されたテストとその結果が一覧表示されます。

最初の XML タグ <testsuites> には、テスト実行の概要が含まれています。例:

<testsuites name="GGQ results" time="2299" tests="28" failures="0" errors="0" disabled="0">
<testsuites> タグで使用される属性
name

テストスイートの名前。

time

適格性確認スイートの実行所要時間 (秒単位)。

tests

実行されたテスト数。

failures

実行されたテストのうち、合格しなかったものの数。

errors

IDT が実行できなかったテスト数。

disabled

この属性を無視します。それは使用されていません。

awsiotdevicetester_report.xml ファイルには、テスト対象の製品および一連のテストの実行後に検証された製品機能に関する情報を含む <awsproduct> タグが含まれています。

<awsproduct> タグで使用される属性
name

テスト対象の製品の名前。

version

テスト対象の製品のバージョン。

features

検証された機能です。required としてマークされている機能については、資格を得るためにボードを提出するために必要です。次のスニペットは、この情報が awsiotdevicetester_report.xml ファイルで表示される方法を示します。

<name="aws-iot-greengrass-v2-core" value="supported" type="required"></feature>

必要な機能に対してテストに障害やエラーがない場合、そのデバイスは AWS IoT Greengrass を実行するための技術的要件を満たしており、AWS IoT サービスとの相互運用が可能です。AWS Partner Device Catalog にデバイスを記載する場合、認定の証拠としてこのレポートを使用できます。

テストに障害やエラーが発生した場合は、<testsuites> XML タグを確認することで、障害の生じたテストを特定できます。<testsuite> タグ内の <testsuites> XML タグは、テストグループのテスト結果の要約を示します。例:

<testsuite name="combination" package="" tests="1" failures="0" time="161" disabled="0" errors="0" skipped="0">

形式は <testsuites> タグと似ていますが、使用されていないため無視できる skipped という属性があります。各 <testsuite> XML タグには、テストグループに実行されたテストごとに <testcase> タグがあります。例:

<testcase classname="Security Combination (IPD + DCM) Test Context" name="Security Combination IP Change Tests sec4_test_1: Should rotate server cert when IPD disabled and following changes are made:Add CIS conn info and Add another CIS conn info" attempts="1"></testcase>>
<testcase> タグで使用される属性
name

テストの名前。

attempts

IDT がテストケースを実行した回数。

テストに障害やエラーが発生した場合、<failure> タグまたは <error> タグがトラブルシューティングのための情報とともに <testcase> タグに追加されます。例:

<testcase classname="mcu.Full_MQTT" name="AFQP_MQTT_Connect_HappyCase" attempts="1">
	<failure type="Failure">Reason for the test failure</failure>
	<error>Reason for the test execution error</error>
</testcase>

ログの表示

IDT は、<devicetester-extract-location>/results/<execution-id>/logs のテスト実行によってログを生成します。2 組のログが生成されます。

test_manager.log

AWS IoT Device Tester (例えば、設定、テストシーケンス、レポート生成に関連したログ) の Test Manager コンポーネントから生成されたログ。

<test-case-id>.log (for example, lambdaDeploymentTest.log)

テストグループ内のテストケースのログ (テスト対象デバイスのログも含む)。IDT v4.2.0 以降、IDT は各テストケースのテストログを <devicetester-extract-location>/results/<execution-id>/logs/<test-group-id>/ ディレクトリ内の別々な <test-case-id> フォルダにグループ化します。