翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# AWS Device Farm でのテスト結果の分析
標準テスト環境では、Device Farm コンソールを使用して、テスト実行の各テストのレポートを表示することができます。レポートを表示すると、合格または不合格のテストを把握し、さまざまなデバイス設定におけるアプリケーションのパフォーマンスと動作の詳細を確認できます。
また、Device Farm は、テスト実行完了時にダウンロードできるファイル、ログ、画像といった他のアーティファクトも収集します。この情報は、実際のデバイスでのアプリの動作の分析、問題やバグの特定、問題の診断に役立ちます。
**Topics**
+ [Device Farm でのテストレポートの表示](how-to-use-reports.md)
+ [Device Farm でのアーティファクトのダウンロード](artifacts.md)
# Device Farm でのテストレポートの表示
テストレポートを表示するには、Device Farm コンソールを使用します。詳細については、「[AWS Device Farm でのレポートレポート](reports.md)」を参照してください。
**Topics**
+ [前提条件](#how-to-use-reports-prerequisites)
+ [レポートの表示](#how-to-use-reports-viewing-reports)
+ [Device Farm テスト結果のステータス](how-to-use-reports-displaying-results.md)
## 前提条件
テスト実行を設定し、完了したことを確認します。
1. 実行を作成するには「[Device Farm でのテスト実行の作成](how-to-create-test-run.md)」を参照し、その後、このページに戻ります。
1. 実行が完了したことを確認します。テスト実行中、Device Farm コンソールでは進行中のものに保留中アイコン ![\[Device Farm scheduled a job.\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/df-run-calendar.png) が表示されます。実行中の各デバイスも保留中のアイコンで起動し、テストが開始されると実行中の ![\[Device Farm progress indicator.\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/df-run-progress.png) アイコンに切り替わります。各テストが終了すると、テスト結果アイコンがデバイス名の横に表示されます。すべてのテストが完了すると、実行の横にある保留中アイコンがテスト結果アイコンに変わります。詳細については、「[Device Farm テスト結果のステータス](how-to-use-reports-displaying-results.md)」を参照してください。
## レポートの表示
テストの結果は、Device Farm コンソールで表示できます。
**Topics**
+ [テスト実行の概要ページの表示](#how-to-use-reports-console-summary)
+ [一意の問題のレポートを表示する](#how-to-use-reports-console-unique-problems)
+ [デバイスのレポートを表示する](#how-to-use-reports-console-by-device)
+ [テストスイートレポートを表示する](#how-to-use-reports-console-by-suite)
+ [テストレポートを表示する](#how-to-use-reports-console-by-test)
+ [レポート内の問題、デバイス、スイート、またはテストのログ情報を表示する](#how-to-use-reports-console-log)
### テスト実行の概要ページの表示
1. [https://console.aws.amazon.com/devicefarm](https://console.aws.amazon.com/devicefarm) で Device Farm コンソールにサインインします。
1. ナビゲーションペインで、 **[モバイルデバイスのテスト]** を選択し、次に、**[プロジェクト]** を選択します。
1. プロジェクトのリストで、実行のプロジェクトを選択します。
**ヒント**
名前によりプロジェクトリストを絞り込むには、検索バーを使用します。
1. 概要レポートページを表示するには、完了した実行を選択します。
1. テスト実行の概要ページに、テスト結果の概要が表示されます。
+ 「**一意の問題**] セクションには、固有の警告と障害がリストされています。一意の問題を表示するには、「[一意の問題のレポートを表示する](#how-to-use-reports-console-unique-problems)」の手順に従います。
+ 「**デバイス**] セクションには、各デバイスでの合計テスト数が結果ごとに表示されます。
![\[Device Farm device summary results.\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/df-run-device-summary-results-bar.png)
この例には、いくつかのデバイスがあります。最初のテーブルエントリで、Android バージョン 10 を実行する Google Pixel 4 XL デバイスのレポートによると、3 件の成功したテストは実行に 2 分 36 秒を要しました。
デバイスごとに結果を表示するには、「[デバイスのレポートを表示する](#how-to-use-reports-console-by-device)」の手順に従います。
+ 「**スクリーンショット**] セクションには、実行中に Device Farm がキャプチャーしてデバイスごとにグループ化した、スクリーンショットのリストが表示されます。
+ 「**解析結果**] セクションでは、解析結果をダウンロードできます。
### 一意の問題のレポートを表示する
1. **[一意の問題]** で、表示する問題を選択します。
1. デバイスを選択します。レポートには、問題に関する情報が表示されます。
「**動画**] セクションには、ダウンロード可能なテストのテストの動画記録が表示されます。
**[結果]** セクションには、テストの結果が表示されます。ステータスは結果アイコンとして表されます。詳細については、「[個々のテストのステータス](how-to-use-reports-displaying-results.md#how-to-use-reports-displaying-results-individual)」を参照してください。
**[ログ]** セクションには、テスト中に Device Farm が記録した情報が表示されます。この情報を表示するには、「[レポート内の問題、デバイス、スイート、またはテストのログ情報を表示する](#how-to-use-reports-console-log)」の手順に従います。
**[ファイル]** タブには、ダウンロード可能な、テスト関連ファイル (ログファイルなど) の一覧が表示されます。ファイルをダウンロードするには、リスト内のファイルのリンクを選択します。
**[スクリーンショット]** タブには、Device Farm がテスト中にキャプチャした、スクリーンショットのリストが表示されます。
### デバイスのレポートを表示する
+ **[デバイス]** セクションで、デバイスを選択します。
**[ビデオ]** セクションには、ダウンロード可能なテストのビデオ記録が表示されます。
**[スイート]** セクションには、デバイスのスイートに関する情報を含んでいるテーブルが表示されます。
このテーブルでは、**[テスト結果]** 列に、デバイス上で実行した各テストスイートにおけるテスト数を結果ごとにまとめています。また、このデータにはグラフィカルコンポーネントもあります。詳細については、「[複数のテストのステータス](how-to-use-reports-displaying-results.md#how-to-use-reports-displaying-results-summary)」を参照してください。
スイートごとにすべての結果を表示するには、「[テストスイートレポートを表示する](#how-to-use-reports-console-by-suite)」の手順に従います。
**[ログ]** セクションには、実行中に Device Farm がデバイス用に記録した情報が表示されます。この情報を表示するには、「[レポート内の問題、デバイス、スイート、またはテストのログ情報を表示する](#how-to-use-reports-console-log)」の手順に従います。
**[ファイル]** セクションには、デバイスの他、ダウンロード可能な関連ファイル (ログファイルなど) に関するスイートのリストが表示されます。ファイルをダウンロードするには、リスト内のファイルのリンクを選択します。
**[スクリーンショット]** セクションには、デバイスの実行中に Device Farm がキャプチャしてスイートごとにグループ化した、スクリーンショットのリストが表示されます。
### テストスイートレポートを表示する
1. **[デバイス]** セクションで、デバイスを選択します。
1. **[スイート]** セクションで、テーブルからスイートを選択します。
**[ビデオ]** セクションには、ダウンロード可能なテストのビデオ記録が表示されます。
**[テスト]** セクションには、スイートのテストに関する情報を含んでいるテーブルが表示されます。
テーブルでは、**[テスト結果]** 列に結果が表示されます。また、このデータにはグラフィカルコンポーネントもあります。詳細については、「[複数のテストのステータス](how-to-use-reports-displaying-results.md#how-to-use-reports-displaying-results-summary)」を参照してください。
テストごとに結果を最大限に表示するには、「[テストレポートを表示する](#how-to-use-reports-console-by-test)」の手順に従います。
**[ログ]** セクションには、スイートの実行中に Device Farm が記録した情報が表示されます。この情報を表示するには、「[レポート内の問題、デバイス、スイート、またはテストのログ情報を表示する](#how-to-use-reports-console-log)」の手順に従います。
**[ファイル]** セクションには、スイート用のテストのリストと、ダウンロード可能な関連ファイル (ログファイルなど) が表示されます。ファイルをダウンロードするには、リスト内のファイルのリンクを選択します。
**[スクリーンショット]** セクションには、スイートの実行中に Device Farm がキャプチャしてテストごとにグループ化した、スクリーンショットのリストが表示されます。
### テストレポートを表示する
1. **[デバイス]** セクションで、デバイスを選択します。
1. **[スイート]** セクションで、スイートを選択します。
1. **[テスト]** セクションで、テストを選択します。
1. **[ビデオ]** セクションには、ダウンロード可能なテストのビデオ記録が表示されます。
**[結果]** セクションには、テストの結果が表示されます。ステータスは結果アイコンとして表されます。詳細については、「[個々のテストのステータス](how-to-use-reports-displaying-results.md#how-to-use-reports-displaying-results-individual)」を参照してください。
**[ログ]** セクションには、テスト中に Device Farm が記録した情報が表示されます。この情報を表示するには、「[レポート内の問題、デバイス、スイート、またはテストのログ情報を表示する](#how-to-use-reports-console-log)」の手順に従います。
**[ファイル]** タブには、ダウンロード可能な、テスト関連ファイル (ログファイルなど) の一覧が表示されます。ファイルをダウンロードするには、リスト内のファイルのリンクを選択します。
**[スクリーンショット]** タブには、Device Farm がテスト中にキャプチャした、スクリーンショットのリストが表示されます。
### レポート内の問題、デバイス、スイート、またはテストのログ情報を表示する
**[ログ]** セクションでは以下の情報が表示されます:
+ **ソース**] はログエントリのソースを表します。可能な値は以下のとおりです:
+ **[ハーネス]** は、Device Farm が作成したログエントリを表します。これらのログエントリは、通常、イベントの開始および停止中に作成されます。
+ **[デバイス]** は、デバイスが作成したログエントリを表します。Android の場合、これらのログエントリは logcat と互換性があります。iOS の場合、これらのログエントリは syslog と互換性があります。
+ **テスト**] は、テストまたはテストフレームワークのいずれかが作成したログエントリを表します。
+ **時間**] は、最初のログエントリと、このログエントリの間の経過時間を表します。時間は *MM:SS.SSS* 形式で表されます。*M* は分を表し、*S* は秒を表します。
+ **PID**] は、ログエントリを作成したプロセス識別子 (PID) を表します。デバイス上のアプリケーションによって作成されるログエントリの PID はすべて同一になります。
+ **レベル**] はログエントリのロギングレベルを表します。例えば、`Logger.debug("This is a message!")` は `Debug` の**レベル**を記録します。使用できる値は次のとおりです:
+ **アラート**
+ **[非常事態]**
+ **デバッグ**
+ **緊急**
+ **[エラー]**
+ **エラー発生**
+ **失敗**
+ **情報**
+ **内部**
+ **注意**
+ **成功**
+ **スキップ**
+ **停止**
+ **詳細**
+ **警告済み**
+ **警告**
+ **タグ**] は、ログエントリの任意のメタデータを表します。例えば、Android logcat は、システムのどの部分がログエントリを作成したかを記述するためにこれを使用できます (例: `ActivityManager`)。
+ **メッセージ**] は、ログエントリのメッセージまたはデータを表します。例えば、`Logger.debug("Hello, World!")` は `"Hello, World!"` の**メッセージ**を記録します。
情報の一部のみを表示するには:
+ 特定の列の値と一致するすべてのログエントリを表示するには、検索バーに値を入力します。例えば、`Harness` の **[ソース]** 値を使用してすべてのログエントリを表示するには、検索バーに「**Harness**」と入力します。
+ 列ヘッダーボックスからすべての文字を削除するには、その列ヘッダーボックスの **[X]** を選択します。列ヘッダーボックスからすべての文字を削除することは、その列のヘッダーボックスに「**\$1**」を入力するのと同じです。
実行したすべてのスイートとテストを含む、デバイスのすべてのログ情報をダウンロードするには、**[ログをダウンロード]** を選択します。
# Device Farm テスト結果のステータス
Device Farm コンソールが表示するアイコンは、完了したテスト実行の状態の迅速な評価に役立ちます。Device Farm のテストに関する詳細については、「[AWS Device Farm でのレポートレポート](reports.md)」を参照してください。
**Topics**
+ [個々のテストのステータス](#how-to-use-reports-displaying-results-individual)
+ [複数のテストのステータス](#how-to-use-reports-displaying-results-summary)
## 個々のテストのステータス
個々のテストについて伝えるレポートでは、Device Farm はテスト結果のステータスを表すアイコンを表示します。
| 説明 | アイコン |
| --- | --- |
| テストが成功しました。 | ![\[The test succeeded.\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/df-run-success.png) |
| テストが失敗しました。 | ![\[The test failed.\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/df-run-failure.png) |
| Device Farm がテストをスキップしました。 | ![\[The test was skipped.\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/df-run-skipped.png) |
| テストが停止しました。 | ![\[The test was stopped.\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/df-run-stopped.png) |
| Device Farm が警告が返しました。 | ![\[Device Farm returned a warning.\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/df-run-warning.png) |
| Device Farm がエラーを返しました。 | ![\[Device Farm returned an error.\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/df-run-error.png) |
## 複数のテストのステータス
完了した実行を選択すると、Device Farm はさまざまな状態のテストの割合を示す概要グラフを表示します。
![\[Device Farm test results summary graph.\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/df-summary-results-graph.png)
例えば、このテスト実行の結果グラフは、停止したテストが 4、失敗したテストが 1、成功したテストが 10 あることを表します。
グラフには常に色分けとラベル付けがされています。
# Device Farm でのアーティファクトのダウンロード
Device Farm では、レポート、ログファイル、画像などのアーティファクトを各実行テストで収集します。
テスト実行中に作成されたアーティファクトはダウンロードできます:
**ファイル**
テスト実行中に生成されたファイル (例: Device Farm レポート)。詳細については、「[Device Farm でのテストレポートの表示](how-to-use-reports.md)」を参照してください。
**ログ**
テスト実行の各テストの出力。
**スクリーンショット**
テスト実行のテストごとに記録されるスクリーン画像。
![\[Workflow diagram showing Project, Run, Job (device), Test suite, and Test stages in AWS クラウド.\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/hierarchy.png)
## アーティファクトのダウンロード (コンソール)
1. テスト実行のレポートページで、**[デバイス]** からモバイルデバイスを選択します。
1. ファイルをダウンロードするには、**[ファイル]** からいずれかを選択します。
1. テスト実行からログをダウンロードするには、**[ログ]** から **[ログをダウンロード]** を選択します。
1. スクリーンショットをダウンロードするには、**[スクリーンショット]** からスクリーンショットを選択します。
カスタムのテスト環境におけるアーティファクトのダウンロードの詳細については、「[カスタムテスト環境でのアーティファクトのダウンロード](using-artifacts-custom.md)」を参照してください。
## アーティファクトのダウンロード (AWS CLI)
を使用して AWS CLI 、テストランアーティファクトを一覧表示できます。
**Topics**
+ [ステップ 1: Amazon リソースネーム (ARN) を取得する](#artifacts-cli-step1)
+ [ステップ 2: アーティファクトをリストする](#artifacts-cli-step2)
+ [ステップ 3: アーティファクトをダウンロードする](#artifacts-cli-step3)
### ステップ 1: Amazon リソースネーム (ARN) を取得する
アーティファクトは、実行、ジョブ、テストスイート、またはテストごとにリストできます。対応する ARN を指定する必要があります。この表は、各 AWS CLI リストコマンドの入力 ARN を示しています。
| AWS CLI コマンドを一覧表示する | 必須 ARN |
| --- | --- |
| list-projects | このコマンドは、すべてのプロジェクトを返し、ARN を必要としません。 |
| list-runs | project |
| list-jobs | run |
| list-suites | job |
| list-tests | suite |
例えば、テスト ARN を見つけるには、テストスイート ARN を入力パラメータとして使用して **list-tests** を実行します。
例:
```
aws devicefarm list-tests –-arn arn:MyTestSuiteARN
```
この応答には、テストスイートにある各テストのテスト ARN が含まれます。
```
{
"tests": [
{
"status": "COMPLETED",
"name": "Tests.FixturesTest.testExample",
"created": 1537563725.116,
"deviceMinutes": {
"unmetered": 0.0,
"total": 1.89,
"metered": 1.89
},
"result": "PASSED",
"message": "testExample passed",
"arn": "arn:aws:devicefarm:us-west-2:123456789101:test:5e01a8c7-c861-4c0a-b1d5-12345EXAMPLE",
"counters": {
"skipped": 0,
"warned": 0,
"failed": 0,
"stopped": 0,
"passed": 1,
"errored": 0,
"total": 1
}
}
]
}
```
### ステップ 2: アーティファクトをリストする
AWS CLI [list-artifacts](https://docs.aws.amazon.com/cli/latest/reference/devicefarm/list-artifacts.html) コマンドは、ファイル、スクリーンショット、ログなどのアーティファクトのリストを返します。各アーティファクトには URL が含まれ、ファイルをダウンロードできます。
+ 実行、ジョブ、テストスイート、またはテスト ARN を指定して、**list-artifacts** を呼び出します。タイプ (ファイル、ログ、またはスクリーンショット) を指定します。
この例は、各テストで使用できる各アーティファクトの ダウンロード用 URL を返します:
```
aws devicefarm list-artifacts --arn arn:MyTestARN --type "FILE"
```
この応答には、各アーティファクトのダウンロード用 URL が含まれます。
```
{
"artifacts": [
{
"url": "https://prod-us-west-2-uploads.s3-us-west-2.amazonaws.com/ExampleURL",
"extension": "txt",
"type": "APPIUM_JAVA_OUTPUT",
"name": "Appium Java Output",
"arn": "arn:aws:devicefarm:us-west-2:123456789101:artifact:5e01a8c7-c861-4c0a-b1d5-12345EXAMPLE",
}
]
}
```
### ステップ 3: アーティファクトをダウンロードする
+ 前のステップの URL を使用して、アーティファクトをダウンロードします。この例では、**curl** を使用して、Android Appium Java 出力ファイルをダウンロードします:
```
curl "https://prod-us-west-2-uploads.s3-us-west-2.amazonaws.com/ExampleURL" > MyArtifactName.txt
```
## アーティファクトのダウンロード (API)
Device Farm API の [[ListArtifacts]](https://docs.aws.amazon.com/devicefarm/latest/APIReference/API_ListArtifacts.html) メソッドは、ファイル、スクリーンショット、ログなどのアーティファクトのリストを返します。各アーティファクトには URL が含まれ、ファイルをダウンロードできます。
# カスタムテスト環境でのアーティファクトのダウンロード
カスタムテスト環境で、Device Farm は、カスタムレポート、ログファイル、画像などのアーティファクトを収集します。これらのアーティファクトは、テスト実行でデバイスごとに表示されます。
テスト実行中に作成されるこれらのアーティファクトはダウンロードできます:
**テスト仕様出力**
テスト仕様 YAML ファイル内のコマンドの実行による出力。
**お客様のアーティファクト**
テスト実行のアーティファクトを含む ZIP ファイル。テスト仕様 YAML ファイルの **[アーティファクト:]** セクションで構成されます。
**テスト仕様シェルスクリプト**
YAML ファイルから作成される中間シェルスクリプト。このシェルスクリプトファイルはテスト実行で使用されるため、YAML ファイルのデバッグに使用できます。
**テスト仕様ファイル**
テスト実行で使用される YAML ファイル。
詳細については、「[Device Farm でのアーティファクトのダウンロード](artifacts.md)」を参照してください。
![\[カスタムテスト環境でのオペレーションの Device Farm 階層\]](http://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/images/hierarchy.png)