テスト結果を調べる
解析ジョブが完了すると、テスト結果は分析のために使用できます。ソリューションは、ロード中のアプリケーションのパフォーマンスを理解するのに役立つ包括的なメトリクスとツールを提供します。
テスト実行のサマリーメトリクス
テストが完了すると、ソリューションは次のメトリクスを含む概要を生成します。
-
平均応答時間 - テストによって生成されたすべてのリクエストの平均応答時間 (秒)。
-
平均レイテンシー - テストによって生成されたすべてのリクエストの平均レイテンシー (秒)。
-
平均接続時間 - テストで生成されたすべてのリクエストについて、ホストへの接続にかかった平均時間 (秒)。
-
平均帯域幅 - テストで生成されたすべてのリクエストの平均帯域幅。
-
Total count - リクエストの総数
-
Success count - 成功したリクエストの総数
-
Error count - エラーの総数
-
1 秒あたりのリクエスト - テストで生成されたすべてのリクエストの 1 秒あたりの平均リクエスト数。
-
パーセンタイル - p50 (中央値)、p90、p95、p99 などの応答時間のパーセンタイル。すべてのリクエストの応答時間の分布を示します。
テスト実行テーブル
テスト実行のテーブルには、シナリオのすべての過去のテスト実行が表示されます。以下の操作を実行できます。
-
各テスト実行のサマリーメトリクスを表示する。
-
パフォーマンス比較用のベースラインテスト実行を設定する。
-
CSV ファイルとしてテーブルをダウンロードする。
-
列を切り替えてビューをカスタマイズする。
-
テスト実行を選択して、詳細な結果を表示する。
ベースラインの比較
あるテスト実行をベースラインとして指定し、今後のテスト実行と比較できます。ベースラインが設定されている場合:
-
テスト実行テーブルには、各メトリクスのベースラインと比較した割合の差 (+/-%) が表示されます。
-
ベースラインインジケータは、パフォーマンスの向上やリグレッションを迅速に特定するのに役立ちます。
-
ベースラインはいつでも変更またはクリアできます。
詳細なテスト結果
テスト実行を選択すると、テスト実行の結果、エラー、アーティファクトの 3 つのタブのある詳細な結果ビューが開きます。
ベースラインの情報
ベースラインテスト実行が設定されている場合、ページの上部に表示されます。値を表示、割合を表示、またはベースラインを削除を選択して、ベースライン比較の表示方法を制御できます。
テスト実行結果テーブル
結果テーブルには、次の機能を備えた詳細なメトリクスが表示されます。
- ディメンションビュー
-
ディメンションボタンを使用して 3 つのビューを切り替えます。
-
全体 - すべてのエンドポイントとリージョンにわたる集計結果
-
エンドポイント別 - 個々のエンドポイント別に分類された結果
-
リージョン別 - AWS リージョン別に分類された結果
-
- アクションボタン
-
-
値を表示 - 実際のメトリクス値を表示します
-
割合を表示 - ベースラインからの差の割合を表示します
-
ベースラインを削除 - ベースラインの比較をクリアします
-
データのエクスポートとカスタマイズ
-
CSV ファイルとして結果テーブルをダウンロードする
-
列を切り替えてビューをカスタマイズする
-
データのフィルタリングとソートを行い、特定のメトリクスに絞る
-
データのフィルタリングとソートを行い、特定のメトリクスに絞ります。
エラータブ
エラータブには、詳細なエラー分析が表示されます。
-
タイプ別にエラーの件数を表示します。
-
テスト全体またはエンドポイント別に集計されたエラーを参照してください。
-
失敗したリクエストのパターンを特定します。
-
特定のエンドポイントまたはリージョンに関する問題をトラブルシューティングします。
アーティファクトタブ
アーティファクトタブを使用すると、テストの実行中に生成されたすべてのファイルにアクセスできます。
-
個々のアーティファクト (ログ、結果ファイル) を表示します。
-
オフライン分析用に特定のアーティファクトをダウンロードします。
-
すべてのテスト実行のアーティファクトを 1 つのアーカイブとしてダウンロードします。
S3 の結果の構造
バージョン 4.0 では、組織を改善するために S3 の結果の構造が変更されました。
-
新しい構造 -
scenario-id/test-run-id/results-files。 -
レガシー構造 - バージョン 4.0 より前に実行されたテストでは、シナリオ ID レベルですべての結果ファイルが表示されます。
注記
テスト結果はコンソールに表示されます。Results フォルダの Amazon S3 バケットで未処理のテスト結果に直接アクセスすることもできます。Taurus のテスト結果の詳細については、Taurus User Manual の「Generating Test Reports