翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# モデルパフォーマンスレポート
<a name="image-classification-model-performance-report"></a>

Amazon SageMaker AI モデル品質レポート (パフォーマンスレポートとも呼ばれる) は、AutoML ジョブによって生成された最適なモデル候補に関するインサイトと品質情報を提供します。これには、ジョブの詳細、モデルの問題タイプ、目的関数、さまざまなメトリクスに関する情報が含まれます。このセクションでは、画像分類の問題に関するパフォーマンスレポートの内容を詳しく説明し、JSON ファイル内の raw データとしてメトリクスにアクセスする方法について説明します。

`[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` へのレスポンスにある `[BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-ModelInsights)` で、最適な候補に対して生成されたモデルの品質レポートアーティファクトへの Amazon S3 プレフィックスを確認できます。

パフォーマンスレポートには次の 2 つのセクションがあります。
+ 最初のセクションには、モデルを作成した AAutopilot ジョブに関する詳細が含まれています。
+  2 番目のセクションには、さまざまなパフォーマンスメトリクスを含むモデル品質レポートが含まれています。

## Autopilot ジョブの詳細
<a name="image-classification-performance-report-jobdetails"></a>

レポートの最初のセクションには、モデルを作成した Autopilot ジョブに関する一般的な情報が記載されています。これらの詳細には、以下の情報が含まれます。
+ Autopilot 候補名: 最適なモデル候補の名前。
+ Autopilot ジョブ名: ジョブの名前。
+ 問題タイプ: 問題のタイプ。この場合は、画像分類です。
+ 目標メトリクス: モデルのパフォーマンスを最適化するために使用される目標メトリクス。この場合は、精度です。
+ 最適化の方向: 目標メトリクスを最小化するか最大化するかを示します。

## モデル品質レポート
<a name="image-classification-performance-report-modelquality"></a>

モデル品質情報は、Autopilot のモデルインサイトによって生成されます。生成されるレポートの内容は、対処した問題の種類によって異なります。このレポートは、評価データセットに含まれていた行の数と、評価が行われた時刻を示します。

### メトリクステーブル
<a name="image-classification-model-quality-report-metrics"></a>

モデル品質レポートの最初の部分にはメトリクステーブルが含まれています。これらは、モデルが対処した問題の種類に適したものです。

以下の画像は、画像またはテキストの分類問題について Autopilot が生成するメトリクステーブルの例です。メトリクスの名前、値、標準偏差が表示されます。

![\[Amazon SageMaker Autopilot モデルインサイト画像またはテキスト分類メトリクスレポートの例。\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-multiclass-metrics-report.png)


### グラフィカルなモデルパフォーマンス情報
<a name="image-classification-model-quality-report-graphs"></a>

モデル品質レポートの 2 番目の部分には、モデルのパフォーマンスを評価するのに役立つグラフィカルな情報が含まれています。このセクションの内容は、選択した問題のタイプによって異なります。

#### 混同行列
<a name="image-classification-model-insights-confusion-matrix"></a>

混同行列は、さまざまな問題に対して、二項分類および多クラス分類のモデルで行われた予測の精度を可視化する方法を提供します。

グラフを構成する**擬陽性率** (FPR) と**真陽性率** (TPR) の構成要素の要約は、以下のように定義されています。
+ 正しい予測
  + **真陽性** (TP): 予測値は 1 で、真の値は 1 です。
  + **真陰性** (TN): 予測値は 0 で、真の値は 0 です。
+ 誤った予測
  + **偽陽性** (FP): 予測値は 1 ですが、真の値は 0 です。
  + **偽陰性** (FN): 予測値は 0 ですが、真の値は 1 です。

モデル品質レポートの混同行列には以下が含まれます。
+ 実際のラベルの予測の正解と誤りの数と割合
+ 左上から右下までの対角線上に示される、正確な予測の数と割合
+ 右上から左下までの対角線上に示される、不正確な予測の数と割合

混同行列上の誤った予測は混同値です。

次の図は、多クラス分類問題に関する混同行列の例を示します。モデル品質レポートの混同行列には以下が含まれます。
+ 縦軸は、3 つの異なる実際のラベルを含む 3 つの行に分かれています。
+ 横軸は、モデルによって予測されたラベルを含む 3 つの列に分かれています。
+ 色付きのバーは、各カテゴリに分類された値の数を視覚的に示すため、サンプル数が多いほど濃い色調を割り当てています。

以下の例では、モデルはラベル **f** の実際の値を 354 個、ラベル **i** の値を 1,094 個、ラベル **m** の値を 852 個正しく予測しています。色調の違いは、値 **i** のラベルが **f** や **m** よりも多いため、データセットのバランスが取れていないことを示しています。

![\[Amazon SageMaker Autopilot マルチモデル混同行列の例。\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-multiclass.png)


提供されたモデル品質レポートの混同行列は、多クラス分類問題タイプに対して、最大 15 個のラベルを収容することができます。ラベルに対応する行が `Nan` 値を示している場合、モデルの予測値をチェックするために使われた検証データセットに、そのラベルを持つデータが含まれていないことを意味します。