翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

モデルのパフォーマンスを評価して比較する

評価フレームワークを使用して、デプロイしたテキスト分類モデルを評価します。このフレームワークは、ノートブックベースのアプローチを通じて、教師あり評価モードと教師なし評価モードの両方をサポートします。

組み込みデータセットの使用

このチュートリアルでは、組み込みの教師あり評価データセットを使用することをお勧めします。ほとんどのユーザーは、ラベル付き評価データがすぐには利用できないためです。組み込みデータセットは、さまざまなシナリオにわたって包括的なパフォーマンス分析を提供します。

この評価では、正確性、精度、再現率、F1 スコア、Matthews 相関係数 (MCC)、曲線下レシーバーの運用特性スコア、モデル比較用のビジュアル曲線などの主要メトリクスが生成されます。

カスタムデータの使用

独自のラベル付きデータセットがある場合は、ノートブックで置き換えることができます。フレームワークはデータ形式に自動的に適応し、同じ包括的なメトリクスを生成します。

サポートされているデータ形式:

評価環境を設定する

SageMaker Amazon SageMaker Studio で JupyterLab スペースを作成して、評価ノートブックを実行します。

評価ノートブックにアクセスする

zip ファイルをダウンロードし、ローカルマシンで解凍します。解凍したフォルダ全体を JupyterLab スペースにアップロードして、モデルのテストを開始します。パッケージには、主要な評価ノートブック、サンプルデータセット、サポートする Python モジュール、完全な評価フレームワークの詳細な手順が含まれています。

評価出力を分析し、データに基づいてモデル選択を決定する方法を学ぶには、結果を解釈する に進みます。