翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Studio でテキスト生成の基盤モデルを評価する
<a name="jumpstart-foundation-models-evaluate"></a>

**注記**  
Amazon SageMaker Clarify の Foundation Model Evaluations (FMEval) はプレビューリリースの段階であり、変更される可能性があります。

**重要**  
SageMaker Clarify Foundation Model Evaluations を使用するには、新しい Studio エクスペリエンスにアップグレードする必要があります。2023 年 11 月 30 日以降、従来の Amazon SageMaker Studio のエクスペリエンスは Amazon SageMaker Studio Classic と名前が変更されました。基盤モデルの評価機能は、更新後のエクスペリエンスでのみ使用できます。Studio をアップデートする方法の詳細については、「[Amazon SageMaker Studio Classic からの移行](studio-updated-migrate.md)」を参照してください。Studio Classic アプリケーションを使用する場合は、「[Amazon SageMaker Studio Classic](studio.md)」を参照してください。

Amazon SageMaker JumpStart は、Studio で SageMaker Clarify Foundation Model Evaluations (FMEval) と統合されています。JumpStart モデルに評価機能が組み込まれている場合は、JumpStart Studio UI のモデル詳細ページの右上隅で **[評価]** を選択できます。JumpStart Studio UI の操作方法の詳細については、「[Studio で JumpStart を開く](studio-jumpstart.md#jumpstart-open-studio)」を参照してください。

Amazon SageMaker JumpStart を使用して、テキストベースの基盤モデルを FMEval で評価します。これらのモデル評価を使用して、1 つのモデル、2 つのモデル間、または同じモデルの異なるバージョン間でモデル品質と責任のメトリクスを比較し、モデルリスクを定量化できます。FMEval では、次のタスクを実行するテキストベースのモデルを評価できます。
+  **オープンエンド生成** – 構造が事前に定義されていないテキストに対して、自然な人間らしい応答を生成する。
+  **テキストの要約** – 長いテキストの意図を汲み、要点を簡潔にまとめた概要を生成する。
+  **質疑応答** – 質問に対して自然言語で回答を生成する。
+  **分類** - テキストにその内容に基づいてクラス (`negative` または `positive`) を割り当てる。

FMEval を使用して、特定の基準 (ベンチマーク) に照らしてモデルの応答を自動的に評価できます。また、独自のプロンプトデータセットを用意して、独自の基準に照らしてモデルの応答を評価することもできます。FMEval のユーザーインターフェイス (UI) は、評価ジョブのセットアップと設定を案内してくれます。また、独自のコード内で FMEval ライブラリを使用することもできます。

すべての評価には、2 つのインスタンスのクォータが必要です。
+ ホスティングインスタンス – LLM をホストしてデプロイするインスタンス。
+ 評価インスタンス – ホスティングインスタンス上の LLM にプロンプトを与え、評価を実行するために使用されるインスタンス。

LLM が既にデプロイされている場合は、そのエンドポイントを指定します。SageMaker AI は**ホスティングインスタンス**を使用して LLM をホストし、デプロイします。

アカウントにまだデプロイされていない JumpStart モデルを評価する場合、FMEval はアカウントに一時的な**ホスティングインスタンス**を作成し、評価期間中に限りデプロイします。選択した LLM に対して JumpStart が推奨するデフォルトのインスタンスがホスティングインスタンスとして使用されます。この推奨インスタンスには十分なクォータが必要です。

すべての評価では、評価インスタンスを使用してプロンプトを提供し、LLM からの応答にスコアを付けます。また、評価アルゴリズムを実行するのに十分なクォータとメモリが必要です。評価インスタンスのクォータとメモリの要件は、通常、ホスティングインスタンスほど大きくありません。`ml.m5.2xlarge` インスタンスを選択することをお勧めします。クォータとメモリの詳細については、「[Amazon SageMaker AI でモデル評価ジョブを作成する際のエラーを解決する](clarify-foundation-model-evaluate-troubleshooting.md)」を参照してください。

自動評価を使用して、次の次元について LLM にスコアを付けることができます。
+ 精度 – テキストの要約、質疑応答、テキスト分類用
+ セマンティック堅牢性 – オープンエンド生成、テキスト要約、テキスト分類タスク用
+ 事実に基づく知識 – オープンエンド生成用
+ プロンプトのステレオタイプ化 – オープンエンド生成用 
+  毒性 – オープンエンド生成、テキスト要約、質疑応答用

人間による評価を使用して、モデルの応答を手動で評価することもできます。FMEval の UI は、1 つ以上のモデルの選定、リソースのプロビジョニング、ヒューマンワークフォースへの指示の作成や連絡などのワークフローを案内します。人間による評価が完了すると、結果が FMEval に表示されます。

Studio の JumpStart ランディングページからモデル評価にアクセスするには、評価対象のモデルを選択し、**[評価]** を選択します。すべての JumpStart モデルで評価機能を利用できるわけではありません。FMEval を設定、プロビジョニング、実行する方法の詳細については、「[What are Foundation Model Evaluations?](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-foundation-model-evaluate.html)」を参照してください。