翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 # SageMaker Clarify で大規模言語モデルを評価するためのオプションを理解する **重要** SageMaker Clarify Foundation Model Evaluations を使用するには、新しい Studio エクスペリエンスにアップグレードする必要があります。2023 年 11 月 30 日以降、従来の Amazon SageMaker Studio のエクスペリエンスは Amazon SageMaker Studio Classic と名前が変更されました。基盤モデルの評価機能は、更新後のエクスペリエンスでのみ使用できます。Studio をアップデートする方法の詳細については、「[Amazon SageMaker Studio Classic からの移行](studio-updated-migrate.md)」を参照してください。Studio Classic アプリケーションを使用する場合は、「[Amazon SageMaker Studio Classic](studio.md)」を参照してください。 Amazon SageMaker Clarify を使用すると、モデル評価ジョブを作成して、大規模言語モデル (LLM) を評価できます。モデル評価ジョブを使用すると、JumpStart のテキストベースの基盤モデルのモデルの質メトリクスと責任のメトリクスを評価して比較できます。モデル評価ジョブは、エンドポイントにデプロイ済みの JumpStart モデルの使用もサポートしています。 モデル評価ジョブは、3 つの異なるアプローチを使用して作成できます。 + Studio で自動モデル評価ジョブを作成する – 自動モデル評価ジョブを使用すると、モデルのタスク実行能力を迅速に評価できます。特定のユースケースに合わせてカスタマイズされた独自のカスタムプロンプトデータセットを使用することも、使用可能な組み込みデータセットを使用することもできます。 + Studio でヒューマンワーカーを使用するモデル評価ジョブを作成する – ヒューマンワーカーを使ったモデル評価ジョブを使用すると、モデル評価プロセスに人間による入力を取り入れることができます。このチームには、社内の従業員や業界の専門家を含めることができます。 + `fmeval` ライブラリを使用して自動モデル評価ジョブを作成する – `fmeval` を使用してジョブを作成すると、モデル評価ジョブを最もきめ細かく制御できます。また、他の サービスからの JumpStart ベースのモデル以外の AWS LLMs の使用もサポートしています。 モデル評価ジョブは、テキスト生成、テキスト分類、質問と回答、テキスト要約など、LLM の一般的なユースケースをサポートしています。 + **オープンエンド生成** – 構造が事前に定義されていないテキストに対して、自然な人間らしい応答を生成する。 + **テキスト要約** – 長いテキストの意図を汲み、要点を簡潔にまとめた概要を生成する。 + **質問への回答** – プロンプトに対して関連性のある正確な応答を生成する。 + **分類**: テキストの内容に基づいて、ラベルやスコアなどのカテゴリをテキストに適切に割り当てます。 以下のトピックでは、使用可能なモデル評価タスクと、使用可能なメトリクスの種類について説明します。また、使用可能な組み込みデータセットや、独自のデータセットを指定する方法についても説明します。 **Topics** + [基盤モデル評価とは](clarify-foundation-model-evaluate-whatis.md) + [モデル評価の使用を開始する](clarify-foundation-model-evaluate-get-started.md) + [モデル評価ジョブでのプロンプトデータセットと利用可能な評価ディメンションの使用](clarify-foundation-model-evaluate-overview.md) + [ヒューマンワーカーを使用するモデル評価ジョブを作成する](clarify-foundation-model-evaluate-human.md) + [自動モデル評価](clarify-foundation-model-evaluate-auto.md) + [モデル評価ジョブの結果を理解する](clarify-foundation-model-evaluate-results.md) + [`fmeval` ライブラリを使用してワークフローをカスタマイズする](clarify-foundation-model-evaluate-auto-lib-custom.md) + [モデル評価ノートブックのチュートリアル](clarify-foundation-model-evaluate-auto-tutorial.md) + [Amazon SageMaker AI でモデル評価ジョブを作成する際のエラーを解決する](clarify-foundation-model-evaluate-troubleshooting.md)